Messages: 839

Enregistré le: 29 Déc 2007

Message le Dim Jan 08, 2017 14:24

Bonjour,

Google crawl des url qui n'existent pas avec son google bot smartphone.
Voici le genre d'url :
http://www.memecenter.fr/mobile/meme/scumbag-brain/page/3/

et ça indique "référérencé sur:"
http://www.memecenter.fr/meme/scumbag-brain/page/3/

alors que non, ça n'est pas indiqué sur cette page, et je n'ai pas de page mobile.
Et parfois c'est ce format d'url :
http://www.memecenter.fr/m/meme/success-kid/page/13/
référencé sur :
http://www.memecenter.fr/meme/success-kid/page/13/

bien sur je n'ai pas non plus d'url "/m/", ça retourne 404 ...

merci
Haut
5 Réponses
Messages: 12357

Enregistré le: 23 Nov 2005

Message le Dim Jan 08, 2017 15:16

Je vois ce genre de choses sur énormément de sites sur lesquels je travaille. J'ai pris l'habitude de bloquer les dossier /m/ et /mobile/ dans le robots.txt du coup.
Haut
Messages: 839

Enregistré le: 29 Déc 2007

Message le Dim Jan 08, 2017 15:27

je vois ... merci
Haut
Messages: 266

Enregistré le: 6 Juin 2009

Message le Mer Jan 11, 2017 13:57

Je préfererais faire une redirection 301, ou 410.
Les indications du fichier robots.txt n'ont pas beaucoup de valeur.
Haut
Messages: 12357

Enregistré le: 23 Nov 2005

Message le Mer Jan 11, 2017 13:59

elji a écrit:Je préfererais faire une redirection 301, ou 410.
Les indications du fichier robots.txt n'ont pas beaucoup de valeur.


Elles sont suivies par Google, et de fait depuis que j'ai bloqué ces url au crawl, les 404 ne remontent plus.
Haut
Messages: 266

Enregistré le: 6 Juin 2009

Message le Jeu Jan 12, 2017 15:22

Bon, ben j'ai eu le même problème en fait. J'avais pensé que c'était de l'IP spoofing, que c'était pas Google, alors j'ai créé un dossier de ce nom avec un .htaccess qui contient une redirection 410. Ca marche aussi.
Haut