Google crawle des url inexistantes "mobile"

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

madri2
WRInaute impliqué
WRInaute impliqué
 
Messages: 829
Enregistré le: 29 Déc 2007

Google crawle des url inexistantes "mobile"

Message le Dim Jan 08, 2017 14:24

Bonjour,

Google crawl des url qui n'existent pas avec son google bot smartphone.
Voici le genre d'url :
http://www.memecenter.fr/mobile/meme/scumbag-brain/page/3/

et ça indique "référérencé sur:"
http://www.memecenter.fr/meme/scumbag-brain/page/3/

alors que non, ça n'est pas indiqué sur cette page, et je n'ai pas de page mobile.
Et parfois c'est ce format d'url :
http://www.memecenter.fr/m/meme/success-kid/page/13/
référencé sur :
http://www.memecenter.fr/meme/success-kid/page/13/

bien sur je n'ai pas non plus d'url "/m/", ça retourne 404 ...

merci


UsagiYojimbo
WRInaute accro
WRInaute accro
 
Messages: 12068
Enregistré le: 23 Nov 2005

Re: Google crawle des url inexistantes "mobile"

Message le Dim Jan 08, 2017 15:16

Je vois ce genre de choses sur énormément de sites sur lesquels je travaille. J'ai pris l'habitude de bloquer les dossier /m/ et /mobile/ dans le robots.txt du coup.

madri2
WRInaute impliqué
WRInaute impliqué
 
Messages: 829
Enregistré le: 29 Déc 2007

Re: Google crawle des url inexistantes "mobile"

Message le Dim Jan 08, 2017 15:27

je vois ... merci

elji
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 266
Enregistré le: 6 Juin 2009

Re: Google crawle des url inexistantes "mobile"

Message le Mer Jan 11, 2017 13:57

Je préfererais faire une redirection 301, ou 410.
Les indications du fichier robots.txt n'ont pas beaucoup de valeur.


UsagiYojimbo
WRInaute accro
WRInaute accro
 
Messages: 12068
Enregistré le: 23 Nov 2005

Re: Google crawle des url inexistantes "mobile"

Message le Mer Jan 11, 2017 13:59

elji a écrit:Je préfererais faire une redirection 301, ou 410.
Les indications du fichier robots.txt n'ont pas beaucoup de valeur.


Elles sont suivies par Google, et de fait depuis que j'ai bloqué ces url au crawl, les 404 ne remontent plus.

elji
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 266
Enregistré le: 6 Juin 2009

Re: Google crawle des url inexistantes "mobile"

Message le Jeu Jan 12, 2017 15:22

Bon, ben j'ai eu le même problème en fait. J'avais pensé que c'était de l'IP spoofing, que c'était pas Google, alors j'ai créé un dossier de ce nom avec un .htaccess qui contient une redirection 410. Ca marche aussi.


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :