GoogleBot crawle des pages partenaires inexistantes

[Bigb06]

Bonjour a tous,

Je voulais savoir si d'autres personnes sont dans le même cas que moi :
Depuis le 12 avril 2011, GoogleBot crawle des pages qui n'ont jamais existé (Ok ca peut arriver si un site fait un lien vers une page inexistante).
Mais la ou c'est étrange, c'est que les pages en question sont :
- partenaires.html
- partenaires.php
- sites.php

et que le problème se répète sur plusieurs de mes sites pour la même période.

Qu'en pensez-vous? Avous vous le même problème?
Serait-ce un des signaux recherchés par la maj Panda, a savoir si le site a une page partenaires?

[carole heinz]

c'est très intéressant.
es-tu sûr qu'il s'agisse de Google?
peux-tu poster un exemple de log stp?

[milouchouchou]

Bonsoir

J'ai déjà posé la question début de ce mois

Bonjour tout le monde

Quelqu'un pourrait-il m'expliquer où le Spider Googlebot 2.1 va chercher ce genre de lien fantaisiste lors de son indexation :

Code: Tout sélectionner

http://milouchouchou.com/index.php/ensemble-du-site/annuaire/chiens/les-photos/chiens-ou-chiots-a-adopter/paradis/paradis/mon-rambo-au-paradis-16/12/les-poemes/groupes-fci-par-pays/paradis/ma-petite-bijou-22/02/ensemble-du-site/ensemble-du-site/html/paradis

Code: Tout sélectionner

http://milouchouchou.com/index.php?Itemid=78&option=com_contact_enhanced&view=contact&id=5

Code: Tout sélectionner

http://www.milouchouchou.com/schnauzer-geant

C'est régulièrement par dizaines que je vois des liens de ce genre dans mes statistiques, tous aussi exotiques.

Je n'ai jamais créé ce type de page ou lien, l'adresse de mon site étant tout simplement http://www.milouchouchou.com

Merci d'éclairer ma chandelle, si quelqu'un a la réponse.

Francis

Comme réponse on me parle d'une redirection 301, ce que j'ai fait pour plus de 300 liens, mais la liste continue.
Je trouve anormal de devoir faire des redirections pour des pages inexistantes et créées par googleboot.

[UsagiYojimbo]

Serait-ce un des signaux recherchés par la maj Panda, a savoir si le site a une page partenaires?

Dans GWT, normalement on t'indique les pages sources des 404.

[fredfan]

Ca pourrait être aussi un robot de spam referrer qui fait des liens vers toi parce que tu es dans sa liste par erreur, par négligence), dans une démarche de recherche de proies. Ce genre de robots n'a pas toujours des raisons très cohérentes.

[finstreet]

j'ai eu le pb y'a deux jours. Erreur sur un stripslahes oublié... mais souvent ca arrive et ca vient du site

[Bigb06]

carole heinz, je pense qu'il s'agit bien de GoogleBot:

Url de la page : /partenaires.html
Url de provenance :
IP du visiteur : 66.249.66.25
Navigateur : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Heure de la requete : 30/04/2011 13:42:19

Donc rien à voir avec Spidebot milouchouchou
fredfan, le reverse dns lookup indique bien que l'ip appartient à Google
finstreet, pas de problème de ce genre, le site existe depuis plus d'un an sans jamais avoir eu de pages partenaires, et pas de changement de code récent.

[fredfan]

Je n'ai pas dit que ce n'était pas googlebot, mais qu'il a pu choper l'adresse sur une page provisoire de spam. Ca peut être aussi un serveur dns qui déconne et qui a mélangé deux bouts d'url