GoogleBot 3 passe, mais pas GoogleBot 2

[fred727]

Bonjour,

Juste pour essayer d'avoir un peu plus d'infos sur mon problème car j'avoue ne pas bien comprendre ce qu'il se passe.

J'ai un site qui fonctionne tranquillement, et dont je suis l'évolution en terme de référencement avec RobotStats.
Il y a quelques temps, j'ai vu que GoogleBot 2 ne passait plus que mon site, alors qu'il indexait chaque jour plusieures dixaines de pages...
Par contre GoogleBot 3 passe toujours et indexe toujours 2-3 pages par jour.

Avez-vous une idée pour savoir d'ou ca viens ?
Je me suis demandé si GoogleBot 2 n'avait pas changé d'IP ou un truc qui fasse que RobotStats ne le detecte plus, mais apparement mes pages ne sont plus mises à jour dans l'index ! Donc c'est bien une abscence de passage.

Par contre mes pages ne sont pas désindéxée de google, elles apparaissent bien quand on fait une recherche sur mot clé et une recherche de type 'site:.monsite.com'
Donc à priori; c'est pas un blacklistage...

Bref, je comprends pas trop...

[oli004]

Je dirai qu'il s'agit un bot comme un autre. que ce soit googlebot2 ou 3 ce n'est pas le plus important. Ce qui compte, c'est qu'il y en ait au moins un qui passe

[biddybulle]

oui j ai eu le meme probleme aussi, mais cela dit je suis toujours indexé donc 2 ou 3 pas de différence.

[fred727]

la différence, c'est que le 2 m'indexait entre 30 et 100 pages par jours, alors que le 3 n'en indexe que 4...

Ca fait une petite différence qd même...

Et le 3 s'arrete en général au pages de 1er niveau tandi que le 2 descendait assez profondément !

[jeanluc]

Cela n'apporte plus grand chose de distinguer les différents Googlebot de cette manière. Depuis quelque temps, toutes les informations obtenues par les différents robots de Google sont mises dans un pot commun. Google appelle ça, le smarter crawling.

Même les informations obtenues par le robot AdSense "Mediapartners-Google/2.1" servent aussi à l'indexation.

Jean-Luc

[fred727]

dans ce cas, ma question se résume à :

"pourquoi il y a un mois, Google indexait plusieures dixaines (centaines) de pages de mon site par jour, alors que maintenant, il n'en explore plus que 3 ou 4"

Ca peut venir d'où ?

[Suede]

Est-ce que tu as adsenses et dans ce cas est-ce que le bot mediapartner passe ?

[fred727]

Est-ce que tu as adsenses et dans ce cas est-ce que le bot mediapartner passe ?

bonne question...
En fait, j'ai désactivé mediapartner de RobotStat pour alléger mes logs... Je vais le réactiver pour te dire mais à priori oui car mes pubs sont assez bien ciblées.

edit --> 5 minutes après l'avoir réactivé, j'ai déja une visite de mediapartner, donc je pense pouvoir affirmer que pas de problème de ce coté là...

[Suede]

Si mediapartner crawle tes pages, les autres ne viendront pas car ils recupereront les données de mediapartner.

[fred727]

Si mediapartner crawle tes pages, les autres ne viendront pas car ils recupereront les données de mediapartner.

Tu la tiens d'où cette info ?

Et comment t'explique que mes pages ne sont plus mises à jour dans l'index google (quand je demande d'afficher la mise en cache)
Alors qu'elles l'était parfaitement il y a encore 3 mois...

Même la version de ma page d'accueil date d'1semaine !!!! alors qu'elle était auparavent rafraichie tous les 2 jours dans le pire des cas.

[jeanluc]

Nous tenons cette info de l'article sur le smarter crawling de Matt Cutts (ingénieur et porte-parole de Google).

Il peut y avoir de nombreuses raisons à la désindexation de ton site. Je n'ai malheureusement pas d'explication à ce sujet.

Jean-Luc

[fred727]

Il peut y avoir de nombreuses raisons à la désindexation de ton site. Je n'ai malheureusement pas d'explication à ce sujet.

Si tu pouvais m'en donner 2 ou 3... les plus connues.... Sachant que je ne suis plus "mis à jour" seulement, mais toujours présent dans l'index google. Et mes positions en terme de mots clés n'ont pas été affectée.

[Cendrillon]

Si tu pouvais m'en donner 2 ou 3... les plus connues.... Sachant que je ne suis plus "mis à jour" seulement, mais toujours présent dans l'index google. Et mes positions en terme de mots clés n'ont pas été affectée.

je crois que Jean Luc t'a répondu, c'est pas facile d'en dire plus sur un site dont on ne sait rien ... tu veux des raisons de désindexation, il y en a des dizaines ... par où commencer ... la lecture de WRI, ou peut être une petite recherche (en haut à droite) ...

en attendant tu peut peut être lire le blog de matts cutts, en plus de la page que t'as donné Jean Luc tu peux aussi lire celle là : http://www.mattcutts.com/blog/indexing-timeline ...