Date dans les réponses

[Rudy]

Ah c quoi ca des crawler 1 et des crawler 2

J'ai mis en ligne mon site le 09 septembre.
Google passe régulièrement visiter de nouvelles pages avec des (crawler10.googlebot.com, 11, 12, 13, 14. et des crawler22.googlebot.com, 23 et 24)

Je désespère chaque jour de ne pas voir apparaitre ces pages crawlées dans les résultats de Google.

Et ce matin en lisant le message de Gralon, je me dis " Et si la raison de ne pas voir toutes mes pages était là ".

Apparement pour ce qui me concerne c'est le cas.

[George Abitbol]

J'ai mis en ligne mon site le 09 septembre.
Google passe régulièrement visiter de nouvelles pages avec des (crawler10.googlebot.com, 11, 12, 13, 14. et des crawler22.googlebot.com, 23 et 24)
Je désespère chaque jour de ne pas voir apparaitre ces pages crawlées dans les résultats de Google.
Et ce matin en lisant le message de Gralon, je me dis " Et si la raison de ne pas voir toutes mes pages était là ".
Apparement pour ce qui me concerne c'est le cas.

Je constate exactement le même phénomène. Les seules pages actuellement indexées (nouveau site, mise en ligne début octobre) sont celles qui ont été crawlées par crawler1....googlebot.com. Celles qui ont été crawlées par les crawl22, 23 etc. ne figurent pas encore dans l'index.

Fred

[Gralon]

En fait, si vous regardez mon post de ce matin :
http://www.webrankinfo.com/forums/viewtopic_5674.htm

les 60 000 pages crawlées par un crawl2..googlebot.com n'apparaissent pas dans les résultats de recherche de google (et ça me met les nerfs).
par contre les 4- 6 000 pages crawlées par un crawler1..googlebot.com apparaissent bien dans les recherches de google (et correctement positionnées).

[WebRankInfo]

peut-être une nouvelle forme du fameux full crawler ?

[George Abitbol]

J'apporte un élément que je viens de constater. J'ai fait sur un site ancien et très bien positionné des liens vers certaines des pages de mon nouveau site. Et devinez quoi ? Ce sont ces pages-là qui ont été crawlées par les crawler1xxx et indexées rapidement. Je vais faire un test en ajoutant d'autres liens vers les autres pages (enfin, pas toutes, y'en a trop).

Fred

[WebRankInfo]

il y aurait des familles de crawlers attitrées en fonction du PR ?

[George Abitbol]

il y aurait des familles de crawlers attitrées en fonction du PR ?

Pas impossible... Je regarde quels sont exactement les crawlers qui ont visité les pages liées depuis mon autre site, je trouve crawler10 et crawler11. La page qui fait le lien est une page récente, un peu perdue dans l'arborescence, et son PR doit osciller entre 0 et 1...
De plus, en ce qui concerne la page d'accueil du nouveau site, elle est, en plus des crawler10 et 11, visitée par des crawler13, 14 et 15, et il se trouve que justement j'ai des liens vers cette page d'accueil depuis des pages à PR 3, 4 et 5. Ca peut être une coïncidence, mais je n'ai aucun lien de page à PR6 ou plus, et aucune visite de crawler16 ou plus non plus...
Ca ne suffit sans doute pas à tirer des conclusions définitives mais j'avoue que c'est troublant.
Ce qui semble plus clair en tous cas, c'est la séparation entre les crawlerxx qui apparemment se contentent de visiter les liens qu'ils trouvent sur des sites déjà indexés sans aller plus loin, et les crawlxx qui eux parcourent l'arborescence en profondeur spontanément (enfin, sans doute qu'ils se basent sur les pages collectées par les crawlerxx auparavant). Si l'indexation est rapide pour les pages visitées par les premiers, elles semble bien plus longue pour les autres.
Enfin, ce qui est vraiment clair c'est que ça fait beaucoup de conjectures, tout ça
De quoi rendre fou... à lier

Fred

[herveG]

il y aurait des familles de crawlers attitrées en fonction du PR ?

vous rappellez de ma remarque : http://www.webrankinfo.com/forums/viewtopic.php?t=5377&postdays=0&postorder=asc&start=30

c etait peutetre pas completement faux alors....!
a+
Hervé