Petit constat sur googlebot

[chewb]

Je viens de remarquer quelque chose d'étrange.
Il semblerais que googlebot viennes visiter les pages de mon site qui sont le mieux référencée sur.............google.
J'ajouterais qu'il viens (page in) beaucoup plus souvent sur les pages qui ont étaient visitées par des "humains" venant de google.

Je crois que l'idée qui court sur le fait que google utilise ces propres stats se vérifirait

[Michel]

hello !
désolé mais moi comprendre rien à ce que tu veux dire ?

[mahefarivony]

il veut peut etre parler des robots adsense ?

[Michel]

Ok aprés relecture je vois ce que tu veut dire...
une piste à surveiller... mais suis pas convaincu

[chewb]

Bon alors un exemple ca sera plus simple : )))
(attention ca n'as peut etre pas vraiment d'interet, c'est un constat)...


Ademettons que sur mon site : www.test.org j'ai une page /page1.html
Cette page est très bien référencé et donc des gens viennent de google sur cette page.... (la c'est bon vous suivez)...
page2.html elle n'est que très mal référencer, personne ne la trouve sur google.

Et bien j'ai pu constater que googlebot venais directement (sans passer par www.test.org) sur page1.html beaucoup plus souvent que sur page2.html

Ca veu bien dire que google utilise ces propres stats pour "envoyer" googlebot scrawler des pages...


C'est bon la ? : ))

Tiens je vais compliquer un peu....
Si demain kk1 en tapant une combinaison de mot clef extraordinaire trouve page2.html et clique... Il y'a des chances pour que googlebot (j'en vois déjà qui pense que je confond avec mediapatners..non non) vienne alors visiter la page plus souvent.

[mahefarivony]

Et bien j'ai pu constater que googlebot venais directement (sans passer par www.test.org) sur page1.html beaucoup plus souvent que sur page2.html

et comment tu vois ça ? Et ca veut dire quoi "il vient plus souvent?" 1 fois par jour ? par semaine ? par mois ? 50 fois par jour ? Et quels sont les IP de ces bots ?

[chewb]

Tu as bien choisi ton avatar mahe : ))

Alors comment je le vois, et bien simplement en suivant mes stats a l'aide de cnstats.
Je vois a quel moment un visiteur viens, de quel moteur il viens et sur quelle page il tombe sur mon site.
je peux aussi voir les robots, sur quelle page ils passent, et a quelle moment.
Suffit de faire de recoupement.

Quand je dis qu'il passe plus souvent, c'est surtout en rapport avec les pages moins bien indéxées. Et cela dépend des visites d'humains venant de google.
Pas tant en terme de visites/jours

Pour les ip :
64.68.82.178
64.68.82.142
64.68.82.45
64.68.82.176
64.68.82.55
64.68.82.33

Ce qui m'a fait suivre ca de si pret, c'est quand j'ai vu que souvent des googlebots venait sur des pages sans passer par la home. Des pages qui n'on absolument pas de backlink. J'ai donc regarder durant quelques jours, et regarder les pages que ces bots venaient voires. Je me suis ensuite rendu compte qu'ils sagissaient de page visités par des personnes ayant fait une recherche sur google.


Evidemment ce n'est pas TOUJOURS le cas, lors de full scrawl ca n'a plus lieu d'être, mais bon c'est un constat comme un autre : )

[cariboo]

Pour Google, c'est la première fois que l'on entend parler d'un tel mode de fonctionnement.

Mais penser que Google met à jour en priorité les pages les plus consultées serait quelque chose de logique. D'autres moteurs le font depuis longtemps (c'était l'une des caractéristiques d'Altavista par exemple). Cela fait partie des techniques employées dès lors qu'un moteur travaille sur un index ouvert.

[BadProcESs]

Je dirais à priori que GG privilégie cette page pour deux raisons possible : Soit elle possède un PR supérieure au autre (a vérifier toi même), soit c'est simplement que GG à constaté une fréquente maj de cette dernière, et tout le monde sait que GG est friand des pages à contenu changeant souvent...

[herveG]

Je suis aussi de ton avis Bad ! Est que la page qui a du succès est mise a jour regulierement par rapport a celle qui n a pas de succes ?

[chewb]

Dans ce que j'ai pu voir il ne s'agit pas 'd'une page', j'ai dis une pour que l'exemple soit clair.

J'ai vérifier sur les pages qui subissait le phénomène et certaines sont des pages qui ont un cache d'un mois (mon site est en php mais utilise un systeme de cache). Ce sont pas forcement des pages qui changent beaucoups donc.
Pas de pagerank la dedans non plus, mais pages ont toutes un mauvais PR lol : )

Enfin bon voila j'aurais pas dis ca si j'avais pas d'abord passé un pe ude temps a regarder ce qui pouvait se passer...

[Suede]

Google visite peut etre les pages qui ont plus de contenu. Et en général, ce sont les pages qui ressortent mieux dans les recherches donc qui sont les plus vues.

François

[Suede]

Correction : si tu regardes uniquement les IP, tu ne peux différencier le bot googlebot classique et googlebot mediapartner.
Si le site dont tu parles est celui de ton profile, il est normal que Google passe plus sur les pages visitées étant donné qu'il y a des adsenses. Mais il s'agit du bot adsens et non du bot du moteur de recherche.

François

[Remi L.]

Je ne comprends pas comment on peut dire que "Googlebot vient visiter une page sans passer par la home" puisque le bot n'a pas de Referrer renseigné... Et le robot ne navigue pas, il vient lire les pages qu'il a dans sa base pour la mettre à jour.

Qu'il y ait des différences énormes de fréquence de passages du robot entre les pages, ça on l'observe tous, il vient visiter les pages qui ont le plus d'importance à ses yeux et ce sont aussi celles-là qui sortent le mieux, c'est normal, il ne faut retourner le problème.
Maintenant, est-ce que Google utilise son compteur de clic dans l'algo qui calcule l'importance d'une page... c'est possible, mais sans doute marginal et certainement plus pour descendre que monter (faire descendre une réponse sur laquelle personne ne clique)

[chewb]

Bon je vais insister un ptit peu, c'est si extraordinaire que cela ce que j'ai constater pour que vous ayez tant de mal a le croire ???

Je n'utilise pas les ip pour identifier googlebot mais je les ai mises car on me la demander. Cela dis mediapartners utilisent en générale 64.68.86.xx ou 64.68.87.xx

Voila donc les user agent des robots dont je parle : Googlebot/2.1 (+http://www.google.com/bot.html) C'est bon cette fois c'est aquis je me suis pas gouré de bot ??

Ensuite pour le pb du "un robot n'as pas de referer" c'est vrai.

Mais si a 10h00 un bot a visité une page et que c'est la premiere de la journée je me dis que peut etre... Il n'est pas venu de la home... ou alors faut qu'on m'explique, il est ptet passé la veille a planté ca tente pour la nuit ???


Bon bref voila, je vais ptet me contenter de post bateau parceque la ca me gonfle un tit peu d'avoir a jusitifer chaque virgule de mes posts.


(Dsl de communiquer un peu sechement ca donne pas forcement une bonne image d'un forum, mais bon j'ai déjà passé une semaine a analysé les allées et venus de robots si c'est pour en passer autant a expliquer ma démarche c'esdt décourangeant...)