Googlebot

[mahefarivony]

yo,

Petite question : le fait que googlebot cherche sur mon site le fichier robot.txt et ne le trouve pas pose-t-il problème ?

merchi

PS: accessoirement, le googlebot est passé 60 fois hier... pour une premiere,c'est bien ? pas bien ? ca veut rien dire ?

 

[WebRankInfo]

Le + simple je pense c'est de mettre un fichier robots.txt avec

# Allow all
User-agent:  *
Disallow:

(tu n'interdis donc rien) comme ça GoogleBot n'aura plus d'erreur 404 (c'est ce que j'ai fait pour WRI)
Depuis hier GoogleBot est passé à un crawl de masse on dirait...

 

[Antoine]

oui j'observe aussi un crawl de masse
vous savez pourquoi?

 

[Fruge]

C'est le "Deep-Crawl" : queqlues jours apres chaque Google Dance, Google visite de facon approfondie ("Deep") les sites qu'il connait.

Fruge

 

[Antoine]

quelle types d'infos sont recherchées pendant le deep crawl?
Quand sont elles utilisées par google?

 

[Fruge]

Selon mon experience, les infos collectees sont utilisees (et disponible pour les visiteurs de Google) lors de la google dance qui suit (soit 3 semaines plus tard).

Par exemple, juste avant la derniere Deep-Visite, j'avais entierement modifié les url de mon site, mais les nouvelles URL ne sont disponibles sur Google que depuis la derniere google Dance

L'autre type de visite, les visites plus superficielles (avec les adresses IP : 64.quelquechose.. ; les deep-visites ont lieu avec les IP : 216.quelquechose...) sont AMHA des visites qui permettent uniquement a google de faire des petites mises a jour : s'il trouve de nouvelles pages, il les fait apparaitre 2-3 jours sur google, puis ellles disparaissent jusqu'a la prochaines google dance ou elles reviennent definitivement.

Fruge

 

[Antoine]

tres interessant!
j'observe des choses similaires
D'autres confirment?

C'est quand meme un peu inquietant parce que ca veut dire que si je fais des changement juste apres le deep crawl il faut attendre le prcohain dee craxl puis la prochaine dance pour le voir dans google.
Donc: changement demain => indéxés dans 70 jours!

sinon c'est vraiment bizarre ces petits passages tous les 2/3 jours qui prennent des grappes de pages et les relache...

 

[Fruge]

Oui !

Ca fait 4 ou 5 mois que je regarde ces phenomenes de pres, et a chaque fois, je constate que les modification faites avant la Deep sont definitivement mis en ligne lors de la GD qui suit,... et que les modifications faites juste apres la Deep... mettent bcp plus de temps a etre definitivement sur Google

Ce qui explique que depuis 2 ou 3 mois, je bourre a mort afin de finir toutes mes modifications importantes avant le Deep ! ;-)

Bye

 

[WebRankInfo]

Pour compléter Fruge, voici une info à propos de GoogleStats : j'ai modifié le script pour qu'il stocke maintenant l'adresse IP de GoogleBot.
Cette nouvelle version est disponible mais il faut réinstaller l'application, ce qui fait perdre tout l'historique. Je n'ai pas eu le temps de faire un script d'upgrade, je vais y réfléchir...

 

[Fruge]

Pour compléter Fruge, voici une info à propos de GoogleStats : j'ai modifié le script pour qu'il stocke maintenant l'adresse IP de GoogleBot.

Pour faire la différence entre la Deep-Visit et la Refresh-Visit : c'est une bonne idée ! ;-)

 

[Eservice]

Selon mon experience, les infos collectees sont utilisees (et disponible pour les visiteurs de Google) lors de la google dance qui suit (soit 3 semaines plus tard).

Par exemple, juste avant la derniere Deep-Visite, j'avais entierement modifié les url de mon site, mais les nouvelles URL ne sont disponibles sur Google que depuis la derniere google Dance

Bonjour, je m'en doutais. Merci de confirmer :wink:

L'autre type de visite, les visites plus superficielles (avec les adresses IP : 64.quelquechose.. ; les deep-visites ont lieu avec les IP : 216.quelquechose...)

les deep crawl en 216 ont aussi un nom de domaine différent crawlxx.googlebot.com alors que les daily crawl en 64 s'appellent crawlerxx.googlebot.com

 

[speedyop]

ouin, ca veut dire que pour un nouveau site lancer juste apres une GD faut attendre deux mois pour bien etre referencer... un moi pour un passage de la GD et un autre pour la mise en prod.

moi aussi j'ai remarquer que mon site avait été mis a jour samedi (date du cache le 1 novembre) puis qu'il est subitement revenu en arriere (cache au 12 octobre).

 

[Anonymous]

robots.txt

Attention, le nom du fichier doit être robots.txt et pas robot.txt comme indiqué dans ton message.
PLL

 

[hervedidier]

Je confirme : j'observe les memes phenomes de "deep visit" et de "refresh visit", aux memes periodes de temps.

Avec les memes resultats.