On dirait que le deep crawl c'est commencer chez les amerlok

[frenchtoast]

Qu'est que vous en pensez,
ca a commencer ce matin et continuer l' apres midi (nuit en Gaule):
crawl35.googlebot.com - - [10/Jul/2003:17:10:35 -0400]
crawl31.googlebot.com - - [10/Jul/2003:17:11:11 -0400]
crawl35.googlebot.com - - [10/Jul/2003:17:30:52 -0400]
crawl35.googlebot.com - - [10/Jul/2003:17:41:08 -0400]
crawl32.googlebot.com - - [10/Jul/2003:17:43:27 -0400]
crawl35.googlebot.com - - [10/Jul/2003:17:46:21 -0400]
crawl35.googlebot.com - - [10/Jul/2003:16:53:11 -0400]
crawl32.googlebot.com - - [10/Jul/2003:16:55:17 -0400]
crawl33.googlebot.com
crawl35.googlebot.com - - [10/Jul/2003:16:22:35 -0400]
crawl34.googlebot.com - - [10/Jul/2003:15:42:45 -0400]
crawler12.googlebot.com - - [10/Jul/2003:08:57:14 -0400]
crawler10.googlebot.com - - [10/Jul/2003:09:06:12 -0400]
crawler10.googlebot.com - - [10/Jul/2003:09:06:12 -0400]
crawler11.googlebot.com - - [10/Jul/2003:09:11:48 -0400]
crawler10.googlebot.com - - [10/Jul/2003:09:13:00 -0400]
crawler12.googlebot.com - - [10/Jul/2003:09:13:58 -0400]
crawler11.googlebot.com - - [10/Jul/2003:09:14:54 -0400]
crawler10.googlebot.com - - [10/Jul/2003:09:15:41 -0400]
crawler12.googlebot.com - - [10/Jul/2003:09:19:41 -0400]

[koros]

Oui, j'ai un site US et il passe mais le comportement est très curieux.
D'habitude, quand google se braque sur un site, il fait ça plutot rapidement.

La, c'est 10 pages par jour maxi (vu que mon site en a 600, à ce rytme, on en a jusqu'a la fin de l'été).

Je trouve ça bizzare, je preferai avant. Et je constate ça sur plusieurs sites complètement independants.

Koros

[frenchtoast]

Oui, j'ai un site US et il passe mais le comportement est très curieux.
D'habitude, quand google se braque sur un site, il fait ça plutot rapidement.

La, c'est 10 pages par jour maxi (vu que mon site en a 600, à ce rytme, on en a jusqu'a la fin de l'été).

Je trouve ça bizzare, je preferai avant. Et je constate ça sur plusieurs sites complètement independants.

Koros

Tu as raison, c'est pourquoi je n'etais pas sur..... On dirait que cette fois ci google bot tourne au ralentit pour ne pas "affoler la machine" comme il l'avait fait le mois passe.
Stay tuned!!

[luckyluk]

salut,

y a pas que chez les amerlok...

moi il a crawlé la moitié de mon site...(bon d'accord, il n'y a que 60 pages...)

[nico__p]

Ouaip pareil : je suis deepcrawlé depuis avant hier, cf msg que j'avais mis dans un topic qui me semblait approprié mais qui n'a manifestement pas été lu lol
------------------------------------------------------------------

Avec mon PR redescendu a 4 depuis la derniere dance google ne crawlait pas les nouvelles pages. Aujourd'hui j'ai subi une sorte de full crawl partiel : visite d'environ 70% des pages du site et visite de TOUTES les nouvelles pages ( = pages mises en ligne depuis la derniere dance).
Ces pages ne sont pas encore dans l'index mais c'est normal ca fait a peine 1h00 qu'il a fini de crawler, laissons le se reposer

D'autres PR moyens qui etaient exclus des crawl de nouvelles pages ont ils constaté le meme phenomene ?

(edit)Je precise que le dernier full crawl constaté sur mon site s'etait produit le 11 juin 2003 soit il y a tres exactement (ou presque :p ) un mois. Ca serait donc un nouveau deep, mais il semble etre moins profond car certaines pages n'ont pas ete revisitées..; ca va peut etre venir dans l'apres midi.(/edit)

[WebRankInfo]

quand vous parlez de DeepCrawl, en fait vous parlez d'un crawl classique (fresh crawl) de grande ampleur ? Car on ne voit toujours pas passer le GoogleBot Full Crawl (il est mort et enterré semble-t-il)

[herveG]

je serai effectivement de cet avis. ce ne sont que des fresh crwal qui semblent plus actifs ces derniers temps et visitent chaque page "individuellement". je n ai pas l impression qu ´ils "suivent" véritablement la profondeur des sites....enfin chez moi en tout cas....

[hetzeld]

Bonjour,

Chez moi il a pris 52 pages hier, et 220 depuis ce matin. Manifestement, il continue...

[Suede]

Bonjour,

En fait, ca fait depuis début juillet qu'il a commencé à passer :
286 visites/278 pages le 2
15/13 le 4
130/130 le 6
45/36 le 7
350/350 le 9
50/48 le 10
386/367 le 11 à 12h50
(les autres jours 1 à 5 visites).
En résumé depuis début juillet : 1276/1049 en julllet pour environ 2000-2200 pages indexées sur google.

François

[herveG]

petite question : une de mes nouvelles pages a été visitée par un fresh il y a deja quelques jours de ca : 64.68.88.40 crawl32.googlebot.com
cependant, je ne la vois touours pas indexée sur google. est ce que cela est "compatible" avec les nouvelles observations en matiere d indexation de nouvelles pages ou est-ce plutot compatible avec les methodes anciennes qui, si je ne me trompe pas, consistaient a deepcrawler les nouvelles pages et à ne les indexer qu au cours de la GD suivante ? merci. a+ Hervé

la page en question est : http://www.location-poitiers.com/vacation-rentals.php

PS: est ce que le fait que la page soit en anglais peut avoir un incidence négative dans la mesure ou ma page d acueil est indexée en francais ? par exemple, si les freshbots sont divisés en "freshbots pour la base "pages en francais" et freshbots pour la base "autres langues". genre "ah ben moi, je suis un fresh "france" donc si je trouve une page en anglais, je ne l indexe pas....."

[Suede]

petite question : une de mes nouvelles pages a été visitée par un fresh il y a deja quelques jours de ca : 64.68.88.40 crawl32.googlebot.com
cependant, je ne la vois touours pas indexée sur google. est ce que cela est "compatible" avec les nouvelles observations en matiere d indexation de nouvelles pages ou est-ce plutot compatible avec les methodes anciennes qui, si je ne me trompe pas, consistaient a deepcrawler les nouvelles pages et à ne les indexer qu au cours de la GD suivante ? merci. a+ Hervé

Attendre, attendre Surtout si c'est il n'y a que qqs jours. Tu peux aussi tester sur tous les datacenters pour voir si elle est qqpart.

François

[nico__p]

quand vous parlez de DeepCrawl, en fait vous parlez d'un crawl classique (fresh crawl) de grande ampleur ? Car on ne voit toujours pas passer le GoogleBot Full Crawl (il est mort et enterré semble-t-il)

Oui, exactement.

Je pense que mon exemple est intéressant car avec mon pr4 j'etais exclu des MAJ en continu de l'index : seules les pages relevées en juin lors de la derniere dance etaient visitées et mises a jour dans le cache etc. Les liens vers des nouvelles pages n'etaient jamais visitées jusqu'à ces derniers jours.

Un mois jour pour jour après le dernier full crawl (par des ips de fresh bots), il re-fullcrawl mon site. Il a aspiré presque toutes les pages mais pas encore la totalité absolue.

[DaViDe]

Est-ce cela voudrait dire que dans un sens la google dance de juillet est lancée..?

[cdpdf]

[DaViDe]

Mais pourront-t-ils tenir techniquement la cadence.. Si ils ne l'ont pas fait jusque maintenant c'est certainement pour cette raison!

Si ils se plantent.. arf.. bel effet!