Description du système de crawl et d'indexation de Google

[WebRankInfo]

Je vous ai fait un petit résumé de l'état actuel du système de crawl de Google. Bonne lecture !

[Szarah]

C'est un article réellement très intéressant, il y a matière à discussion en effet.
Mon sentiment depuis 2006, c'était que GG donnait une certaine priorité au crawl des redirections (c'est pour ça que j'avais froidement mis les berszerkers derrière une 302 du root).

[e-kiwi]

moi ce qui m'intéresse, c'est d'avoir plus d'informations sur :
"certaines thématiques sont traitées de façon spécifique, comme par exemple l'actualité."

si quelqu'un en a...

[Zecat]

Intéressante cette notion de couches de périodes différentes qui explique pas mal de constats fait régulièrement en matière de crawlabilité. allez hop une reco

[V1tr1neMag1que]

interressant
+1 reco

[WebRankInfo]

Merci, je suis sur une bonne lancée avec mes derniers articles vu vos remerciements. J'en ai encore qq uns sous le coude pour la rentrée

[e-kiwi]

en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire

[Madrileño]

Très intéressant article pour mieux comprendre les crawls et le fonctionnement de Google.

[guide-de-stockholm]

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

[Fnnyaert]

Rien de bien nouveau. On sait bien que la fréquence de crawl des pages sur internet n'est pas la même pour toutes et que beaucoup de paramètres rentrent en jeu (comme ceux que tu as marqué et sûrement d'autres).

J'aime bien quand tu marques "est très vieux (il a été déposé en juillet 2003 et accepté fin 2007) et Google a sans doute adapté son système depuis..." et dans le titre de ton lien " l'état actuel du système " ...

[Zecat]

en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire

Le kiwi est radin :d

[Zecat]

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

[guide-de-stockholm]

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

Justement, le site qui est crawlé plus fréquemment aura la date la plus ancienne (de crawl pour un contenu en particulier).

[Zecat]

Je suppose qu'avant le crawl il y a une phase "inventaire des pages" qui permet de résoudre ce pb ... sinon ca serait trop facile et ca se saurait en plus.

[Djoule_logo]

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

Oui, mais on est bien d'accord qu'un site faisant partie de la couche quotidienne sera crawlé tres frequement (sans parler d'inclusion dans l'index). Donc une nouvelle page sera très vite vue. Alors qu'un site de la couche de base sera crawler moins frequement, et une nouvelle page peut être decouverte plusieurs jours après sa mise en ligne.
Le problème du DC reste donc entier.