Description du système de crawl et d'indexation de Google

**le Mer Aoû 20, 2008 8:58**

Je vous ai fait un petit résumé de l'état actuel du système de crawl de Google. Bonne lecture !

**le Mer Aoû 20, 2008 9:12**

C'est un article réellement très intéressant, il y a matière à discussion en effet.
Mon sentiment depuis 2006, c'était que GG donnait une certaine priorité au crawl des redirections (c'est pour ça que j'avais froidement mis les berszerkers derrière une 302 du root).

**le Mer Aoû 20, 2008 9:23**

moi ce qui m'intéresse, c'est d'avoir plus d'informations sur :
"certaines thématiques sont traitées de façon spécifique, comme par exemple l'actualité."

si quelqu'un en a...

**le Mer Aoû 20, 2008 10:17**

Intéressante cette notion de couches de périodes différentes qui explique pas mal de constats fait régulièrement en matière de crawlabilité. allez hop une reco :wink:

**le Mer Aoû 20, 2008 10:31**

interressant
+1 reco

**le Mer Aoû 20, 2008 10:34**

Merci, je suis sur une bonne lancée avec mes derniers articles vu vos remerciements. J'en ai encore qq uns sous le coude pour la rentrée

**le Mer Aoû 20, 2008 10:44**

en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire

**le Mer Aoû 20, 2008 12:16**

Très intéressant article pour mieux comprendre les crawls et le fonctionnement de Google.

**le Mer Aoû 20, 2008 13:59**

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

**le Mer Aoû 20, 2008 14:20**

Rien de bien nouveau. On sait bien que la fréquence de crawl des pages sur internet n'est pas la même pour toutes et que beaucoup de paramètres rentrent en jeu (comme ceux que tu as marqué et sûrement d'autres).

J'aime bien quand tu marques "est très vieux (il a été déposé en juillet 2003 et accepté fin 2007) et Google a sans doute adapté son système depuis..." et dans le titre de ton lien " l'état actuel du système " ...

**le Mer Aoû 20, 2008 15:07**

e-kiwi a écrit:en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire

Le kiwi est radin :d

**le Mer Aoû 20, 2008 15:08**

guide-de-stockholm a écrit:Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

**le Mer Aoû 20, 2008 15:20**

Zecat a écrit:
guide-de-stockholm a écrit:Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?
Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

Justement, le site qui est crawlé plus fréquemment aura la date la plus ancienne (de crawl pour un contenu en particulier).

**le Mer Aoû 20, 2008 15:28**

Je suppose qu'avant le crawl il y a une phase "inventaire des pages" qui permet de résoudre ce pb ... sinon ca serait trop facile et ca se saurait en plus.

**le Mer Aoû 20, 2008 15:37**

Zecat a écrit:
guide-de-stockholm a écrit:Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?
Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)

Oui, mais on est bien d'accord qu'un site faisant partie de la couche quotidienne sera crawlé tres frequement (sans parler d'inclusion dans l'index). Donc une nouvelle page sera très vite vue. Alors qu'un site de la couche de base sera crawler moins frequement, et une nouvelle page peut être decouverte plusieurs jours après sa mise en ligne.
Le problème du DC reste donc entier.

Description du système de crawl et d'indexation de Google

Description du système de crawl et d'indexation de Google

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne