Description du système de crawl et d'indexation de Google

Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics


WebRankInfo
Administrateur du site
Administrateur du site
 
Messages: 15881
Inscription: Ven Avr 19, 2002 19:51

Description du système de crawl et d'indexation de Google

Message le Mer Aoû 20, 2008 8:58

Je vous ai fait un petit résumé de l'état actuel du système de crawl de Google. Bonne lecture !


Szarah
WRInaute accro
WRInaute accro
 
Messages: 8090
Inscription: Mer Fév 22, 2006 18:24

Message le Mer Aoû 20, 2008 9:12

C'est un article réellement très intéressant, il y a matière à discussion en effet.
Mon sentiment depuis 2006, c'était que GG donnait une certaine priorité au crawl des redirections (c'est pour ça que j'avais froidement mis les berszerkers derrière une 302 du root).


e-kiwi
Modérateur
Modérateur
 
Messages: 13850
Inscription: Mar Déc 23, 2003 9:04

Message le Mer Aoû 20, 2008 9:23

moi ce qui m'intéresse, c'est d'avoir plus d'informations sur :
"certaines thématiques sont traitées de façon spécifique, comme par exemple l'actualité."

si quelqu'un en a... ;)


Zecat
WRInaute accro
WRInaute accro
 
Messages: 7563
Inscription: Mar Mar 01, 2005 2:44

Message le Mer Aoû 20, 2008 10:17

Intéressante cette notion de couches de périodes différentes qui explique pas mal de constats fait régulièrement en matière de crawlabilité. allez hop une reco :wink:

V1tr1neMag1que
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 136
Inscription: Mer Déc 12, 2007 9:11

Message le Mer Aoû 20, 2008 10:31

interressant
+1 reco


WebRankInfo
Administrateur du site
Administrateur du site
 
Messages: 15881
Inscription: Ven Avr 19, 2002 19:51

Message le Mer Aoû 20, 2008 10:34

Merci, je suis sur une bonne lancée avec mes derniers articles vu vos remerciements. J'en ai encore qq uns sous le coude pour la rentrée


e-kiwi
Modérateur
Modérateur
 
Messages: 13850
Inscription: Mar Déc 23, 2003 9:04

Message le Mer Aoû 20, 2008 10:44

en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire ;)


Madrileño
Madrileño
Madrileño
 
Messages: 19981
Inscription: Mer Juil 07, 2004 12:14

Message le Mer Aoû 20, 2008 12:16

Très intéressant article pour mieux comprendre les crawls et le fonctionnement de Google.


guide-de-stockholm
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 165
Inscription: Ven Avr 11, 2008 13:07

Message le Mer Aoû 20, 2008 13:59

Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?

Fnnyaert
WRInaute discret
WRInaute discret
 
Messages: 61
Inscription: Mar Déc 25, 2007 22:37

Message le Mer Aoû 20, 2008 14:20

Rien de bien nouveau. On sait bien que la fréquence de crawl des pages sur internet n'est pas la même pour toutes et que beaucoup de paramètres rentrent en jeu (comme ceux que tu as marqué et sûrement d'autres).

J'aime bien quand tu marques "est très vieux (il a été déposé en juillet 2003 et accepté fin 2007) et Google a sans doute adapté son système depuis..." et dans le titre de ton lien " l'état actuel du système " ...


Zecat
WRInaute accro
WRInaute accro
 
Messages: 7563
Inscription: Mar Mar 01, 2005 2:44

Message le Mer Aoû 20, 2008 15:07

e-kiwi a écrit:en même temps, je pense que celui là est intéressant pour tous les membres de Wri, quelqusoit le niveau. j'ai mis une reco aussi, et je crois que depuis le début c'est la seconde que je met, c'est pour dire ;)
Le kiwi est radin :d


Zecat
WRInaute accro
WRInaute accro
 
Messages: 7563
Inscription: Mar Mar 01, 2005 2:44

Message le Mer Aoû 20, 2008 15:08

guide-de-stockholm a écrit:Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?
Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)


guide-de-stockholm
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 165
Inscription: Ven Avr 11, 2008 13:07

Message le Mer Aoû 20, 2008 15:20

Zecat a écrit:
guide-de-stockholm a écrit:Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?
Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)


Justement, le site qui est crawlé plus fréquemment aura la date la plus ancienne (de crawl pour un contenu en particulier).


Zecat
WRInaute accro
WRInaute accro
 
Messages: 7563
Inscription: Mar Mar 01, 2005 2:44

Message le Mer Aoû 20, 2008 15:28

Je suppose qu'avant le crawl il y a une phase "inventaire des pages" qui permet de résoudre ce pb ... sinon ca serait trop facile et ca se saurait en plus.


Djoule_logo
WRInaute passionné
WRInaute passionné
 
Messages: 712
Inscription: Mer Mai 30, 2007 0:21

Message le Mer Aoû 20, 2008 15:37

Zecat a écrit:
guide-de-stockholm a écrit:Donc si je comprends bien, un site qui est dans la "couche de base" et qui se fait pomper son contenu par un site dans la "couche quotidienne" sera celui qui fait du duplicate content parce que le second site sera plus rapidement indexé et donc son contenu considéré comme plus ancien?
Il ne faut pas confondre :

- Crawl de la page (qui permet de prendre date)
- Insertion dans l'index (les fameuses couches)


Oui, mais on est bien d'accord qu'un site faisant partie de la couche quotidienne sera crawlé tres frequement (sans parler d'inclusion dans l'index). Donc une nouvelle page sera très vite vue. Alors qu'un site de la couche de base sera crawler moins frequement, et une nouvelle page peut être decouverte plusieurs jours après sa mise en ligne.
Le problème du DC reste donc entier.

Description du système de crawl et d'indexation de Google

Formation recommandée sur ce thème :

Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :

Consultez la description détaillée des produits ou services de Google suivants : Google Webmaster Tools

  • Calcul d'indice de densité
    Cet outil vous permet de calculer l'indice de densité d'un mot-clé d'une page web. Il est calculé à la fois pour la balise TITLE, la balise META description et l'ensemble du texte de la page.
  • Touch Graph Google Browser
    Description du TouchGraph Google Browser (outil externe) : il s'agit d'un outil graphique permettant de visualiser des sites similaires (selon Google). On peut sauter de site en site, et se rendre compte facilement des communautés de sites, ou des nébuleuses de sites traitant du même sujet.
  • Déterminer l'ancienneté d'un site
    Cet outil vous permet de connaître une estimation de l'ancienneté d'un site : il fournit la date à laquelle Google l'a indexé la première fois (et la même chose pour archive.org).
  • Lister les sous-domaines
    Cet outil vous permet de trouver la liste des sous-domaines (indexés) d'un site.


Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités