Description du système de crawl et d'indexation de Google

[domdom26]

Ce qui serait bien aussi, c'est une explication sur comment et pourquoi une page actualité est priorisé et ensuite mis très loin aux oubliettes. Donc comment concevoir une page qui traite d'Actualités tous en restant dans le Top10 sur google pendant plusieurs mois.

[Szarah]

Ce qui serait bien aussi, c'est une explication sur comment et pourquoi une page actualité est priorisé et ensuite mis très loin aux oubliettes. Donc comment concevoir une page qui traite d'Actualités tous en restant dans le Top10 sur google pendant plusieurs mois.

L'"actualité" est un truc jetable par excellence. Une dépêche sera logiquement mise au top puis chassée par les analyses et les dossiers la concernant.
C'est la réponse : évolution.
Les malins modifient à peine le papier de départ, lui ajoutant les menues nouveautés, et ils modifient légèrement le title en gardant les mots-clés. Suffit de surveiller GG-news pour le constater.

[e-kiwi]

je pense effectivement que Google sait gérer ce cas.

[WebRankInfo]

en cas de contenus dupliqués, pour identifier la source, Google utilise d'autres critères que la chronologie des crawls des différentes versions. Par exemple, le netlinking entre en jeu

@Fnnyaert : merci pour la remarque, je vais corriger mon titre. Par contre je vais oublier le reste de ton message, car j'ai du mal avec ceux qui ne sont jamais satisfaits de trouver gratuitement du contenu sur WRI...

edit : ce n'était pas un titre mais un sous-titre à l'intérieur de l'article. J'avais mis "actuel" par opposition à la description du système de crawl datant de l'époque des Google Dance. enfin bon, c'est du détail hein...

[tophus]

Merci, bon article!

Pour en revenir à la découverte d'URL et niveaux de crawl:
Je rajouterais Google peut également découvrir par la google toolbar. Je crois que ce n'est plus à démontrer.

[WebRankInfo]

Je rajouterais Google peut également découvrir par la google toolbar. Je crois que ce n'est plus à démontrer.

Matt Cutts a pourtant encore dit le contraire le mois dernier : http://www.mattcutts.com/blog/toolbar-i ... bunk-post/

cela dit ce n'est pas bien important...

[Audiofeeline]

moi ce qui m'intéresse, c'est d'avoir plus d'informations sur :
"certaines thématiques sont traitées de façon spécifique, comme par exemple l'actualité."

En effet, je suis assez concerné par ça. Le fait de traiter des "news du jour" favorise un peu l'indexation. Je ne sais pas trop comment ça fonctionne (j'imagine que c'est un truc qui utilise le principe de Google News) mais généralement Google arrive a positionner des résultats récents notamment sur des trucs qui buzz durant une journée par exemple.
Après c'est classique : ancienneté du site, force du référencement, pertinence, etc.
C'est assez nouveau, ça du être introduit en même temps que l'indexation en "temps réel".

Je crois que ce n'est plus à démontrer.

Négatif, Olivier, tu n'as pas fait des tests là dessus ?
Je pencherai plus pour une histoire de cookie ou de referer.

[Szarah]

Avec la GGbar installée, la consultation d'une page envoie une requête à GG pour pouvoir afficher le PR de la page, je pense que ça, c'est certain.
Maintenant, si Matt Cutts affirme que quand GG reçoit l'info qu'il existe une page inconnue de sa bdd, il ne fait rien, bin ok, ok ok. S'il le dit ...

[Druidefou]

En lisant ça, je vois que j'ai encore du chemin à parcourir. Je n'avais pas du tout connaissance de ce genre de système, même si à le lire ça semble plutôt logique.

Mais un site qui ne fait pas d'actualités, mais qui a un contenu mis à jour quotidiennement. Par exemple je prends mon cas, les membres viennent mettre des projets. Le jour où le site aura une activité importante, il y aura beaucoup de projets posté chaque jour. Si en page d'accueil je mets les derniers projets ajoutés, google vient t'il chaque minute, ou préfère t'il mettre comme un site à voir quotidiennement, ou alors je reste définitivement en couche de base ?

[Madrileño]

Matt Cutts a pourtant encore dit le contraire le mois dernier : http://www.mattcutts.com/blog/toolbar-i ... bunk-post/
cela dit ce n'est pas bien important...

C'est toujours intéressant de savoir l'information.

[V1tr1neMag1que]

Si en page d'accueil je mets les derniers projets ajoutés, google vient t'il chaque minute, ou préfère t'il mettre comme un site à voir quotidiennement, ou alors je reste définitivement en couche de base ?

tu as la réponse au dessus :

Après c'est classique : ancienneté du site, force du référencement, pertinence, etc..

tout simplement

[tophus]

Je veux bien croire Matt Cutts....
Mais dans ce cas, difficile d'expliquer comment des sites en cours de dev se retrouvent indexés.
Je travail seul, aucune personne ne connais mes ndd en cours de dev, aucun lien, pas de rss , rien.
Dernier exemple; j'utilise un cms, je copie mes BDD d'un site à l'autre pour tester avec du contenu.
Surprise, je retrouve indexé le site en dev en moins de 24h.
Avec en prime un contenu dupliqué. et une apparition sur la première page des deux site en questions.....
Je vois vraiment pas comment le site a été crawlé si ce n'ai pas par GGbar. le site est uniquement indexé dans GG, aucun autre moteur ne l'a trouvé...
GG ferait peut être dans la voyance.

[thony25]

Je rajouterais Google peut également découvrir par la google toolbar. Je crois que ce n'est plus à démontrer.

Matt Cutts a pourtant encore dit le contraire le mois dernier : http://www.mattcutts.com/blog/toolbar-i ... bunk-post/

cela dit ce n'est pas bien important...

Je travaillais sur un site il y a quelques mois. Je suis le seul à connaître l'url. Et ben google le connait déjà... et j'ai une toolbar

bon article sinon

[YoyoS]

Et pourquoi vous avez la barre google au fait ? :p Si y a bien un truc inutile, c'est ça !

[Fnnyaert]

Je suis le seul à connaître l'url. Et ben google le connait déjà...

Toutes façons Google connaît tout ... la dernière fois je cherchais mon portable, j'ai demandé à Google il m'a indiqué qu'il était sous mon lit ... formidable, mais jusqu'où iront ils ...

Sérieusement si Matt Cutts a indiqué que non pour la toolbars c'est peut être pour que les gens continuent à l'installer sans crainte ... après tout, se faire tiré des informations à son insu n'est pas très rassurant. Mais c'est vrai que c'est pas très important.