Delais avant le crawl d'un site, après le statut "downloaded" d'un sitemap

moins de 24 heures
12
52%
entre 24 et 48 heures
1
4%
entre 3 et 7 jours
3
13%
après plus d'une semaine
0
Aucun vote
Pas encore malgré plus d'une semaine
7
30%
 
Nombre total de votes : 23

Messages: 2181

Enregistré le: 6 Jan 2005

Message le Jeu Juin 23, 2005 14:32

Bonjour à tous,

Le sondage concerne les pages non indexées jusque là par Google.

La réponse de Gg étant très évasive concernant le delais avant le crawl de pages mentionnées dans un sitemap, il serait intéressant de recueillir vos constations personnelles.

La quetion est de savoir combien de temps en moyenne met Gg pour crawler de nouvelles pages déclarées dans un sitemap.

Cela, à partir du moment ou celui-ci aura été téléchargé (staut downloaded).

Je ne parle pas du temps d'indexation, qui peut varier suivant les datacenters. Uniquement le crawl des pages.
Haut
25 Réponses
Messages: 15

Enregistré le: 4 Avr 2005

Message le Jeu Juin 23, 2005 14:53

Bonjour,

Dans mon cas entre 1 et 12 heures après le download du sitemap.
Je rajouterais que Google download mon sitemap toutes les 12 heures.
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Jeu Juin 23, 2005 14:57

Dans mon cas entre 1 et 12 heures après le download du sitemap.


Tu as bien de la chance, car j'en suis à mon troisième download de sitemap depuis la soumission, il y a quatres jours sur l'un de mes forums et toujours aucune trace de crawl.
Haut
Messages: 12

Enregistré le: 17 Juin 2005

Message le Jeu Juin 23, 2005 16:09

Dans mon cas il indique 9h . Mais le premier download du fichier c'est fait 20 min après la soumission.
Haut
Messages: 605

Enregistré le: 6 Jan 2004

Message le Jeu Juin 23, 2005 18:28

J'avais un site assez jeune avec juste la page d'index crawle. J'ai fait un sitemap, tout le site a ete crawle le jour meme. Alors qu'il etait dans GG depuis au moins 2 mois avec juste l'index

OliOO4 l'allier est en force :wink:
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Jeu Juin 23, 2005 23:30

J'avais un site assez jeune avec juste la page d'index crawle. J'ai fait un sitemap, tout le site a ete crawle le jour meme. Alors qu'il etait dans GG depuis au moins 2 mois avec juste l'index


Etait-ce un site statique ou dynamique ? si oui, avec de l'UR ?

OliOO4 l'allier est en force


:wink: Ah ouaip, j'avais pas remarqué la loc de ton profil
Haut
Messages: 605

Enregistré le: 6 Jan 2004

Message le Ven Juin 24, 2005 8:30

Site statique en HTML
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Mer Juin 29, 2005 14:32

Toujours aucun crawl de google palgré un site map download plusieurs fois et un UR lui facilitant la tâche.

Je vais finir par croire qu'il y a un problème sur mon site, ou qu'il est purement et simplement blacklisté.

puisqu'il a été indexé (une 50 aine de pages) puis désindéxé pour ne laisser plus que la page d'accueil de mon forum.

Pensez-vous que les bots n'arrivent pas à aller plus profond ?

Bon je veux bien que le site soit ressent mais tout de même, ça n'explique pas la desindexation.

Le site en question : www.allier-nation.com/forum/index.php
Haut
Messages: 68

Enregistré le: 9 Juil 2004

Message le Mer Juin 29, 2005 14:54

Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.
Haut
Messages: 51

Enregistré le: 10 Fév 2005

Message le Mer Juin 29, 2005 19:25

Site Maps

Moi j'ai soumis le 21/06.

Le statut est Ok

Enregisté par google tous les jours

Et rien
Haut
Messages: 38

Enregistré le: 27 Aoû 2003

Message le Mer Juin 29, 2005 19:45

J'ai un peu plus de chance, j'ai place le sitemap il y a 24 heures et quelques heures apres, GG a commence un crawl de mes pages le plus profondes.
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Jeu Juin 30, 2005 12:08

Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.


Ah oui ?

Depuis quand et peux tu nous dire ou tu as lu ça stp, parce que ce serait une info plus qu'importante.
Haut
Messages: 68

Enregistré le: 9 Juil 2004

Message le Jeu Juin 30, 2005 12:31

Ca date d'un moment, un article suite à une annonce de google annoncant son attention de ne plus référencer de site avec un forum. Je n'ai pas de forum donc je n'ai pas été plus loin et je ne sais pas si ça a été effectif.

C'est pourquoi j'ai mis "Il me semblait..."
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Jeu Juin 30, 2005 12:35

peut etre est-ce vrai. Ou alors il faut avoir un forum complémentaire à un site principal. Je ne sais pas.

Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.
Haut
Messages: 68

Enregistré le: 9 Juil 2004

Message le Jeu Juin 30, 2005 12:40

Ce serait pertinent. C'est pour cette raison que je n'en ai pas.

:D
Haut
Messages: 18187

Enregistré le: 23 Fév 2004

Message le Jeu Juin 30, 2005 13:33

oli004 a écrit:Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.


Webrankinfo: ~550.000 pages indexées...
Haut
Messages: 68

Enregistré le: 9 Juil 2004

Message le Jeu Juin 30, 2005 13:58

HawkEye_TpfH a écrit:
oli004 a écrit:Il faudrait voir avec les webmasters de gros ou petits forums pour avoir un avis global.


Webrankinfo: ~550.000 pages indexées...


Droit d'aînesse
Haut
Messages: 2733

Enregistré le: 15 Jan 2005

Message le Jeu Juin 30, 2005 14:08

glubss a écrit:Ca date d'un moment, un article suite à une annonce de google annoncant son attention de ne plus référencer de site avec un forum. Je n'ai pas de forum donc je n'ai pas été plus loin et je ne sais pas si ça a été effectif.

C'est pourquoi j'ai mis "Il me semblait..."

Je ne pense pas ayant une flopée de page indexé par google et qui font parite du forum intégré de xoops.
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Jeu Juin 30, 2005 23:55

WRI n'est ps un bon exemple, car au cas ou ous ne l'aurez pas remarqué, il y a quand même pas mal de contenu HORS du forum (voir le menu supérieur)

Là ou la question peut se poser, c'est pour le cas de forum rescents, pour des site ne contenant QUE des pages de forum !
Haut
Messages: 59

Enregistré le: 7 Juin 2005

Message le Mar Juil 05, 2005 13:30

Bonjour,
doit-on en conclure que Google peut venir plusieurs fois "crawler" le site (le parcourir), mais ne pas mettre à jours ces registres ?

En fait ayant un site ou il y a de l'actu et des opérations saisonnières, j'ai mis en place une (ou un) sitemap en xml (index+categorie+20 fichiers xml). Google me rend un status OK et me l'a downloadé. De plus Google vient tous les jours (je le vois dans awstat) chercher je ne sais pas quoi.

Par contre aucun moyen de savoir si c'est traité entièrement. Je m'apercois juste que mes nouvelles pages ne sont pas indexées, ou qu'elles le sont plusieurs jours apres. Et que d'autres pages ne sont pas du tout indexées alors qu'elles devraient l'être puisque c'est du contenu distinct. Une piste ?

exemple, quand je recherche dans google ces termes :
http://www.google.fr/search?sourceid=na ... layer+2000

il devrait m'afficher en premier la page concernant ce produit avec le title et H1 avec le nom du produit ? :
http://www.oovin.com/detailvin-idvin-21 ... mat-3.html

Mais lui m'affiche des pages sattelites autour du produits
-> page "cépage syrah"
->page "domaine"

Pourquoi Google ne veut pas de ce genre de page ?
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Mar Juil 05, 2005 14:28

Pourquoi Google ne veut pas de ce genre de page ?


Peut être les interprete-t-il comme des pages plus pertinantes en fonction du nombre et de la qualité des éléments qu'il trouve sur les pages satelites.
Haut
Messages: 59

Enregistré le: 7 Juin 2005

Message le Mar Juil 05, 2005 23:27

oli004 a écrit:Peut être les interprete-t-il comme des pages plus pertinantes en fonction du nombre et de la qualité des éléments qu'il trouve sur les pages satelites.


J'ai fait justement en sorte de mettre le titre de la page dans le "title" et h1, avec un contenu unique et spécifique derrière, c'est pour ca que je trouve ca etrange q'une recherche = titre me donne comme résultats des pages sattelites ( Ou plutot le fait qu'il n'indexe pas cette page).

De plus, certaines page de même type, construit pareil, d'autres produits sont elles référencées sur la page du produit.
ex: http://www.google.fr/search?sourceid=na ... %A9galithe

Ce sont les calculs savant de google qui imposent cela ?
J'ajoute que tous les liens de ces produits sont dans le sitemap
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Mer Juil 06, 2005 9:53

J'ai fait justement en sorte de mettre le titre de la page dans le "title" et h1, avec un contenu unique et spécifique derrière,


C'est déja très bien, et ça evite d'avoir du dupplicate.

c'est pour ca que je trouve ca etrange q'une recherche = titre me donne comme résultats des pages sattelites ( Ou plutot le fait qu'il n'indexe pas cette page).


Une autre hypothese, cette fois, beaucoup plus terre à terre je l'avous, mais es tu sur que ces pages, que tu ne vois pas encore indexées ont bien été crawlées?

Car si d'après ton architecture de site, tu as d'autres pages similaires (dans la forme mais pas dans le contenu) il n'y a pas de raison qu'elles ne soient pas indexées.

Ce que je constate, c'est que tu as déja 11 100 pages référencées, mais un très grand nombre apparaissent via la commande site:tonsite.com sans titre ni description !
Hors, certaines sont bien renseignées avec titre et description unique.
Toutefois, peut être que vu la quantitié de pages que tu as d'indexée dans google, il est possible qu'avec une analyse d'ensemble, qu'elles se ressemblent toutes et de se fait ne soit pas mentionné le détail via la commande site:..

Ceci étant, après avoir effectué une petite recherche au hasard, je trouve que les résultats mentionnés sont très pertinents quand même. Donc, tu n'as peut être pas de raison de t'alarmer et tes pages finiront bien par être indexées.
Haut
Messages: 59

Enregistré le: 7 Juin 2005

Message le Mer Juil 06, 2005 14:30

Merci pour ta réponse.

Je vais donc attendre...et voir.

C'est déja très bien, et ça evite d'avoir du dupplicate
J'en ai un peu car un produit à plusieurs contances possibles passé en argument, ce qui fait des pages avec des url différentes en plus alors que le contenu est quasi le même... je ne pense pas que ce soit un frein ? Google choisit une page sur les 2 ou 3 quasi similaires?
Haut
Messages: 197

Enregistré le: 5 Fév 2005

Message le Lun Juil 11, 2005 21:07

glubss a écrit:Il me semblait que Google n'indexait plus les forums compte tenu des risques de débordement.

je pense que tu as raison car j'avais un site avec un forum indexé par google au debut, puis dernierement il a été completement desindexé, plus aucune page concernant le forum.......
Haut
Messages: 2181

Enregistré le: 6 Jan 2005

Message le Mar Juil 12, 2005 10:14

je pense que tu as raison car j'avais un site avec un forum indexé par google au debut, puis dernierement il a été completement desindexé, plus aucune page concernant le forum.......


C'est également ce qui est arrivé à un de mes site qui etait constitué exclusivement d'un forum. D'abord indexé puis progressivement tout est sorti de l'index.
Aujourd'hui, j'ajoute du contenu autour du forum, j'ai mis un joli petit sitemap et je vais voir ce que ça donne. Mon sitemap a ete telechargé rapidement. googlebot est venu rapidement sur mon index, alors qu'il me boudait depuis plus d'un mois, mais je constate qu'il ne va pas plus loin que l'index !
Haut