Nombre max de pages vues par le bot à sa visite

[jeyce]

Bonjour,

Quand un bot vient sur un site, regarde-t-il le site en entier ou a-t-il des limites (si le site est volumineux) et il revient plus tard pour faire la suite ?
En exagérant, un site de 5000 pages (en imaginant bien sûr que chaque page a un back link vers elle) est-il vu entièrement en une seule fois ?

Merci !

[Théophraste]

Non, les bots indexent par morceau, un petit peu à la fois... Notamment pour pas que ton serveur soit explosé !
On peut dire que la profondeur de l'indexation, la fréquence d'indexation et peut être le nombre de pages indexées sont en relation avec le PR...

[Oxud]

Si ton site est pr 3 ou 4, tes 5000 pages tu en as pour des mois... Si tu es pr8, c'est fait en 48 h

[Renaud_63]

Bonjour,

a priori, google crawl ta premiere page, et lors d'un passage complet, il scanne tout ton site. Une fois qu'il a scanne ton site une fois, il le rescannera plusieurs fois sur la meme page et ensuite tout ton site complet. Des que ton site est dans son index, il repassera

Renaud

[hardmicro]

moi jè page rank 4 sur ma page d'acueille et j'ai plus de 20 000 pages jen è pour des années alors
vivemtn
que mon pr change alors
et monte a 6 ou +

[blman]

Avec un PR 4 , Google vient de me bouffer plus de 3000 pages en 2 semaines sur un site.
Je constate quand ce moment, son indexation est très rapide et très méthodique. C'est marrant à voir !

[jeyce]

C'est à dire ? Quelle méthode particulière utilise-t-il ?

[blman]

J'utilise aucune méthode particulière. Voici le récap des indexations :
- 1er jour : inscription dans l'open blog d'actulab (j'ai vais quelques liens vers des pages internes du site avec un petit communiqué)
- 3ème jour : 3 pages d'indexées
- au bout d'une semaine : 380 pages
- 8jours : 770 pages
- 10 jours : 1170 pages
- 11 jours : 3500 pages

Attention, quand on fait la commande site: sur Google, il me donne soit 3500 soit 1500, ça dépend des data center qui ne sont pas encore synchroniser

[jeyce]

Mais imaginons un forum très actif où tous les jours de nombreux messages sont ajoutés, d'autres supprimés.
Comment fait Google, il est obligé de venir tous les jours et indéfiniment ?

[blman]

Oui, c'est là qu'entre en jeu le PR. Plus tu aura un PR fort, plus tes pages seront actualisées rapidement dans son index.

[RBS]

Mais donc si seule ma page d'accueil a PR de 4-5 et le reste du site 0-1, la page d'accueil sera mieux mise à jour dans GG mais à l'occasion GG suivra-t-il aussi les liens qui mènent vers les autres pages à chaque visite ou se contentera-t-il de rafraichir la page d'accueil dans ses résultats ?