googleBot en folie

[yannouk]

je sais pas vous, mais ggbot crawle 100 a 300 pages de mon site chaque jour depuis plus de 10 jours....la menace yahoo? !

[George Abitbol]

Ah ben il doit pas trop se sentir menacé chez moi, alors... Pas de crawl depuis un bail... J'aimerais bien voir les résultats de quelques tests, pourtant...

Fred

[herveG]

de mon coté, ce n est pas dans ces chiffres que je me place mais je constate une plus forte frequence aussi (a la louche, je dirais environ 4 a 5 fois plus).

[caro]

moi j'ai une augmentation des crawls mais que sur les pages d'index,
quelques rares autres pages mais vraiment pas beaucoup.

allez petit bot

[DAVID86]

de mon coté, ça vivote à 4 5 pages par jour, puis tout les 10 jours, un crawl à niveau -2 mais c'est tout... j'ai l'impression que quand les pages de niveau suppérieur ne sont pas mises à jour, il ne va pas voir "en dessous"
Vous en pensez quoi?

[Mies Van der Rohe]

idem 500-600 pages par jour

[yannouk]

alors la je comprends plus rien je fonctionne toujours a l'envers faut croire!!!

constats avec robotstats:

il remplit les forumlaires et ne sarrete plus a 1 ou 2 variab'les, puisqu'il me crawle des pages du style:

/recherche_simple_results.php?annonce=%25&type=(tous)&piece1=&piece2=&surface1=&surface2=&prix1=&prix2=&type_prix=0&ville=&keyword=&onlypros=1&max_ann=10&page=0&ordre_tri=DESC&champ_tri=id&tri=0&Submit=Rechercher

paradoxalement, il n'indexe plus que 39 pages, au lien de plusieurs centaines!!!

[George Abitbol]

T'es sûr que c'est pas le robot d'Adsense ?

Fred

[DAVID86]

peut être que google s'attaque au web invisible, mais la, il a du boulot!
et ça lui fait des millions de possibibités (ou plus!) par site!

[yannouk]

fred, le robot d'adsense est detecte en tant que googlebot 2.1 dans robotstas?

[yannouk]

edit: apres une recherche sur le forum, effectivement, c'est adsense
dsl pour la fausse alerte
je suis decu :p

[legolfquebecois]

moi c'est l'index tous les jours et rien d'autre depuis 3 semaines, il m'a oublié

[Remi L.]

J'ai eu un crawl complet hier d'un site sur lequel je fais pas mal de mises à jour en ce moment, mais sinon pour les autres il est plutôt bien calme en ce moment.
(je parle du bot/2.1, celui de Adsense ne vient jamais me voir )

[anguenot.com]

Mon site a été (presque) full-crawlé le 17/2

Pour ce qui est des pages en cache:
- environ 50% datent du 17/2
- l'autre moitié date du 24/1

Pour ce qui est des nouvelles pages: les pages mises en lignes depuis le 24/1 apparaissent (enfin) dans l'index