Premiers passages du Deep Crawler - C'est parti !

**le Jeu Fév 06, 2003 6:37**

Salut à tous,

Première trace chez moi cette nuit à 2H40 d'un crawler 216.239.46.102
Une seule page, mais c'est le signe que le deep crawl a commencé. :wink:

Dans les minute qui suivaient...
...chez mon pote, http://www.cadrissimo.fr, indexation totale cette nuit par les deepcrawlers :!:

Je ne sais pas si les deepcrawlers suivent les liens sortant prioritairement, mais on dirait vraiment qu'il a indexé ma page d'accueil, suivi le seul lien sortant sur celle-ci et atterri chez le copain :wink:

L' IP chez moi est la même que celle qui a débuté chez lui, 2 minutes plus tard...

Dan

**le Jeu Fév 06, 2003 7:04**

Ouf, les crawlers sont revenus chez moi à 7H02... ça dépote maintenant !

Dan

**le Jeu Fév 06, 2003 7:17**

1 passage chez moi aussi

**le Jeu Fév 06, 2003 8:35**

ça y est !!!
120 pages de mon côté :wink:

**le Jeu Fév 06, 2003 8:46**

Moi aussi enfin ... mon changement d'hébergement n'a finalement pas été fatal. Ouufff !

1 viste à 2h55
et 4 entre 8h24 et 8h27
par
216.239.46.100
216.239.46.121
216.239.46.220
216.239.46.27

... et ça continue !

Pour info et étant chez OVH, j'ai fait la modif proposée par hetzeld (désactivation du name lookup).
N'ont-ils pas été rétablis ?
Ce changement est-il définitif ?

@ +

**le Jeu Fév 06, 2003 8:49**

Salut Olivier,

Le crawler a visité la page vers laquelle je fais un lien vers WRI à 7H07 ce matin.
Sur cette même page, j'ai deux autres liens externes non javascript vers les agences immo (mes clients) qui ont vu débarquer le Crawler quelques minutes plus tard.
J'ai aussi sur cette même page quelques liens javascript vers les différents moteurs avec des exemples de requêtes.

Pour info, GoogleBot a atterri à quelle heure chez toi ?

Il a visité la page vers laquelle j'ai un lien vers le site "tour du monde" de luckyluk à 7H08.
Ce serait bien d'avoir les heures de passage chez Luckyluk aussi, car pour l'instant, c'est troublant!

Dan

**le Jeu Fév 06, 2003 9:06**

Idem, premier passage à 2h26 cette nuit

François

**le Jeu Fév 06, 2003 9:28**

ca y est moi aussi c'est parti

Par contre, ce qui est bizarre c'est qu'il vient indexer les pages deja connu apparemment il ne suit pas les nouveaux liens mais garde les anciens liens en place, je m'explique
j'ai mis en place l'url Rewriting et la il vient indexer les pages ma_page.php?toto=1 alors que mes liens sont du type ma_page_1.html depuis + d'une semaine!!!! Or le fresh bot est passé indexe mes pages ma_page_1.html !!!

**le Jeu Fév 06, 2003 9:33**

J'ai exactement l même chose que toi. Le deep crawl continue a visiter mes anciens liens mais ne suit absolument pas les nouvexu mis en palce avec l'url rewriting depuis un mois

Je desespere là ....

Mes sites comptent plus de 8000 pages chacun, et il n'en a visiter qu'une dizaine ce matin. Exemple des pages qu'il a visiter ce matin :

1 / 01:51:00 2
2 /faq.php 09:28:00 1
3 /forum/login.php?redirect=profile.php&mode=editprofile 09:12:00 1
4 /forum/profile.php?mode=register 04:58:00 1
5 /forum/viewforum.php?f=13 07:04:00 1
6 /forum/viewforum.php?f=2 04:31:00 1
7 /index.php?SRC=forum 05:29:00 1
8 /robots.txt 01:51:00 1

Comment expliqué vous ça ??? D'autant plus que le lien vers la page mis en gras ci dessus (/index.php?SRC=forum) n'existe plus nul part ????

**le Jeu Fév 06, 2003 9:34**

Enfin !!!!

Le googlebot est passé aussi sur mon site. Etant donné que les fresh bots n'étaient jamais passés, je m'inquiètais de ne pas avoir celui du full crawl, mais il est bien venu, mais seulement une seule fois à 7h44 ce matin.

**le Jeu Fév 06, 2003 9:49**

Salut à tous,

C'est normal que GoogleBot visite les anciens liens qui existaient avant l'URL rewriting, comme il les connaît.
Avec l'URL rewriting, les deux liens sont bons (l'ancien et le nouveau) et le seul risque est d'avoir les anciens ET les nouveaux dans la base, en tout cas pour une ou 2 dances :wink:

Dan

**le Jeu Fév 06, 2003 9:55**

Oui mais le problème c'est qu'il ne va PAS DU TOUT visiter les nouveaux liens. Il fait comme si il n'analysait pas les pages. J'ai l'impression qu'il ne suit pas les liens sur les pages qu'il trouve. Il y a une limite en nombre de liens par page qu'ils visitent (notamment un forum phpbb qui contient pas mal de liens) ?

Je ne comprends plus rien. J'avais même mis certains liens en absolu pour eviter le phpsesid, etc... :cry:

**le Jeu Fév 06, 2003 10:23**

Salut a tous!

J'ai EXACTEMENT le meme problemes que les amis BDgest et Sglasson.
Moi aussi j'ai mis en place l'url rewriting ce mois ci.

Je pense qu'avec de la patience, ca passera... espérons

Bonne chance pour votre crawl a tous

Sepang

**le Jeu Fév 06, 2003 10:26**

salut,

comme le mois dernier il n'est pas du tout passé sur mon site :-(

((((

j'ai encore une chance ou le fullcrawl est deja fini ?
merci

a+nico

**le Jeu Fév 06, 2003 10:45**

SGlasson, BDGest, Sepang, Bshop,

Restez cool, le crawl dure environ une semaine....

Chez moi il a visité une vingtaine de pages sur 1000. On a bien le temps parce qu'on arrivera tous en même temps à la prochaine Dance, non ?

C'est logique qu'il valide d'abord les URL qu'il connaît, vire celles qui donnent un 404 et rajoute les nouvelles après...
Je pense que n'importe quel informaticien un peu sensé aurait programmé cela de cette manière, alors vu le nombre de PhD qu'il y a chez Google...

En plus, ce n'est pas parce qu'il a VU un lien qu'il va le VISITER tout de suite... une gestion de file d'attente, vous connaissez bien le principe ?

Dan

Premiers passages du Deep Crawler - C'est parti !

Premiers passages du Deep Crawler - C'est parti !

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne