Bot invisible??

**le Jeu Juil 03, 2003 13:49**

Bonjour,
Google est en train de crwaler mon site.
Le probleme est qu'il crawle des liens qu'il ne peut pas encore connaitre :

Sur une page, un lien a été rajouté ce matin. Le lien comporte un parametre dans l'url qui indique la page d'ou il vient.
Google a crawlé dans la journée la nouvelle page sans que le googlebot soit passé par la page ou est placé le lien sortant. je ne l'ai pas vu sur les deux script que j'utilise pour suivre les moteurs (le premier marche avec l'ip, le deuxieme avec le use-agent).

Page ou est placé le lien sortant : membres.lycos.fr/suede/comment_photo.php
Lien sortant crawlé : membres.lycos.fr/suede/show_photos.php?id_photo=310&main_back=photo10
le photo10 indique que l'adresse vient obligatoirement de la page membres.lycos.fr/suede/comment_photo.php qui n'apas été crawlée.

Donc question : comment a t'il trouvé l'adresse : un bot fantome ?

François

**le Jeu Juil 03, 2003 13:52**

Salut François,

Si quelqu'un a accédé cette page sous I.E + toolbar, ne cherche plus :wink:

Dan

**le Jeu Juil 03, 2003 14:01**

Es-tu en train de dire que pour provoquer l envie d un bot de passer sur de nouvelles pages, il suffirait d´aller surfer ces quelques pages sous IE et toolbar ???

a+
Hervé

**le Jeu Juil 03, 2003 14:49**

Bonne question !?

**le Jeu Juil 03, 2003 15:04**

moi mon site est aussi entrain de se faire crwaler + de 170 page depuis se matin alors qu'il n'y en a que 220 dans l'index de google

**le Jeu Juil 03, 2003 15:12**

350 pages crawlés depuis ce matin pour moi

**le Jeu Juil 03, 2003 15:14**

N oubliez pas ma question en haut....!!! je cherche désespérément un moyen de redonner l idée a un freshbot de revenir passer sur un de mes sites......

**le Jeu Juil 03, 2003 15:30**

herveG a écrit:N oubliez pas ma question en haut....!!! je cherche désespérément un moyen de redonner l idée a un freshbot de revenir passer sur un de mes sites......

Je n'oublie pas ta question mais il m'arrive de faire autre chose que de surfer sur WRI :lol:

C'est quasi-certain, si tu as choisi d'afficher le PR ! Google a donc connaissance de toutes les pages que tu vois.

Dan

**le Jeu Juil 03, 2003 15:31**

je suis en train de faire le test avec une page qui n'a aucun lien et je me rend depuis debut juin et en plus je vote pour cette page mais le googlebot n'est pas encore venu

donc cela m'éttonerais que cela est du au fait que google analyse ce que les gens vont voir

mais mon test n'est pas encore finit!!!!!!!!!!

**le Jeu Juil 03, 2003 15:32**

hetzeld a écrit:
herveG a écrit:N oubliez pas ma question en haut....!!! je cherche désespérément un moyen de redonner l idée a un freshbot de revenir passer sur un de mes sites......

Je n'oublie pas ta question mais il m'arrive de faire autre chose que de surfer sur WRI

Dan

pas de reproche...!!!

j ai juste eu peur que des messages du type "mon site se fait crawler 14 511 236 de fois depuis deux heures" ne viennent a faire oublier ma question...!!!

donc, je retiens ta remarque....et je vais aller faire un petit tour sur mes nouvelles pages ce soir.......!! héhéhé ...

a+
hervé

**le Jeu Juil 03, 2003 15:33**

Je n'ais pas dit que cela faisait venir le bot, simplement que cela faisait connnaître la page à Google... nuance ! :wink:

**le Jeu Juil 03, 2003 15:34**

Donc finalement pas plus que si j utilise le formulaire "add url" ? zut pas de remède miracle....!!

**le Jeu Juil 03, 2003 17:52**

hetzeld a écrit:Salut François,

Si quelqu'un a accédé cette page sous I.E + toolbar, ne cherche plus

Dan

"ne cherche plus" : je ne serais pas aussi catégorique que toi. J'ai déjà eu des sites entiers non indexés dans Google (car je ne le souhaitais pas), mais sans mettre de robots.txt ou autre. Meme en les visitant plusieurs mois avec la Toolbar + PR activé, Google ne les a jamais indexés.
A mon avis il y a une autre raison...

**le Jeu Juil 03, 2003 18:11**

WebRankInfo a écrit:
hetzeld a écrit:Salut François,

Si quelqu'un a accédé cette page sous I.E + toolbar, ne cherche plus

Dan

"ne cherche plus" : je ne serais pas aussi catégorique que toi. J'ai déjà eu des sites entiers non indexés dans Google (car je ne le souhaitais pas), mais sans mettre de robots.txt ou autre. Meme en les visitant plusieurs mois avec la Toolbar + PR activé, Google ne les a jamais indexés.
A mon avis il y a une autre raison...

Olivier,

Faut lire tout le fil avant de répondre.... Notamment le message se trouvant 2 places avant le tien qui dit:

hetzeld a écrit:Je n'ais pas dit que cela faisait venir le bot, simplement que cela faisait connnaître la page à Google... nuance !

Donc ce n'est pas aussi catégorique que tu prétends...

Dan

**le Jeu Juil 03, 2003 18:56**

j'avais bien lu jusqu'au bout, mais je trouvais que tu cloturais vite la question par "ne cherche plus" ;-)

sin on revient à la question de François, tu penses que Google a complété l'indexation des pages de son site grâce aux infos recueillies dans la Toolbar ?
moi je n'ai pas encore rencontré d'exemple qui prouve cette théorie, mais les choses changent vite avec Google, surtout ces derniers mois !

Bot invisible??

Bot invisible??

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne