robots.txt fantôme ?

[Invité]

Dans le fichier web.log de notre site larkconsultants.com, je trouve une ligne isolée concernant un crawler de Google

crawler10.googlebot.com - - [23/Nov/2002:05:21:48 +0100] "GET /robots.txt HTTP/1.0" 302 221 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

Il me semble que 302 est le code de réponse à la demande du fichier robots.txt, et qu'il signifie Found.
Si cette supposition est juste, elle est surprenante car le site ne contient aucun fichier robots.txt.
D'ailleurs, le crawler quitte le site après cette unique demande.

Je serais reconnaissant pour tout commentaire, car j'essaie comprendre pourquoi notre site, existant depuis onze mois, n'est pas visible chez Google.

Jacek

[Mirgolth]

Salut,

Les 3XX ce sont les redirections et effectivement larkconsultants.com/robots.txt redirige bien une page "File Not Found".

Essayes de mettre un robots.txt comme celui là:

Code: Tout sélectionner

# Allow all
User-agent:  *
Disallow:

Mirgolth

[Invité]

Mirgolth,

Comme j'ai appris chez -www.searchengineworld.com/robots/robots_tutorial.htm, robots.txt fait partie de The Robots Exclusion Standard, et, si je comprends bien , son absence veut dire "Toutes pages admises pour les robots".
Donc, le robots.txt que vous proposez, paraît superflu.

Jacek

[Mirgolth]

Son absence veut dire de parcourir toutes les pages.

Dans ton cas tu rediriges temporairement ( 302 ) vers une autre url qui n'a pas du tout la bonne syntaxe. Il y a de quoi rendre un robot perplexe...

Même un fichier vide sera moins ambigue pour les robots. C'est d'ailleurs l'autre méthode recommandé.
Je te recommande le Web Server Administrator's Guide to the Robots Exclusion Protocol

Mirgolth

[Invité]

tu rediriges temporairement ( 302 ) vers une autre url qui n'a pas du tout la bonne syntaxe. Il y a de quoi rendre un robot perplexe...

Mirgolth,

La psychanalyse de robots me dépasse, mais je comprends votre remarque comme un bienveillant conseil.
Je viens de créer ce robots.txt sur le site.

Merci beaucoup,
Jacek

[athletissimo]

Je vous confirme qu'il vaut mieux avoir un fichier robots.txt qui ne sert pas toujours que d'avoir une redirection automatique est peut etre préjudiciable.

et ce n'est pas 1 ko qui vont allourdir le site

[Invité]

...il vaut mieux avoir un fichier robots.txt qui ne sert pas toujours que d'avoir une redirection automatique est peut etre préjudiciable.

C'est de cette manière que j'ai compris le bienveillant conseil de Mirgolth.

Jacek

[DarkShadow]

Pour t'aider a générer ton fichier robots.txt tu peux utilise un logiciel gratuit qui s'appel RobotPack, disponible ici : http://www.soho-it.com/robotpack/

Bonne journée

DarkShadow

[hetzeld]

Les 3XX ce sont les redirections et effectivement larkconsultants.com/robots.txt redirige bien une page "File Not Found".

Bonjour,

Le code 301 est une redirection permanente, alors que le 302 est une redirection temporaire.Par exemple, dans le cas d'un hébergement OVH, comme tous les sites web sont "clusterisés", on a automatiqument un code 302 pour toutes les pages.
Le 302 a pour but de faire savoir au navigateur/moteur que la page ne se trouve pas forcément à la même adresse physique (le même chemin serveur) et est un code "found" au même titre que le code 200.

Dan

[hetzeld]

Mirgolth,
Comme j'ai appris chez -www.searchengineworld.com/robots/robots_tutorial.htm, robots.txt fait partie de The Robots Exclusion Standard, et, si je comprends bien , son absence veut dire "Toutes pages admises pour les robots".
Donc, le robots.txt que vous proposez, paraît superflu.
Jacek

C'est vrai que sous cette syntaxe là, il n'est pas indispensable!
Sa présence évite d'avoir un fichier log qui se remplit d'erreurs 404 à chaque fois que le fichier robots.txt est requis.

Dan