fichier robots.txt : erreurs d'analyse dans GWT

[LionelWRI]

J'ai testé mon fichier "robots.txt" généré par Google via mon compte Google à :
Configuration du site -> Accès du robot…
________________________________________________________________
Résultats de l'analyse
Valeur Résultat
Ligne 0 : http://monsite.free.fr/robots.txt Le fichier robots.txt n’est pas valide.

Texte de http://monsite.free.fr/robots.txt
User-agent: *
Allow: /

URL Spécifiez les URL et les user-agents à tester.
http://monsite.free.fr/
________________________________________________________________

Quelqu'un pourrait me dire pourquoi "Le fichier robots.txt n’est pas valide." ?

Je butte certainement sur quelque chose de simple mais je connais pas très bien tout cela…

Merci d'avance à la communauté WRI

[lunicrea]

Salut !

il me semble que la ligne Allow: n'est autorisée que pour un sitemap valide, exemple :

Code: Tout sélectionner

Allow: /sitemap.xml

Si tu n'utilises pas de Disallow et de sitemap alors il faut juste mettre

Code: Tout sélectionner

User-agent: *

Cela étant, il ne sert à rien du coup car tu ne demandes aucune restriction aux robots ...

[LionelWRI]

Merci. Mais même avec :

Code: Tout sélectionner

Allow: /sitemap.xml

Google m'affiche toujours : "Le fichier robots.txt n’est pas valide."

[jeanluc]

Tu as peut-être des caractères spéciaux cachés dans ton fichier. robots.txt doit être créé avec un éditeur de texte simple comme Notepad (Bloc-notes): formatage style Word ou UTF-8 interdits.

Jean-Luc

[Taranis]

http://www.robotstxt.org

[LionelWRI]

En faite, j'ai mis cela :

User-agent: *
Allow: /
Disallow: / erreur404.html
Disallow: / travaux.html

Mais toujours pas reconnu par Google. Je suis sur Mac avec TextEdit qui enregistre en "Format texte".

Curieux…

[jeanluc]

Essaie avec EXACTEMENT ceci :

Code: Tout sélectionner

User-agent: *
Disallow: /erreur404.html
Disallow: /travaux.html


J'ai supprimé le "allow" non standard et inutile et il ne fallait pas d'espace après les /.

Jean-Luc

[Taranis]

En faite, j'ai mis cela :

User-agent: *
Allow: /
Disallow: / erreur404.html
Disallow: / travaux.html

Mais toujours pas reconnu par Google. Je suis sur Mac avec TextEdit qui enregistre en "Format texte".

Curieux…

Et si tu vires la ligne :

Code: Tout sélectionner

Allow: /

Ça donne quoi ?

[Taranis]

Ok, deuz

[LionelWRI]

Grand merci à tous

Code: Tout sélectionner

User-agent: *
Disallow: /erreur404.html
Disallow: /travaux.html

était la bonne solution.

Maintenant, j'ai tenté :

Code: Tout sélectionner

User-agent: *
Sitemap: http:/monsite.free.fr/sitemap.xml
Disallow: /erreur404.html
Disallow: /travaux.html

Super !

[lunicrea]

Code: Tout sélectionner

User-agent: *
Sitemap: http:/monsite.free.fr/sitemap.xml
Disallow: /erreur404.html
Disallow: /travaux.html

Hmm et ça marche cette syntaxe ?!

[Taranis]

Code: Tout sélectionner

User-agent: *
Sitemap: http:/monsite.free.fr/sitemap.xml
Disallow: /erreur404.html
Disallow: /travaux.html

Hmm et ça marche cette syntaxe ?!

Ben d'après ( http://www.sitemaps.org/protocol.html#submit_robots ) on dirait

Mais il est peut-être temps que les robots et autres crawlers se dépatouillent eux-mêmes de ce qu'ils cherchent. Les webmasters ont bien d'autres choses à faire que de s'embêter à faire des courbettes à des entreprises multi-milliardaires

[LionelWRI]

Hmm et ça marche cette syntaxe ?!

En tout cas voici les résultats que me donne Google en allant à :
Outils pour les webmasters -> Accès du robot d'exploration

Code: Tout sélectionner

________________________________________________________________________________________________
[b][size=150]Résultats de l'analyse[/size][/b]
[b]Valeur                                                                       Résultat[/b]
Ligne 2 : Sitemap: http://monsite.free.fr/sitemap.xml   Référence à un plan Sitemap valide détectée

[b]Texte de http://monsite.free.fr/robots.txt[/b]
User-agent: *
Sitemap: http://monsite.free.fr/sitemap.xml
Disallow: /erreur404.html
Disallow: /travaux.html

[b]URL[/b] Spécifiez les URL et les user-agents à tester.
http://monsite.free.fr/
________________________________________________________________________________________________


Ainsi j'autorise tous les robots à indexer mes pages, à consulter mon fichier "sitemap.xml" mais je ne les autorise pas à indexer les pages "erreur404.html" ni "travaux.html" (si j'ai tout bien compris). J'espère que c'est suffisant...

Encore merci à votre aide à tous

Maintenant je vais m'occuper des balises meta robots et meta sitemap.

[WebRankInfo]

Salut !

il me semble que la ligne Allow: n'est autorisée que pour un sitemap valide, exemple :

Code: Tout sélectionner

Allow: /sitemap.xml

Si tu n'utilises pas de Disallow et de sitemap alors il faut juste mettre

Code: Tout sélectionner

User-agent: *

Attention :
- pour déclarer un sitemap dans le fichier robots.txt ce n'est pas Allow mais sitemap
- Allow ne sert à rien il me semble, le fichier robots.txt ne sert qu'à interdire le crawl (par défaut tout le reste est autorisé)

Autres remarques :
- si tu n'as rien à interdire sur le site, tu peux mettre un fichier totalement vide, ça ira très bien et ça ne génèrera aucune erreur
- parfois le fichier sitemap contient des indications que l'on ne devrait pas donner aux concurrents. Dans ce cas il ne faut pas le nommer sitemap.xml et il ne faut pas le déclarer dans le fichier robots.txt mais directement dans Google Webmaster Tools.

[NickyLarson]

- Allow ne sert à rien il me semble, le fichier robots.txt ne sert qu'à interdire le crawl (par défaut tout le reste est autorisé)

Du coup, pour le robots.txt de WRI, ceci n'est pas correct (même si cela n'a pas d'impact)?

User-agent: googlebot-image
Allow: /images/

Un autre exemple, actuellement sur WRI le fichier est sous cette forme:
User-agent: Xenu's Link Sleuth 1.1c
User-agent: YRSPider
User-agent: Zeus
Disallow: /

Est-ce correcte pour donner une instruction générale?
Ou alors il faudrait faire plutôt comme ceci:

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: YRSPider
Disallow: /

User-agent: Zeus
Disallow: /