Fichier robots.txt ma syntaxe est-elle correcte ?

[troops]

Bonjour, la syntaxe de mon fichier robots.txt est-elle correcte, je souhaite que Scooter cesse d'explorer les répertoires mentionnés, étant donné qu'il n'existe pas :) Merci pour votre aide messieurs dames :)

Code: Tout sélectionner

User-agent: Scooter

Disallow: /en/EN/
Disallow: /en/DT/
Disallow: /en/JP/
Disallow: /en/SP/
Disallow: /ds/EN/
Disallow: /ds/DT/
Disallow: /ds/JP/
Disallow: /ds/SP/
Disallow: /jp/EN/
Disallow: /jp/DT/
Disallow: /jp/JP/
Disallow: /jp/SP/
Disallow: /sp/EN/
Disallow: /sp/DT/
Disallow: /sp/JP/
Disallow: /sp/SP/

[mahefarivony]

faut un espace entre les 2 premieres lignes ?

[Mirgolth]

Bonjour, la syntaxe de mon fichier robots.txt est-elle correcte ?

Non, il ne faut pas d'espace entre U-A: et Disallow:

Code: Tout sélectionner

User-agent: Scooter
Disallow: /en/EN/
[...]

Voir : A Method for Web Robots Control (en anglais)

Mirgolth

[troops]

J'viens d'essayé... M'affiche pas d'erreur cette outils donc ca doit aller... J'espere seulement que j'ai pas tout bloquer LOL

[troops]

Merci Mirgolth

[Mirgolth]

Merci Mirgolth

De rien,

Pour ceux qui veulent plus d'infos, je cite les parties de la norme concernant cette partie de la syntaxe dans ce message : Google ne respecte pas les robots.txt ?

Mirgolth

[troops]

Tiens une autre question au passage. Est-il possible de demandé expréssement à Scooter dans mon cas, de lire le fichier robots.txt pour qu'il continue sa balade avec les nouvelles régles ? Parce que la je continue de recevoir des 404 c super lourd dingue
Merci

[lululelutin]

Validateur utile
http://tool.motoricerca.info/robots-checker.phtml