robot.txt

[deterred_gamin]

Bonjour à tous,

Petites questions sur ce fichier ...

1/ le fichier doit il etre nomé robot.txt ou robots.txt ?
Je n'arrive pas a trouver de réponse claire sur le net, tantôt il est orthographié avec un s, tantôt pas.

2/ voici le début de mon fichier robots.txt :

Code: Tout sélectionner

User-agent: *


Disallow: /backend.php
Disallow: /backend_forum.php
Disallow: /legal.html
Disallow: /modules.php?

Pouvez vous me dire si il comporte une erreur syntaxique ?
Il est en place depuis au moins 4 mois, et google s'entete a me referencer les pages modules.php?p= ... blablabal
cela me créé du duplicate content, puisque j'utilise l'url rewriting.

le fichier legal.html est également référencé ...

merci de votre aide !

[zimounet]

message supprimé

[jeanluc]

Pouvez vous me dire si il comporte une erreur syntaxique ?

Bonjour,

L'erreur est qu'il ne faut pas laisser de lignes vides dans un robots.txt entre la désignation d'un User-agent et les Disallow qui s'y rapportent. Tu peux remplacer ces lignes vides par des commentaires (commençant par #) :

Code: Tout sélectionner

User-agent: *
#
#
Disallow: /backend.php
Disallow: /backend_forum.php
Disallow: /legal.html
Disallow: /modules.php?

Jean-Luc

[deterred_gamin]

Merci de toutes vos réponses !
Je vais faire l'essai des commentaires dans les lignes vides.

A+

[tetue]

Pour exclure des pages générées par le CMS SPIP, vaut-il mieux écrire :

Code: Tout sélectionner

Disallow: /spip.php?page=backend

ou (comme dans l'exemple ci-dessus) :

Code: Tout sélectionner

Disallow: /backend.php

??