Robots.txt user-agent: *

[pascal_22]

Bonjour!

Je viens de voir un post et dans mon fic hier robots.txt j'avais seulement qu'une ligne...

User-agent: *

Je viens de la remplacer par

User-agent: *
Allow: /

Est-ce la bonne choses à faire? ou les 2 reviens au même?

MErci!

Pascal

 

[Acketeers1]

Bonjour,
User-agent: *
Allow: /
Cela veut dire que tout les robots a indexer tout vos repertoires ce code ne met pas d'interdiction aux robots

User-agent: *
Disallow: / le repertoire ou le fichier que vous ne voulez qui ce soit apparut dans les resultats de recherches

 

[pascal_22]

Merci beaucoup!!

Bonne journée!!

 

[longo600]

Je ne sais pas comment font les autres moteurs, pour le miens, j'ai procédé de la manière suivante ;
-suis-je concerné par le USER-AGENT ?
dans ton 1er cas oui,
-Si OUI, qu'est-ce que je dois ignorer = chaque ligne qui contient disallow …

Donc, les 2 sont bons … le mieux est de ne pas en mettre, ca évite les confusions possibles et les erreurs.

 

[Acketeers1]

Voici quelques exemple de robots.txt

User-agent: *
Disallow: /

1er ligne : tout les robots peuvent indexer votre contenu
2eme ligne: exclure tout fichier ou repertoire qui se trouve apres /

User-agent: *
Disallow: /(fichier ou repertoire)

2eme ligne : un fichier qui ne doit pas etre indexer par les robots
Si vous voulez specifier le robot qui ne doit pas indexer tout vos contenus modifier le premier ligne par le nom du robot
Ex: User-agent: googlebot
Disallow: /pages/
Voici un robots.txt sans exclusion

User-agent: *
Allow: /

Sitemap: addresse de votre sitemap
Host: addresse de votre site
Robots.txt avec exclusion

User-agent: *
Disallow: /

Sitemap: addresse de votre sitemap
Host: addresse de votre site

NB: chaque exclusion doit etre fait par une ligne de Disallow : /