Robots.txt utile ou inutile ?

[jiojioforever]

Bonjour,
j'ai vu que l'on pouvait placer un fichier robots.txt à la racine de notre site.
Sachant que je n'ai aucune base de donnée ni de partie administration, j'aurais voulu savoir si cela était un plus pour le referencement de mon site

en mettant : User-agent: * dans mon fichier

en gros, je n'ai rien à cacher sur mon site. Toutes les pages doivent être referencées.

[schtroumpf]

Non, ça n'apporte rien au référencement.

Arnaud

[jiojioforever]

ok merci bien pour ta réponse

[jiojioforever]

et concernant les flux RSS ?

[objectifweb]

Bonjour,

Ca change rien au référencement sauf si tu as des pages orphelines à présenter au moteur, mais quand même c'est utile pour diminuer le log des erreurs, chaque fois que le moteur scanne ton site, une ligne d'erreur s'affiche dans tes fichiers log

Pat

[schtroumpf]

mais quand même c'est utile pour diminuer le log des erreurs, chaque fois que le moteur scanne ton site, une ligne d'erreur s'affiche dans tes fichiers log

Pat

Oui, exact, c'est la seule raison pour laquelle je l'ai mis en place.

Arnaud

[jiojioforever]

vous parlez des flux ou du robots.txt là ?

si c'est le robots.txt c'est bien de le placer alors ? vu qu'on peut voir les erreurs du robot et donc les rectifier ?

[jiojioforever]

vous parlez des flux ou du robots.txt là ?

si c'est le robots.txt c'est bien de le placer alors ? vu qu'on peut voir les erreurs du robot et donc les rectifier ?

[jiojioforever]

dans mon robots.txt j'ai mis que 'User-agent: *' et quand je vais sur https://www.google.com/webmasters partie robots.txt, il me dit que mon fichier n'est pas valide ? normal ?

[yep]

le placement du fichier robots.txt est une norme. Il devrait être obligatoire, même vide.

[jeanluc]

dans mon robots.txt j'ai mis que 'User-agent: *' et quand je vais sur https://www.google.com/webmasters partie robots.txt, il me dit que mon fichier n'est pas valide ? normal ?

Exact, il n'est pas valide. Si tu ne veux rien interdire, mets un fichier robots.txt totalement vide ou mets:

Code: Tout sélectionner

User-agent: *
Disallow:

Le dernière ligne dit que tu ne veux rien interdire.

Jean-Luc

[samuel]

Voilà je pense que tout à été dit, il devrait être mis pour tout les sites, mais n'apporte rien pour le référencement, du moins plus de contrôle pour le webmaster dans le cas de contenu que l'on ne veux pas indexer.

[wullon]

Pour préciser, je ne sais pas si c'était clair : au-delà du fait que c'est une norme, ne pas avoir un robots.txt va ajouter une erreur 404 dans les logs, à chaque fois qu'un bot (qui respecte le robots.txt ^^) passe, ce qui peut vite devenir pénible.

[Monty973]

Il peut être utile au référencement dans la mesure ou il peut permettre d'éviter l'indexation de certaines pages (groupées dans des répertoires par exemple) qui pourraient être vu par les moteurs comme du duplicate content.

wullon +1,

ça épure les logs

[ManaZen]

Bonsoir,
Après avoir ajouté le sitemaps, nous avons obtenu sur diagnostic - exploration du web
128 erreurs - Url inaccessible avec le détail suivant

- impossible d'atteindre le fichier robots.txt

Effectivement nous n'avons pas de fichier robots.txt

Si quelqu'un peux m'aider, ma question est la suivante,
Pourquoi avons nous cette erreur sur 128 pages produit alors que notre le site comprend plus de 600 pages produit?

Si je rajoute un fichier robots.txt contenant

User-Agent: *
Disallow: /admin/
Disallow: /download/
Disallow: /images/
Disallow: /includes/
Disallow: /pub/

Vais-je supprimer ce type d'erreur.

Comme nous sommes plus ou moin bien référencé pour le moment, ne risquons nous pas de faire pire que bien, mais surtout nous voulons comprendre le pourquoi.

Merci pour votre aide.