Optimiser robots.txt

[Leonick]

Bonjour,

Je voudrais n'autoriser que certains robots (ceux qui m'amènent des visiteurs). Ce fichier robots.txt est-il correct ? peut-on fusionner des autorisation pour plusieurs UA en même temps et/ou plusieurs url ?

Code: Tout sélectionner

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: mediapartner
User-agent: googlebot-image
User-agent: exabot
User-agent: msnbot
User-agent: voila
User-agent: Slurp
Disallow:

User-agent: *
Disallow: /apropos
Disallow: /contact


Ca me permettra ensuite de pouvoir blacklister allègrement les robots qui ne respectent pas ce fichier.
Mais question : est-ce que mon User-agent: * de la fin n'autorise pas implicitement tous les robots, y compris ceux à qui j'ai interdit dès la 1° ligne ?
Si oui, faut-il que je mette tous les UA suivis de mes 2 disallow ou faire une règle pour chaque UA et chaque disallow ?

[jeanluc]

Bonjour,

Bonjour

Ce fichier robots.txt est-il correct ?

Pas tout à fait.

peut-on fusionner des autorisation pour plusieurs UA en même temps et/ou plusieurs url ?

Oui.

est-ce que mon User-agent: * de la fin n'autorise pas implicitement tous les robots, y compris ceux à qui j'ai interdit dès la 1° ligne ?

Le problème de ton robots.txt, c'est qu'il contient deux fois le user-agent *. Ce n'est pas autorisé. Les règles qui suivent User-agent: * s'adressent à tous les robots qui ne sont pas explicitement désignés par une autre directive User-agent ailleurs dans le fichier.

Si j'ai bien compris ton intention, c'est ceci que tu dois faire:

Code: Tout sélectionner

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: mediapartner
User-agent: googlebot-image
User-agent: exabot
User-agent: msnbot
User-agent: voila
User-agent: Slurp
Disallow: /apropos
Disallow: /contact

Jean-Luc

[Leonick]

Si j'ai bien compris ton intention, c'est ceci que tu dois faire:

Code: Tout sélectionner

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: mediapartner
User-agent: googlebot-image
User-agent: exabot
User-agent: msnbot
User-agent: voila
User-agent: Slurp
Disallow: /apropos
Disallow: /contact

Jean-Luc

presque, parce qu'en fait je voudrais tout autoriser à gg, y! etc... sauf les pages contact
donc ça donnerait ça

Code: Tout sélectionner

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: mediapartner
User-agent: googlebot-image
User-agent: exabot
User-agent: msnbot
User-agent: voila
User-agent: Slurp
Disallow:
Disallow: /apropos
Disallow: /contact

Ca correspond bien à ce que je veux ?

[jeanluc]

La règle de base est que tout accès non interdit explicitement est autorisé:

Code: Tout sélectionner

Disallow:

est donc, au moins, inutile.

En fait, ici, il ne peut pas être utilisé, car il autorise l'accès à tout sans restriction, alors que ce n'est pas ce que tu veux dire: tu veux donner l'accès à tout sauf à deux URL.

Dans ma première réponse, j'expliquais que Googlebot, Yahoo et les autres que tu as désignés ne sont pas concernés par les règles associées à User-agent: *.

Jean-Luc

[Leonick]

ok merci

[Rod la Kox]

Le truc, c'est comment savoir qu'un moteur peut te ramener des visiteurs s'il ne peut indexer le site ?

[raljx]

Le truc, c'est comment savoir qu'un moteur peut te ramener des visiteurs s'il ne peut indexer le site ?

le "truc" est simple
Il n'en ramène pas dans ce cas!! tout simplement

[Leonick]

Le truc, c'est comment savoir qu'un moteur peut te ramener des visiteurs s'il ne peut indexer le site ?

ils ont eu tout le loisir de m'en ramener durant ces dernières années.
Mais bon, je fais quand même des exceptions, car exalead avec moins d'une dizaine de visites sur un semestre, je devrais le virer, mais il reste.
Mon but étant d'éviter au maximum de retrouver mon contenu dans des MFA et je ne laisserais venir que les robots qui ont un intérêt pour chacun de mes sites. Donc les robots exotiques, vu que la quasi totalité de mes sites sont fortement localisés, n'ont aucun intérêt et donc, plutôt de me dire, j'autorise pas celui-ci, je fais le contraire : j'autorise juste ceux que je veux.

[raljx]

mais comment y s'en ramenent s'ils n'indexent pas les pages du site ?

[Leonick]

j'ai des sites qui existent depuis 5-6 ans et pour lesquels je n'ai que peu de visiteurs, voire même aucun, de leur provenance.
Actuellement je viens juste de mettre ce robots.txt plus restrictif au niveau des UA. Et puis, des robots chinois ou russes, quel intérêt pour l'internaute russe ou chinois de tomber sur mes sites dans le moteur de recherche ? écrits en français, même pas en anglais et encore moins en russe ou chinois ?

[raljx]

Je repondait en fait a Mister Rod

Le truc, c'est comment savoir qu'un moteur peut te ramener des visiteurs s'il ne peut indexer le site ?

le "truc" est simple
Il n'en ramène pas dans ce cas!! tout simplement

Apres de ton avis sur les bots etrangers ... aucun interet pour un site francais ...
apres si pour toi c'est pareil pour tout ce qui est visite naturelle, regarde plutot du coté des plages d'IP plutot que des UserAgents ca englobe plus

[Leonick]

apres si pour toi c'est pareil pour tout ce qui est visite naturelle, regarde plutot du coté des plages d'IP plutot que des UserAgents ca englobe plus

non, justement loin de là. Mais si sur dans les SERP (genre google.com) quand tu cherches des infos sur pekin tu trouves un site en chinois en 2° position, que vas-tu faire ? le traduire ou bien regarder le résumé du 3°, 4° et 5° ?
Alors que les visites naturelles, c'est que tu as trouvé, par exemple, un site en chinois qui est bien. Tu lis la traduction et dans les liens tu trouves d'autres sites, tu vas cliquer dessus et la traduction sera effectuée.
Donc en visite naturelle, on peut très bien aller sur un site en langue incompréhensible pour nous mais depuis les SERP j'ai de très forts doutes.

Et puis, quand on voit dans nos stats des visiteurs qui sont arrivés jusqu'au 400° site pour une requête alors que les 1° sites semblaient intéressants, ça sent le référenceur à plein nez quand même.
Moi, si au dela de la 2° ou 3° page je ne trouve pas ce que je veux, je modifie ma requête

[raljx]

J'ai du mal m'exprimer, ça m'arrive souvent en plus en relisant mon post je me rends compte que je te reponds sur un post ou tu reponds a Rod

Donc pour moi ce soir c'est

Bah c'est vraiment pas mon jour le Vendredi, c'est troll intentionnel