Quel intéret de mettre un lien vers robots.txt?

**le Mer Jan 12, 2005 10:45**

Merci de ton efficacité Olivier, j'ai demandé en même temps à GG de l'enlevé de son index ce qui sera fait demain.

**le Jeu Jan 13, 2005 13:06**

bon GG vient de refuser ma demande, j'espère que ça va se suprimé de lui même.

**le Jeu Jan 13, 2005 13:09**

tu as demandé comment ? car c'est pas compliqué, il faut mettre une balise meta robot ou alors indiquer le fichier en question dans le fichier robots.txt

;-)

**le Jeu Jan 13, 2005 13:48**

j'ai utilisé l'outil de supression en leur mettant le robots.txt, ils m'ont mit comme la demande était prise en compte et ce matin la demande est reffusé. A mon avis faudrait que je le suprime pendant 24h pour qu'ils acceptent la demande.

**le Lun Oct 31, 2005 5:00**

squawk a écrit:Tu crois qu'il a besoin d'un lien pour le trouver ? je doute que google indexe les fichiers robots.txt quand même....

Ne doute plus

http://www.adojeunz.com/robots.txt

pagerank 1

mdr...

**le Lun Oct 31, 2005 13:42**

j'ai déjà trouvé des r0b0ts.txt en faisant des recherches "pointues" à propos de certains robots peu connus ...
comme le seul contenu (ou presque) qui concernait ces r0b0ts se trouvait dans des r0b0ts.txt ...

devinez ce que j'ai trouvé ?

**le Lun Oct 31, 2005 19:33**

On t'ecoute.
Qu'as-tu trouvé?

**le Lun Oct 31, 2005 20:20**

tradjus a écrit:Qu'as-tu trouvé?

bé, des r0b0ts.txt ... quoi d'autre ?

Quel intéret de mettre un lien vers robots.txt?

Intéret du lien vers le robots.txt dans chaque description de sites

Lectures recommandées sur ce thème :

Qui est en ligne