[ROBOTS.TXT] Google ne le prend pas en compte

[clad]

Voilà tout est dans le sujet.

Google ne prend pas en compte de mon robots.txt

j'ai juste interdit l'indéxation d'un fichier et toujours rien... le fichier est toujours indéxé.

[Szarah]

En es-tu certain ?
Tu peux tracer l'activité des bots dans tes logs et voir si oui ou non tel bot lit le robots.txt ou pas.
S'il le lit et qu'il n'en tient pas compte : l'exclusion est-elle bien écrite ?

[clad]

Oui je pense
j'ai utilisé cet article pour faire mon fichier
http://www.webrankinfo.com/outils/robots/faq_15_113.htm

j'ai simplement mis :

Code: Tout sélectionner

User-agent: *
Disallow: /monfichier.php

[UsagiYojimbo]

j'ai juste interdit l'indéxation d'un fichier et toujours rien... le fichier est toujours indéxé.

Pour ça le plus rapide serait dans un premier temps de passer par l'outil de suppression d'url de Google Webmaster Tools. Le robots.txt préviendra tout indexation ultérieure.

[clad]

Je vois.
Je fais utiliser cette manipulation alors.

[jeanluc]

Google ne prend pas en compte de mon robots.txt

j'ai juste interdit l'indéxation d'un fichier et toujours rien... le fichier est toujours indéxé.

Strictement parlant, robots.txt interdit au robot de visiter l'URL, mais il n'interdit pas l'indexation. Ce qui se passe dans ton cas, c'est probablement que Google respecte robots.txt en ne crawlant plus la page, mais il conserve en cache la copie de celle-ci qu'il avait placée avant que tu ne lui interdises l'accès.

Comme le dit UsagiYojimbo, l'outil de suppression des URL sera plus efficace dans ton cas. Et il y a aussi un outil dans les Outils Webmaster pour vérifier si Google interprète bien ton robots.txt.

Jean-Luc