Google ne respecte pas les robots.txt ?

**le Dim Sep 07, 2003 23:01**

Je viens de me rendre combte que Google a indexé un grand nombre de pages de mon site avec des liens php du type :
www.ossau.net/ossau/viewtopic.php?p=975
alors que j'ai bien mis dans mon robots.txt : Disallow: /ossau/viewtopic.php

Google ne respecte pas les robots.txt ??

**le Dim Sep 07, 2003 23:21**

bizarre

http://www.webrankinfo.com/outils/robots/faq_15_114.htm peut etre ?

**le Lun Sep 08, 2003 8:32**

bielle64 a écrit:Google ne respecte pas les robots.txt ??

Salut,

Ta syntaxe n'est pas bonne. Retire la ligne vide entre User-agent: et Disallow: et cela ira mieux.

Mirgolth

**le Lun Sep 08, 2003 10:38**

je ne savais pas que les lignes vides pouvaient poser problème ! c'est dans le standard du robots.txt ?

**le Lun Sep 08, 2003 11:08**

WebRankInfo a écrit:je ne savais pas que les lignes vides pouvaient poser problème ! c'est dans le standard du robots.txt ?

Oui, les lignes vides servent à séparer les enregistrements ( records) composés de lignes User-agents et Disallow. Voilà les lignes correspondantes dans A Standard for Robot Exclusion vers lequel Google pointe :

The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.

The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below. Unrecognised headers are ignored.

Donc après une ligne vide on doit avoir une ligne User-agent.

Mirgolth

**le Lun Sep 22, 2003 22:20**

Merci Mirgolth, je corrige illico mon robots.txt

**le Mar Sep 23, 2003 20:03**

Je ne sais pas encore si Google respecte mon nouveau robots.txt mais je viens de me rendre d'un truc assez étrange : mon robots.txt fait partie des pages indexées par Google.
http://www.google.fr/search?q=cache:OIk ... r&ie=UTF-8

C'est normal docteur ?

**le Mar Sep 23, 2003 20:59**

bin pourquoi pas

**le Mar Sep 23, 2003 21:26**

Ben je pensais qu'un fichier robots.txt n'avait qu'une valeur informative à l'usage des spiders. Donc, à mon sens, s'il est indexé c'est qu'il est pris pour une page web et donc pas exécuté.

Google ne respecte pas les robots.txt ?

Google ne respecte pas les robots.txt ?

Re: Google ne respecte pas les robots.txt ?

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne