Robots.txt et syntaxe de Disallow

[excellkenza]

Bonjour,

Sur mon site j'ai beaucoup de pages de type :

https://www.monsite.fr/page.html?code=82&idpartenaire=60876

Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :

Disallow:/page.html

Mais Google les indexe quand même ... !

Ma syntaxe est-elle mauvaise ?
Devrais-je plutôt écrire un truc genre

Disallow:/page.html*

Merci de votre aide

 

[yule]

Hello,

Je pense plutôt ainsi

Disallow: /page*

http://robots-txt.com/ressources/robots-txt-wildcard/

A+
Yule

 

[jeanluc]

Bonjour,

Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :

Disallow:/page.html

Mais Google les indexe quand même ... !

Cette ligne est parfaitement correcte. Elle interdit aux robots de Google de visiter les pages dont l'adresse commence par /page.html. En revanche, elle n'interdit pas vraiment d'indexer ces pages.

En pratique, peu de pages où la visite des robots est interdite apparaissent en bonne place dans les résultats de recherche (surtout si ce sont des adresses avec des paramètres après le point d'interrogation).

 

[WebRankInfo]

ah le fameux coup du "j'ai des pages déjà indexées, j'interdis à Google via robots.txt de retourner les voir et je ne comprends pas pourquoi elles restent indexées"

besoin d'aide ? mon article ici : explications détaillées ou encore plus complet mon webinar gratuit