robots.txt et pages dynamiques

**le Mar Juin 07, 2005 13:28**

Et ben MSN à pas l'air de l'entendre de cette façon....

Car mon fichier resemble à ça :

Code: Tout sélectionner: User-agent: Msnbot Disallow: /common/ User-agent: * Disallow: /common/erreur/ Disallow: /divers/contact.php

et il fait que de me scanner mes pages /divers/contact.php?param=blablabla

Et ça fait plusieurs jours que ça continue...

**le Mar Juin 07, 2005 14:17**

à tu verifié l'ip du bot? c'est peut etre pas msn bot

**le Mer Juin 08, 2005 9:38**

Je vais modifier mon fichier en :

Code: Tout sélectionner: User-agent: Msnbot Disallow: /common/ Disallow: /common/erreur/ Disallow: /divers/contact.php User-agent: * Disallow: /common/erreur/ Disallow: /divers/contact.php

et je vais voir si ça continue...

**le Mer Juin 08, 2005 9:41**

snowalpes a écrit:Donc, pour aller plus loin, si on met :

disalow: page.php?name=page_a_ne_pas_indexer?

Es ce que toutes les pages :
page.php?name=page_a_ne_pas_indexer&param=1
page.php?name=page_a_ne_pas_indexer&param=1
page.php?name=page_a_ne_pas_indexer&param=1

ne seront plus indexer ?

et es ce que :
page.php?name=page_A_INDEXER
restera dans GG ?

Ca marche pas !! J'ai demandé a GG de repaser sur ces fichiers... ils n'a pas enlever tous les fichiers que je souhaitai...

Je vais chercher une solution en meta name...

**le Mer Juin 08, 2005 11:56**

snowalpes a écrit:Ca marche pas !! J'ai demandé a GG de repaser sur ces fichiers... ils n'a pas enlever tous les fichiers que je souhaitai...

Essaye d'enlever le dernier point d'interogation

Code: Tout sélectionner: disalow: page.php?name=page_a_ne_pas_indexer

**le Mer Juin 08, 2005 12:08**

Quelques messages au dessus, on m'a indiqué de mettre ce ? a la fin, pour indiquer à GG d'enlever toutes les pages ayant le même debut...

**le Lun Juin 13, 2005 13:01**

non c'était pour la chaine de caractères....
le "?" n'est pas un caractère spécial

disalow: page.php?name=page_a_ne_pas_indexer

**le Mar Avr 04, 2006 11:15**

et au final ça a donné quoi cette histoire ?

J'ai lancé un site hier, je suis en train de rédiger mon robots.txt et je me pose la question.

On est bien d'accord que

Disallow: /inspiration/news.aspx?

ne va pas interdire l'accès à /inspiration/news.aspx

?

robots.txt et pages dynamiques

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne