robots.txt et pages dynamiques

**le Lun Juin 06, 2005 13:19**

Apparement si je fais un "disalow: page.php" dans mon fichier robots.txt, ca n'empèche pas les robots de scruter page.php?param=toto

normal ou pas ??

c'est un peu con comme truc....

**le Lun Juin 06, 2005 13:23**

ca me parait au contraire logique

**le Lun Juin 06, 2005 13:30**

heuuu désolé je me suis complètement planté de forum....
Si un modérateur pouvait passer par là et rectifier le tir...

Sinon pour revenir au sujet, je trouve pas ça logique du tout. Imagine une page dans un annuaire pour suggerer un nouveau site.
Il va y avoir par exemple un paramètre pour savoir dans quelle catégorie tu veux ajouter le site (annuaire style dmoz par exemple)
Et bien tu ne pourras pas exclure cette page des robots... car il va y avoir une indéfinité de possibilité (une pour chaque catégorie). Alors que son référencement n'apportera rien puisque quelque soit la valeur de la variable passée en paramètre, la page sera toujours identique ou presque...

**le Lun Juin 06, 2005 13:46**

si, en rewritant ton url pour qu'elle soit de la forme domaine.tld/inscription/index.php?... par exemple.

mais dans le cas contraire, un site composé d'une unique page (index.php?module=...") ne serait pas indexable en partie

**le Lun Juin 06, 2005 13:48**

easyzik a écrit:Apparement si je fais un "disalow: page.php" dans mon fichier robots.txt, ca n'empèche pas les robots de scruter page.php?param=toto

normal ou pas ??

c'est un peu con comme truc....

disalow: page.php

va emepècher d'indexer

page.php
page.php?param=toto

etc...

si tu veu indexer "page.php" mais pas les paramètres tu devra mettre ceci :

disalow: page.php?

on peu aussi plus loin ;-)

**le Lun Juin 06, 2005 14:00**

arf je savais pas :-)

**le Lun Juin 06, 2005 14:35**

Donc, pour aller plus loin, si on met :

disalow: page.php?name=page_a_ne_pas_indexer?

Es ce que toutes les pages :
page.php?name=page_a_ne_pas_indexer&param=1
page.php?name=page_a_ne_pas_indexer&param=1
page.php?name=page_a_ne_pas_indexer&param=1

ne seront plus indexer ?

et es ce que :
page.php?name=page_A_INDEXER
restera dans GG ?

**le Lun Juin 06, 2005 14:38**

tu as tout compris snowalpes ;-)

**le Lun Juin 06, 2005 14:48**

Elles ne seront plus indexées si tu mets: disallow et non disalow :wink:

**le Lun Juin 06, 2005 14:50**

Phix a écrit:Elles ne seront plus indexées si tu mets: disallow et non disalow

merci d'avoir préciser :-)

**le Lun Juin 06, 2005 17:35**

heuuuu.. pour ma part, j'ai bien mis page.php sans le '?' dans mon fichier et robotstat m'indique le passage de robots sur page.php?param=toto

Une hypothèse ?

**le Lun Juin 06, 2005 17:49**

le robot n'est pas repassé sur le robots.txt? Ce n'est qu'une hypothèse, mais je ne pense pas qu'il vérifie dans le robots.txt à chaque indexation de fichier et qu'il faut un moment avant qu'il le reprenne en compte...

**le Lun Juin 06, 2005 22:35**

il faut verifier egalement que c'est pas le robot adsense ou un robot ne respectant pas robots.txt

**le Mar Juin 07, 2005 10:42**

et si je fait :

Code: Tout sélectionner: User-agent: RobotA Disallow: /rep1/ User-agent: * Disallow: /rep2/ Disallow: /rep3/

Est-ce que le robot A ira lire les repertoires 2 et 3 ???

**le Mar Juin 07, 2005 12:29**

Je ne pense pas, puisque tu interdis à tous les robots de lire rep2 et rep3

robots.txt et pages dynamiques

robots.txt et pages dynamiques

Re: robots.txt et pages dynamiques

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne