robots.txt et pages dynamiques

[easy_zik]

Apparement si je fais un "disalow: page.php" dans mon fichier robots.txt, ca n'empèche pas les robots de scruter page.php?param=toto

normal ou pas ??

c'est un peu con comme truc....

[e-kiwi]

ca me parait au contraire logique

[easy_zik]

heuuu désolé je me suis complètement planté de forum....
Si un modérateur pouvait passer par là et rectifier le tir...

Sinon pour revenir au sujet, je trouve pas ça logique du tout. Imagine une page dans un annuaire pour suggerer un nouveau site.
Il va y avoir par exemple un paramètre pour savoir dans quelle catégorie tu veux ajouter le site (annuaire style dmoz par exemple)
Et bien tu ne pourras pas exclure cette page des robots... car il va y avoir une indéfinité de possibilité (une pour chaque catégorie). Alors que son référencement n'apportera rien puisque quelque soit la valeur de la variable passée en paramètre, la page sera toujours identique ou presque...

[e-kiwi]

si, en rewritant ton url pour qu'elle soit de la forme domaine.tld/inscription/index.php?... par exemple.

mais dans le cas contraire, un site composé d'une unique page (index.php?module=...") ne serait pas indexable en partie

[Ohax]

Apparement si je fais un "disalow: page.php" dans mon fichier robots.txt, ca n'empèche pas les robots de scruter page.php?param=toto

normal ou pas ??

c'est un peu con comme truc....

disalow: page.php

va emepècher d'indexer

page.php
page.php?param=toto


etc...

si tu veu indexer "page.php" mais pas les paramètres tu devra mettre ceci :

disalow: page.php?


on peu aussi plus loin

[e-kiwi]

arf je savais pas

[LEON05]

Donc, pour aller plus loin, si on met :

disalow: page.php?name=page_a_ne_pas_indexer?

Es ce que toutes les pages :
page.php?name=page_a_ne_pas_indexer&param=1
page.php?name=page_a_ne_pas_indexer&param=1
page.php?name=page_a_ne_pas_indexer&param=1

ne seront plus indexer ?

et es ce que :
page.php?name=page_A_INDEXER
restera dans GG ?

[Ohax]

tu as tout compris snowalpes

[Phix]

Elles ne seront plus indexées si tu mets: disallow et non disalow

[Ohax]

Elles ne seront plus indexées si tu mets: disallow et non disalow

merci d'avoir préciser

[easy_zik]

heuuuu.. pour ma part, j'ai bien mis page.php sans le '?' dans mon fichier et robotstat m'indique le passage de robots sur page.php?param=toto

Une hypothèse ?

[Phix]

le robot n'est pas repassé sur le robots.txt? Ce n'est qu'une hypothèse, mais je ne pense pas qu'il vérifie dans le robots.txt à chaque indexation de fichier et qu'il faut un moment avant qu'il le reprenne en compte...

[gorgu]

il faut verifier egalement que c'est pas le robot adsense ou un robot ne respectant pas robots.txt

[easy_zik]

et si je fait :

Code: Tout sélectionner

User-agent: RobotA
Disallow: /rep1/

User-agent: *
Disallow: /rep2/
Disallow: /rep3/


Est-ce que le robot A ira lire les repertoires 2 et 3 ???

[Phix]

Je ne pense pas, puisque tu interdis à tous les robots de lire rep2 et rep3