Robots.txt : Astuce de Matt Cutts

[spidetra]

...

[Kilroy]

Tous les robots.txt supportent en fait les wildcards, mais seulement à la fin de l'URL spécifiée.
Quand on interdit un répertoire avec
disallow:/repertoire/

La règle appliquée est en fait
disallow:/repertoire/*

on interdit tout ce qui commence par...

Les spécificités de Google qui permettent d'inclure un élément de fin d'URL (avec le $) et les wildcards en milieu de chemin sont intéressantes. Si seulement on pouvait faire pareil pour tous les outils !

[spidetra]

...

[lothar]

Les spécificités de Google qui permettent d'inclure un élément de fin d'URL (avec le $) et les wildcards en milieu de chemin sont intéressantes. Si seulement on pouvait faire pareil pour tous les outils !

Je ne vois pas ce que ça apporte en plus; as-tu un exemple pour que je comprenne ?

[spidetra]

...