Cacher un dossier par Disallow et robots.txt

WRInaute passionné
Bonjour
Disallow: /test/ empeche l'indexation du dossier /test à la racine

pour bloquer un dossier situé à un niveau de profondeur plus élévé la syntaxe est :

Disallow: /dossier/test/
 
WRInaute occasionnel
raljx a dit:
Bonjour
Disallow: /test/ empeche l'indexation du dossier /test à la racine

pour bloquer un dossier situé à un niveau de profondeur plus élévé la syntaxe est :

Disallow: /dossier/test/

C'est bien ce que je craignais mais dans le cas d'un site dynamique,
ou le " /test" peut apparaitre après plusieurs dossier,
je me demandais si il existait une formule du type :

Code:
*./test
( en gros peux importe ce qu'il y avant)
 
WRInaute occasionnel
En fouillant dans un fichier robots de wordpress,
je suis tombé sur ca :

Code:
Disallow: /*/feed/$

Faut il rajouter un "/" avant l'étoile?
( le dollar à quelle utilité également?)
 
WRInaute impliqué
humain ou robots

!! si c'est pour cacher un repertoire pour des humains, règle numero1 : ne pas utiliser le fichier robots.txt
 
WRInaute accro
Re: humain ou robots

elas a dit:
!! si c'est pour cacher un repertoire pour des humains, règle numero1 : ne pas utiliser le fichier robots.txt
:idea: le fichier human.txt serait plus adapté
Je sais, je :arrow:
 
WRInaute accro
YoyoS a dit:
Salut, la bonne syntaxe est:

Code:
Disallow: */test/

Valable uniquement pour GoogleBot.

Perso, pour un site dynamique, je gèrerais pas ça dans robots.txt, mais directement dans le script, soit en testant certaines variables, soit en testant l'uri. J'en profiterais pour ajouter un rel="nofollow" sur les liens qui pointent vers ces pages "/*/test", histoire de canaliser un peu le flow ;)
 
Nouveau WRInaute
Bonjour à tous.
Nous sommes en train de mettre en place notre premier e-commerce dédier à la vente de stores et volets sur mesure.
Nous rencontrons un problème sur de taille (enfin je pense).
Quand nous tapons dans la barre Google dimandgo.fr celui-ci nous dirige bien vers le site, mais quand nous tapons juste dimandgo voilà ce qui apparaît:

www.dimandgo.fr/index.php
La description de ce résultat n'est pas accessible à cause du fichier robots.txt de ce site. En savoir plus

Help!!!
 
WRInaute accro
Il aurait été plus judicieux de crée un nouveau topic.

Le site est-il validé sur la Google Search Console (ex Outils Webmaster pour Google). SI oui avez-vous essayé de renvoyer le robots.txt ? Ce genre de souci arrive souvent quand le robots a accédé à une version du robots.txt qui bloque l'indexation.
 
Discussions similaires
Haut