robots.txt sur un sous domaine. Comment faire?

[atbm]

Bonjour.
J'ai un fichier robots.txt sur mon serveur (à la racine).
J'ai plusieurs dossiers placés à la racine de mon site, dont UN qui contient l'index d'un sous-domaine.

Quand on tape l'URL de mon sous-domaine: mag.monsite.com, on arrive directement dans le dossier qui contient le fichier "index" du sous-domaine.

Mon fichier robots.txt principal, donne donc des indications pour le site principal, mais je n'ai pas de fichier robots.txt pour le sous domaine.

Mes questions sont :
1.
"Puis-je placer un robots.txt dans le dossier où j'ai mis l'index du sous-domaine? Peut-on considérer dans ce cas précis que le dossier en question correspond à la racine du sous-domaine???

2. Si oui :
Si je veux interdire l'accès à certains dossiers, dois-je utiliser un chemin qui permet de sortir de ce dossier pour interdire les autres?
Pas clair???

Exemple:
Mon fichier robots.txt principal indique ceci:
User-agent: *
Disallow: /asie/
Si je place un second robots.txt dans un dossier nommé "magazine", là où est l'index du sous domaine...si je veux interdire le même dossier "asie", est-il possible de faire comme pour le chemin d'un fichier:
User-agent: *
Disallow: .../asie/
les petits points indiquant qu'il faut sortir du dossier où est le robots.txt pour trouver le dossier "asie"...
Et combien de points ? 2 ou 3?

Si ce n'est pas possible, quelle solution ai-je pour mettre un robots.txt sur mon sous-domaine, en conservant le robots.txt principal à la racine???

Merci d'avance...

[Patrice A.]

Bonjour.

Bonjour,

1.
"Puis-je placer un robots.txt dans le dossier où j'ai mis l'index du sous-domaine? Peut-on considérer dans ce cas précis que le dossier en question correspond à la racine du sous-domaine???

Oui.

2. Si oui :
Si je veux interdire l'accès à certains dossiers, dois-je utiliser un chemin qui permet de sortir de ce dossier pour interdire les autres?
Pas clair???

Non. Tu ne peux pas demander à un robot qui visite (exemple) monblog.monhebergeur.com
de ne pas aller voir
autreblog.monhebergeur.com/photos/
(ce n'est pas le même site !!)

[atbm]

Merci de la réponse.
En résumé, si j'ai bien compris:

Il est donc possible de mettre deux robots.txt dans ces conditions:
Un à la racine du site : www.example.com
Un dans le dossier où est l'index du sous-domaine : www.example.com/magazine

je suis assurée qu'ils ne feront pas interférence entre eux,
puisqu'on considère que ce sont deux sites différents...

Cela signifie aussi que les robots qui arrivent directement dans www.example.com/magazine
par le biais de l'URL de mon sous-domaine, ne peuvent en aucun cas aller voir dans les autres dossiers du genre www.example.com/asie...
En fait ils ne peuvent que descendre plus bas dans la hiérarchie:
www.example.com/magazine/autredossier....etc...

C'est bien ça???

[jeanluc]

C'est bien ça!

Jean-Luc

[atbm]

Merci.

[jeanluc]

Encore une précision : si tu crains que les robots découvrent "quelque part" l'adresse www.monsite.com/magazine/, tu peux mettre un disallow la concernant dans le robots.txt à la racine de www.monsite.com. Ceci évitera une double indexation (nuisible) des pages du sous-domaine magazine.monsite.com.

Jean-Luc

[atbm]

Oui, c'est ce que je pensais faire finalement pour éviter la double indexation...
Merci Cordialement. Chantal

[Patrice A.]

Quel est exactement ton objectif avec ceci ?

Code: Tout sélectionner

User-agent: *
Disallow:

[atbm]

C'est juste d'avoir un robots.txt pour mon sous-domaine, parce qu'autrement j'ai sans arrêt des échecs d'accès au robots.txt dans mes stats.
Donc ce robots.txt autorise tous les robots à tout voir.. en fait, il n'y a rien à voir car dans ce dossier je n'ai que l'index du sous-domaine et un ascreen.

L'index du sous-domaine permet ensuite l'affichage de tout mon site par une frame invisible (100%) que j'ai créée moi même, avec liens pour les moteurs (ça marche, j'ai vérifié avec spider simulator)...

Le reste de mon site est stocké sur wanadoo...
A ce propos, j'ai une question:

Les robots suivent les liens et indexent le reste de mon site...
Mais j'ai d'autres dossiers stockés sur wanadoo sans aucun lien avec mon site... Pensez-vous que les robots puissent indexer ces dossiers (ce que je ne souhaite pas)

[Patrice A.]

S'il y a quelque part sur internet des liens vers ces dossiers, tu devines la réponse.
S'il n'y a aucun lien nulle part, tu devines aussi

[atbm]

Non bien sûr aucun lien sur internet.
Ce sont des fichiers perso que je partage avec quelqu'un, c'est tout.
Merci.
CC

[atbm]

En fait, un robot qui arrive à la racine d'un site (là je ne parle plus de sous-domaine), que fait-il ?

- Il visite tous les dossiers qu'il trouve (sauf ceux interdits par le robots.txt, évidemment) ?
- ou bien il suit les liens inscrits dans l'index placé à la racine du site ?

[jeanluc]

Pour répondre à ta question, on peut dire qu'un robot ne connait pas la notion de dossier, qu'il se contente de la notion de lien.

Concernant ton message précédent, tes dossiers perso seraient peut-être mieux ailleurs que dans des pages dont il suffit de connaître l'adresse pour pouvoir les afficher (d'après ce que tu dis). Les adresses de pages se perdent toujours à gauche ou a droite (referrers, cache du navigateur, adresse lue par dessus ton épaule,...).

Jean-Luc

[atbm]

OK!
Merci.
Et au passage, super ton "annuaire infos" ! Je l'ai découvert la semaine dernière tout à fait par hasard.
Cordialement. CC