Fichier robots.txt VS balise meta robots

Règles du forum
Attention ce forum est destiné avant tout à ceux qui découvrent le référencement. Les membres qui auront l'amabilité de répondre à leurs questions sont priés de rester courtois, polis, indulgents, patients et pédagogues... Merci d'avance !

Par ailleurs, inutile d'utiliser ce forum uniquement pour obtenir des liens vers vos sites, les liens sont désactivés pour le référencement (nofollow).

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

Spriter
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 9
Enregistré le: 20 Juil 2009

Fichier robots.txt VS balise meta robots

Message le Mar Aoû 24, 2010 17:36

Salut,

J'ai une question concernant la priorité vis à vis des moteurs de recherche entre le fichier robots.txt et les meta robots attachées aux pages du site. Je m'explique, j'ai une boutique en ligne qui fait partie d'un site principal: le site principal en HTML contient à la racine de son hébergement un fichier robots.txt et un sitemap.xml pour organiser le référencement des pages. La boutique en ligne est comme un second site en PHP cette fois dans un répertoire du site principal.

Je ne souhaite pas que soit référencée cette boutique car elle s'adresse uniquement aux membres professionnels de l'association a qui appartient le site. Alors mes questions sont :

1) - si j'exclue le répertoire du site principal ou est installée la boutique du fichier robots.txt et du sitemap.xml à la racine de l'hébergement, cela suffit il ou dois-je rajouter dans le répertoire de ma boutique un nouveau fichier robots.txt (on peut accéder à la boutique sans passer par le site principal pour les adhérents qui l'ont dans leurs favoris, et s'il y a une google barre sur le navigateur j'ai lu que ca pouvait faciliter le référencement).

2) - d'autre part une meta robots sur chaque page de la boutique affiche un index et follow, si un robots.txt spécifiant le contraire est dans répertoire d'installation de la boutique a t'il priorité ou dois-je corriger les balises des pages ?

Merci beaucoup pour votre aide !

Annonces Google

taeky
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 21
Enregistré le: 20 Aoû 2006

Re: Fichier robots.txt VS balise meta robots

Message le Mar Aoû 24, 2010 20:20

Salut,

Normalement en rajoutant a ton robots.txt la ligne suivante
Code: Tout sélectionner
Disallow: /répertoire-de-la-boutique/

ça devrait suffir

++


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3264
Enregistré le: 3 Mai 2004

Re: Fichier robots.txt VS balise meta robots

Message le Mar Aoû 24, 2010 20:26

Les directives de robots.txt disent aux robots de ne pas lire une page ou un groupe de pages. Comme le robot qui respecte ces directives ne lit pas les pages concernées, il ne sait pas si elles contiennent une META avec (no)index, (no)follow. Cette balise META est donc sans effet sur les pages exclues par robots.txt.

Jean-Luc


Leonick
WRInaute accro
WRInaute accro
 
Messages: 22675
Enregistré le: 8 Aoû 2004

Re: Fichier robots.txt VS balise meta robots

Message le Mar Aoû 24, 2010 21:36

sauf que, malheureusement, tous les (bons) bots ne suivent pas toujours cette directive. Comme je l'avais évoqué dans ce thread http://forum.webrankinfo.com/google-aime-spam-les-pages-pleines-vent-t ... 32455.html gg a incorporé des pages d'exalead qui étaient bloquées par un robots.txt


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3264
Enregistré le: 3 Mai 2004

Re: Fichier robots.txt VS balise meta robots

Message le Mer Aoû 25, 2010 13:19

Leonick a écrit:gg a incorporé des pages d'exalead qui étaient bloquées par un robots.txt
"Ne pas visiter une page" ne veut pas nécessairement dire "ne pas l'indexer". Les pages non visitées par le robot ne sont habituellement pas indexées, mais il y a quelques exceptions, comme celle que tu cites. Les pages indexées qui n'ont pas été visitées apparaissent d'ailleurs sans lien vers le contenu en cache Google (normal puisqu'il n'y en a pas). C'est un phénomène asssez rare et ce n'est généralement pas utile de s'en préoccuper.

Jean-Luc

Spriter
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 9
Enregistré le: 20 Juil 2009

Re: Fichier robots.txt VS balise meta robots

Message le Jeu Aoû 26, 2010 19:10

Bon ok merci, si je rajoute la ligne d'exclusion du dossier d'installation de ma boutique à la racine de mon site, soit un niveau de répertoire plus haut, cela va t'il suffire pour les visiteurs qui accedront directement à la boutique via un favoris et avec la fameuse Google bar dont on m'a dit qu'elle pouvait activer un référencement de pages inconnues jusqu'alors par Google sachant que le fichier robot sera un répertoire plus haut ?

Merci en tous les cas pour votre aide !


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3264
Enregistré le: 3 Mai 2004

Re: Fichier robots.txt VS balise meta robots

Message le Jeu Aoû 26, 2010 19:24

Si ces pages sont "secrètes" et si tu veux qu'elles soient uniquement vues pas les personnes autorisées, il n'y a pas 36 solutions: login avec nom d'utilisateur et mot de passe. Toutes les autres solutions n'empêcheront pas d'avoir un lien vers ces pages quelque part sur un moteur de recherche ou sur un autre site.

Jean-Luc

Spriter
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 9
Enregistré le: 20 Juil 2009

Re: Fichier robots.txt VS balise meta robots

Message le Ven Aoû 27, 2010 23:45

Salut,

Bon merci pour vos réponses, et non ces pages ne sont pas secrètes puisque clairement accessible depuis le site mais disons que ca n'intéresse que les adhérents et surtout c'est une partie en CMS du site avec des URL vraiment pas optimisées et qui font du duplicate content malgré les optimisations d'usage (c'est connu sur ce CMS) alors plutôt que de bousiller mon référencement pour une partie du site qui n'intéresse pas grand monde, je voulais pas que les moteurs aillent dessus voila.

Mais c'est bon entre temps j'ai pu mettre en cohérences les méta sur noindex,nofollow :D !

tutela
WRInaute discret
WRInaute discret
 
Messages: 55
Enregistré le: 28 Avr 2009

Re: Fichier robots.txt VS balise meta robots

Message le Dim Oct 24, 2010 10:47

Bonjour,

Est-ce que le fichier robots.txt a une grosse influence sur le référencement.

Le fait de laisser celui de base, ou d'ajouter des paramètres aide, ou ne sert à rien comme quasiment les balises méta.

Merci

Fred
http://www.melocafe.fr


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :