Duplicate content et robots.txt
5 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
- Franck_21Media
- Nouveau WRInaute
- Messages: 27
- Inscription: Ven Fév 15, 2008 9:40
Duplicate content et robots.txt
Bonsoir à tous,
J'ai des pages en duplicate content du type:
http://monsite.com/categorie-page-1-3593-date.html et http://monsite.com/categorie-3593.html
Pour l'instant j'ai bloqué avec robots.txt les URL en *-page-1-*
Du coup j'ai plein d'alertes dans GWT: URL à accès restreint par un fichier robots.txt (11468)
Sachant que le sitemap est propre (il ne contient que la 2ème URL). Ma question est: ai-je bien fait
d'utiliser robots.txt où ne vaut il pas mieux mettre une balise ROBOTS avec un attribut NOINDEX sur les pages en question?
Merci
J'ai des pages en duplicate content du type:
http://monsite.com/categorie-page-1-3593-date.html et http://monsite.com/categorie-3593.html
Pour l'instant j'ai bloqué avec robots.txt les URL en *-page-1-*
Du coup j'ai plein d'alertes dans GWT: URL à accès restreint par un fichier robots.txt (11468)
Sachant que le sitemap est propre (il ne contient que la 2ème URL). Ma question est: ai-je bien fait
Merci
Bonjour,
Il vaut mieux ne pas utiliser robots.txt et faire une redirection 301 des "-page-1-" vers les nouvelles adresses. Dans .htaccess, ça donne:
Si "date" est une date, il faut la remplacer par l'expression rationnelle correspondante.
Jean-Luc
Il vaut mieux ne pas utiliser robots.txt et faire une redirection 301 des "-page-1-" vers les nouvelles adresses. Dans .htaccess, ça donne:
- Code: Tout sélectionner
Options +FollowSymlinks
RewriteEngine on
RewriteRule ^categorie-page-1-([0-9]+)-date\.html http://www.ton_site.com/categorie-$1.html [L,R=301]
Si "date" est une date, il faut la remplacer par l'expression rationnelle correspondante.
Jean-Luc
Question interessante puisque l'on peut être amené pour plusieurs raisons à avoir du duplicate content: présentation et trie de la page différente, présentation dans un sous domaine etc etc ...
Il est à priori suffisant de l'inclure au robots.txt, perso je le met plutôt dans les metas pour des soucis de discretion le robots.txt étant un plan lisible en 1 coup d'oeil.
Il est à priori suffisant de l'inclure au robots.txt, perso je le met plutôt dans les metas pour des soucis de discretion le robots.txt étant un plan lisible en 1 coup d'oeil.
-

Basket4Life - WRInaute occasionnel

- Messages: 108
- Inscription: Mar Déc 28, 2004 20:49
Re: Duplicate content et robots.txt
Franck_21Media a écrit:Bonsoir à tous,
J'ai des pages en duplicate content du type:
http://monsite.com/categorie-page-1-3593-date.html et http://monsite.com/categorie-3593.html
Pour l'instant j'ai bloqué avec robots.txt les URL en *-page-1-*
Du coup j'ai plein d'alertes dans GWT: URL à accès restreint par un fichier robots.txt (11468)
Sachant que le sitemap est propre (il ne contient que la 2ème URL). Ma question est: ai-je bien faitd'utiliser robots.txt où ne vaut il pas mieux mettre une balise ROBOTS avec un attribut NOINDEX sur les pages en question?
J'ai le même soucis.
Comment as tu écris ces pages dans ton robot pour éviter leur indexation ? Tu mets des * ? Ca passe les * dans un robots.txt ?
Merci
- Franck_21Media
- Nouveau WRInaute
- Messages: 27
- Inscription: Ven Fév 15, 2008 9:40
Merci JeanLuc En effet la méthode la plus élégante est bien de supprimer le duplicate content en jouant avec l'URL rewriting même si c'est un peu plus compliqué, au final c'est beaucoup plus propre. Merci
Basket4Life dans mon robots.txt j'ai la ligne
Disallow: /*-categorie-page-1-*
Et cela marche très bien vu le nombre d'alerte remontée dans GWT
Basket4Life dans mon robots.txt j'ai la ligne
Disallow: /*-categorie-page-1-*
Et cela marche très bien vu le nombre d'alerte remontée dans GWT
5 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Comment éviter les contenus dupliqués (avec/sans le www)
- La balise meta NOYDIR de Yahoo
- Affichage de la description DMOZ dans MSN Search
- Sortie de GoogleStats v2.01
- Affichage de la description DMOZ dans Google
- Actualités du moteur d'Orange (Voila.fr et lemoteur.fr)
- Les crawlers de Yahoo!
- Comment faire ignorer des zones de page pour Yahoo (robots-nocontent)
- Optimiser le référencement d'un blog Dotclear : balises TITLE et META
- link rel=canonical pour réduire les contenus dupliqués
- Détection de pages dupliquées
Cet outil vous permet de calculer la similarité entre 2 pages web. L'algorithme utilisé repose sur l'analyse des occurrences des mots (mais pas sur leur positionnement dans les pages). Google utilise cette notion à certains endroits dans son algorithme, mais de façon bien plus évoluée que ce petit outil... Avoir des pages trop similaires peut entraîner des problèmes d'indexation... Cet outil vous permettra peut-être de résoudre certains problèmes de contenus dupliqués.
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



le forum