Url Rewriting: Que Google n'indexe pas les Urls d'origines?

hamoudi · 21 Août 2010

Bonjour,

Je viens d'installer un système d'url rewriting pour mon module de publication d'articles.

Je voudrais maintenant que mes urls d'origines ne soient plus accessibles ou que google ne les prennent pas en compte quand il indexe mes pages... Ceci afin d'éviter le Duplicat Content.
Je pense qu'il faut indiquer cela dans le fichier robots.txt mais je ne sais pas ce qu'il faut y mettre.

Mes Urls se présentent comme cela

Pour mes Articles:
Url d'origine: monsite.com/modules/smartsection/item.php?itemid=1
Url Rewritée: monsite.com/mots.item.1/indifferente.htm

Pour mes catégories
Url d'origine: monsite.com/modules/smartsection/category.php?categoryid=1
Url Rewritée: monsite.com/mots.category.1/poemes.html

Que dois-je mettre dans le fichier robots.txt pour inidiquer à Google de ne pas indexer mes urls d'origine?

Merci

Magic33 · 21 Août 2010

Pour supprimer des url indexées par google il existe GWT qui permet de les supprimer.

Sinon l'idéal est de faire une redirection de type 301 des anciennes url vers les bonnes url réécrites. En effet s'il existe des Back Links pointant vers les url anciennes versions et qu'elles restent accessibles sans redirections : il y a risque de Duplicate Content car google continuera à les indexer.

Bon courage.

samsamsam · 21 Août 2010

Si tu es certain d'avoir bien repris tous tes liens qui pointent vers tes articles, tu peux alors utiliser la balise "canonical" pour indiquer aux moteurs quelle est la bonne URL pour chaque page.

hamoudi · 21 Août 2010

Merci pour ces réponses... mais justement c'est le sens de ma question... Je ne sais pas comment mettre en place ces solutions:

Dans Google GWT : quel parametre dois-je indiquer à Google pour qu'il les ignore?

Comment faire une redirection de type 301 des anciennes url vers les bonnes url réécrites?

Comment et ou mettre en place la balise "canonical"?

Merci.

samsamsam · 22 Août 2010

Entre les balise <head> et </head>, tu poses cette balise :
<link rel="canonical" href="http://www.url.com/page.html" /> et le tour est joué.

polweb · 22 Août 2010

Dan le fichier robots.txt tu met :

Disallow: /modules/smartsection/

/modules/smartsection/ étant le répertoire qui contient les pages à url non réécrite.

A plus.

hamoudi · 22 Août 2010

samsamsam a dit:
Entre les balise <head> et </head>, tu poses cette balise :
<link rel="canonical" href="http://www.url.com/page.html" /> et le tour est joué.

Cela veut-il dire que les moteurs de recherche vont seulement prendre en compte mes pages se terminant par .html? Si oui c'est problèmatique car les pages de mes articles se terminent par html (mes catégories en .htm) et j'ai d'autres pages en .php... :roll:

hamoudi · 22 Août 2010

polweb a dit:
Dan le fichier robots.txt tu met :

Disallow: /modules/smartsection/

/modules/smartsection/ étant le répertoire qui contient les pages à url non réécrite.

A plus.

Merci j'y avais pensé mais le problème c'est que la page index de mon module est www.monsite.com/modules/smartsection/ (même pour les urls rewritées) cela va donc aussi exclure ma page index.... :?

polweb · 22 Août 2010

Dans ce cas tu rajoute un Allow.

A plus.

hamoudi · 22 Août 2010

polweb a dit:
Dans ce cas tu rajoute un Allow.

A plus.

C'est à dire (comment doit se présenter le code que je mets dans robots.txt)? Qu'est-ce que veut dire Allow?
Encore merci.

polweb · 22 Août 2010

Tu met cela :

Disallow: /modules/smartsection/
allow: www.monsite.com/modules/smartsection/index.php

A plus.

hamoudi · 22 Août 2010

polweb a dit:
Tu met cela :

Disallow: /modules/smartsection/
allow: http://www.monsite.com/modules/smartsection/index.php

A plus.

Bonjour merci beaucoup pour ton aide et ta disponiblité...

nickargall · 23 Août 2010

Bonjour
Je ne pense pas que bloquer l'indexation des anciennes formes d'URL soit une bonne idée; je pense que tu vas ainsi perdre le "référencement" qu'elles ont emmagasiné. La solution la plus valable pour ton référencement est de coder des redirections 301 en php , pour rediriger les anciennes URL vers leurs nouvelles formes.

hamoudi · 23 Août 2010

nickargall a dit:
Bonjour
Je ne pense pas que bloquer l'indexation des anciennes formes d'URL soit une bonne idée; je pense que tu vas ainsi perdre le "référencement" qu'elles ont emmagasiné. La solution la plus valable pour ton référencement est de coder des redirections 301 en php , pour rediriger les anciennes URL vers leurs nouvelles formes.

Oui c'est vrai... J'étais prêt à faire ce sacrifice...
Peux-tu m'expliquer comment mettre en place ces redirections dans le fichier htaccess (voir le format de mes urls plus haut)?
Merci

nickargall · 23 Août 2010

A priori ce que tu demandes ne peut se régler qu'en PHP (avec la fonction header()), ou alors il te faudra écrire une ligne dans le .htaccess pour chaque cas de figure.

polweb · 23 Août 2010

nickargall a dit:
A priori ce que tu demandes ne peut se régler qu'en PHP (avec la fonction header()), ou alors il te faudra écrire une ligne dans le .htaccess pour chaque cas de figure.

Dans le htaccess il peut terminer sa rewrite rule par un flag [R=301), non ?

hamoudi · 23 Août 2010

nickargall a dit:
A priori ce que tu demandes ne peut se régler qu'en PHP (avec la fonction header()), ou alors il te faudra écrire une ligne dans le .htaccess pour chaque cas de figure.

Oui et bien mes anciennes urls sont en Php cela doit donc être possible avec la fonction header()), mais je ne connais pas cette fonction...

nickargall · 24 Août 2010

@polweb : bien sur il peut écrire des redirections 301 avec la commande rewriterule et le flag R=301, mais ses URL sont dynamiques et si il y en a beaucoup, plutôt que d'écrire 500 règles de redirection, mieux vaut à mon sens bricoler du PHP pour générer ces redirections

@hamoudi : quelques explications sur la fonction php header : https://www.webrankinfo.com/dossiers/debutantsinitiation-aux-redirecti ... pt-serveur

lucky62 · 9 Décembre 2010

J'ai le même problème j'ai fait du rewriting pour changer le nom de mes URL
J'ai le module sh404SEF
je suis sous Joomla et virtuemart
Comment dire à goggle de prendre en compte mes nouvelles URL
Merci de votre aide

pareto · 1 Janvier 2011

oui en effet nickargall en php ça marche impec