Je veux que Google désindexe mon ancienne url. Comment ?

[effisk]

ok, je vois bien les lurkers se pointer à la lecture du titre pour venir se payer la tête d'un newbie. Que nenni. Lisez bien l'énoncé. Vous allez voir que ce n'est pas si simple.

J'ai déplacé mon site fin août.
Ancienne adresse:
-http://surf-bodyboard.effisk.net
Nouvelle adresse:
-http://www.surf-blog.net

Aujourd'hui, Google continue à indexer mes pages sur l'ancienne URL (http://www.google.com/search?q=site%3Ah ... fisk%2Enet), ce que je ne souhaite pas.

L'ancien et le nouveau site sont hébergés sur le même serveur, c'est en fait un seul et même site. Si je modifie la page d'accueil de l'ancienne url, la même modif apparaîtra sur la page d'accueil de la nouvelle url. c'est le même ftp, les mêmes dossiers et donc les mêmes pages. Le même site quoi.

Pour rediriger de l'ancienne URL vers la nouvelle, j'utilise les lignes suivantes dans mon fichier .htaccess:

Code: Tout sélectionner

RewriteEngine On

RewriteCond %{HTTP_HOST} surf-bodyboard\.effisk\.net(:[0-9]{1,5})?$ [NC]

RewriteRule ^(.*)$ http://www.surf-blog.net/$1 [R=permanent,L]


Ca redirige bien.

Alors pourquoi Google continue-t-il à indexer ces vieilles urls, et comment l'en empêcher. Ca fait "duplicate content".

J'ai visité la page http://www.google.com/webmasters/remove.html mais aucun des outils ne convient à ma situation. Si j'essaye de retirer les pages avec leur outil (http://services.google.com/urlconsole/controller), ça ne fonctionne pas puisque les pages "existent toujours".

J'ai pensé un instant effacer le fichier index.php et le .htaccess de mon serveur le temps de faire la manip avec l'outil de google, mais cela marcherait-il ?

Bien entendu, je ne peux pas utiliser de balises meta ou robots.txt puisque cela s'appliquerait aussi à la nouvelle url qui doit rester indexable dans google.

J'ai écrit et ré-écrit à Google qui m'a bien gentiment renvoyé un mail formaté sans plus m'aider. Normal je suppose, ils ont d'autres chats à fouetter.

Des idées ?

[gripsous]

Faire une redir 301 de tes anciennes pages vers tes nouvelles et cela sera fait en un rien de temps.

La tu reécris avec ton système tu ne redirige pas..nuance. L'ancienne page existe toujours. Hors avec la redir 301 google par du principe que l'ancienne n'existe plus

Google Speeeed

[effisk]

Faire une redir 301 de tes ancienens pages vers tes nouvelles et cela sera fait en un rien de temps.
Google Speeeed

tu veux pas plutôt lire mon message ?

Premier lurker pris au filet.

[tom_sawyer]

à ta place je ne me ferais pas trop de soucis
Google met parfois longtemps à effacer certaines pages. Elles n'ont plus de cache contrairement à celles indexées sur ton nouveau domaine donc ça devrait rouler.

[tom_sawyer]

au passage j'adore tes 404
-http://www.surf-blog.net/robots.txt

[Leonick]

Bien entendu, je ne peux pas utiliser de balises meta ou robots.txt puisque cela s'appliquerait aussi à la nouvelle url qui doit rester indexable dans google.

Ben si, ça ne pose aucun problème
Il suffit d'utiliser la variable $_SERVER["SERVER_NAME"] qui selon le site d'origine mettra ou non les META kivonbien et de même pour le robots.txt

[effisk]

Faire une redir 301 de tes anciennes pages vers tes nouvelles et cela sera fait en un rien de temps.

La tu reécris avec ton système tu ne redirige pas..nuance. L'ancienne page existe toujours. Hors avec la redir 301 google par du principe que l'ancienne n'existe plus

Google Speeeed

ahahah ! Tu as beau éditer ton message d'origine, tu ne t'en sortira pas comme ça !

Si je contrôle le header renvoyé par -http://surf-bodyboard.effisk.net (chose que j'ai bien entendu contrôlée dès la mise en place du .htaccess), voici ce que j'obtiens :

Code: Tout sélectionner

#1 Server Response: http://surf-bodyboard.effisk.net
HTTP Status Code: HTTP/1.1 301 Moved Permanently
Date: Wed, 23 Nov 2005 18:24:24 GMT
Server: Apache
Location: http://www.surf-blog.net/
Connection: close
Content-Type: text/html; charset=iso-8859-1
Redirect Target: http://www.surf-blog.net/

#2 Server Response: http://www.surf-blog.net/
HTTP Status Code: HTTP/1.1 200 OK
Date: Wed, 23 Nov 2005 18:24:25 GMT
Server: Apache
Vary: Host
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Pragma: no-cache
X-Powered-By: PHP/4.3.10
Set-Cookie: PHPSESSID=b65c28f7f79bf9aa8e51657bc7567992; expires=Wed, 23-Nov-05 19:24:25 GMT
Content-Type: text/html; charset=ISO-8859-1
X-Cache: MISS from www.surf-blog.net
Connection: close

Une autre petite édition de ton message est à prévoir...

[effisk]

au passage j'adore tes 404
-http://www.surf-blog.net/robots.txt

[effisk]

Bien entendu, je ne peux pas utiliser de balises meta ou robots.txt puisque cela s'appliquerait aussi à la nouvelle url qui doit rester indexable dans google.

Ben si, ça ne pose aucun problème
Il suffit d'utiliser la variable $_SERVER["SERVER_NAME"] qui selon le site d'origine mettra ou non les META kivonbien

Je ne vois pas bien (je ne maîtrise pas bien le php).

et de même pour le robots.txt

Peux-tu m'en dire plus ?

[Leonick]

et de même pour le robots.txt

Peux-tu m'en dire plus ?

En fait, pour le robots.txt, il suffit d'avoir un fichier robots.txt.php

Code: Tout sélectionner

<?php header('Content-Type: text/plain;');
echo "User-agent: *\n";
if ($_SERVER["SERVER_NAME"]=="www.monsitepasbon.com")
  echo "Disallow: /*";
?>


de même, dans les autres pages, si c'est du php, faire le même test et

Code: Tout sélectionner

if ($_SERVER["SERVER_NAME"]=="www.monsitepasbon.com")
   echo "<meta name="robot" content="noindex,nofollow,noarchive" />\n";


[Daktari]

au passage j'adore tes 404

Le prochain message sera, j'ai été exclu de google adsense et je ne sais pas pourquoi .

[effisk]

et de même pour le robots.txt

Peux-tu m'en dire plus ?

En fait, pour le robots.txt, il suffit d'avoir un fichier robots.txt.php

Code: Tout sélectionner

<?php header('Content-Type: text/plain;');
echo "User-agent: *\n";
if ($_SERVER["SERVER_NAME"]=="www.monsitepasbon.com")
  echo "Disallow: /*";
?>


de même, dans les autres pages, si c'est du php, faire le même test et

Code: Tout sélectionner

if ($_SERVER["SERVER_NAME"]=="www.monsitepasbon.com")
   echo "<meta name="robot" content="noindex,nofollow,noarchive" />\n";


ok, je vais essayer ça demain, je n'ai pas le courage ce soir. Merci.

au passage j'adore tes 404

Le prochain message sera, j'ai été exclu de google adsense et je ne sais pas pourquoi .

ouais bôf, je connais plein de sites beaucoup plus importants que le mien qui le font depuis une paye sans avoir jamais eu de problème. Le site de Mitirapa par exemple, et plein d'autres. Peu de risques. D'autant plus qu'il n'existe pas de liens brisés sur mon site aujourd'hui et que s'il s'agit d'une erreur dans une url existante, ce n'est pas la même page d'erreur qui apparaît.
Exemple :
-http://www.surf-blog.net/?2005/11/04/600-pas-de-page-ici

Il est donc hautement improbable de tomber sur la page 404 que tu cites.

[effisk]

Bon finalement je me suis décidé à tester le robots.txt.php en mettant ça dedans :

Code: Tout sélectionner

<?php header('Content-Type: text/plain;');
echo "User-agent: *\n";
if ($_SERVER["SERVER_NAME"]=="surf-bodyboard.effisk.net")
  echo "Disallow: /";
else
  echo "Disallow:";
?>

C'est très bien, ça affiche ce qu'il faut où il faut, mais le souci est que ça l'affiche pour robots.txt.php et pas pour robots.txt

J'ai aussi ajouté ça sur mes pages:

Code: Tout sélectionner

if ($_SERVER["SERVER_NAME"]=="www.monsitepasbon.com")
   echo "<meta name=\"robots\" content=\"noindex,nofollow,noarchive\" />\n";

mais bon, personne ne risque de le voir puisque le .htaccess passe devant avec la redirection 301. J'ai quand même momentanément retiré le .htaccess pour voir, ça marche nickel. Ca ne mange pas de pain, je le laisse.

Donc en bref j'ai dû louper une étape implicite pour le coup du fichier robots.txt.php, comment dois-je me débrouiller pour que ça fonctionne ?

J'ai essayé de coller ça dans le .htaccess :

Code: Tout sélectionner

<Files robots.txt>
ForceType application/x-httpd-php
</Files>

en mettant le contenu de robots.txt.php dans robots.txt sans succès.

[Leonick]

Bon finalement je me suis décidé à tester le robots.txt.php en mettant ça dedans :

Code: Tout sélectionner

<?php header('Content-Type: text/plain;');
echo "User-agent: *\n";
if ($_SERVER["SERVER_NAME"]=="surf-bodyboard.effisk.net")
  echo "Disallow: /";
else
  echo "Disallow:";
?>

C'est très bien, ça affiche ce qu'il faut où il faut, mais le souci est que ça l'affiche pour robots.txt.php et pas pour robots.txt

Ben non, sur mes sites je n'affiche jamais l'extension. donc une page http://www.example.com/toto cherchera (l'ordre je ne sais plus exactement) mais une extension avec du php, du htm, du html voire un répertoire.
Le robots.txt de mon site en signature fonctionne comme cela. C'est un fichier robots.txt.php

[effisk]

Bon finalement je me suis décidé à tester le robots.txt.php en mettant ça dedans :

Code: Tout sélectionner

<?php header('Content-Type: text/plain;');
echo "User-agent: *\n";
if ($_SERVER["SERVER_NAME"]=="surf-bodyboard.effisk.net")
  echo "Disallow: /";
else
  echo "Disallow:";
?>

C'est très bien, ça affiche ce qu'il faut où il faut, mais le souci est que ça l'affiche pour robots.txt.php et pas pour robots.txt

Ben non, sur mes sites je n'affiche jamais l'extension. donc une page http://www.example.com/toto cherchera (l'ordre je ne sais plus exactement) mais une extension avec du php, du htm, du html voire un répertoire.
Le robots.txt de mon site en signature fonctionne comme cela. C'est un fichier robots.txt.php

tu as quelque chose sur ton serveur qui provoque cette recherche, ça ne se fait pas par défaut.
Qu'as-tu dans ton .htaccess ?