Refus de google de supprimer une page web ??

tryan · 5 Juillet 2010

Salut,

J'ai demandé le 17 Juin 2010 via les "Outils pour les webmasters" de GG la suppression d'une url qui n'existe plus depuis fort longtemps (changement intégrale du site).
Avant cette demande, j'ai effectué une redirection 301 et vérifié l'entête HTTP (HTTP/1.1 301 Moved Permanently).
Aujourd'hui "GG" m'indique que ma demande a été refusé :

Votre demande a été refusée, car l'administrateur du site n'a pas utilisé le fichier robots.txt ou les balises META destinés à nous empêcher d'indexer ou d'archiver cette page.
...

Je ne vois pas pourquoi j'utiliserais un fichier robots.txt ou des balises META alors que l'ancien site à totalement été supprimé?
Des redirections 301 sont quand même plus appropriés non :?:

aladdin · 5 Juillet 2010

c'est la procédure indiqué dans le support pour supprimer une URL.

il faut ou bien la bloquer avec robots.txt, ou bien ajouter un Meta no index ou encore renvoyer un code 404.

puis signaler ta page dans GWT.

autrement, tant que la page est linkée quelque part, googlebot continuera à la crawlé (normal).

si ta page disparait de tous le web (plus de liens nul part), et que tu utilise un 301, au bout d'un certains temps elle disparaîtra toute seule.

tryan · 5 Juillet 2010

Merci alladin,

Le soucis est que ces anciennes pages (environ 700 quand même) sont linkées depuis un site à la con dont le webmaster est injoignable (rien dans le whois, pas de formulaire de contact).

D'un autre côté, je pensais qu'une redirection 301 indiquait que la page était déplacé de façon permanente au profit d'une autre...il serait donc logique que Google désindexe ces pages de lui même, non ?

aladdin · 5 Juillet 2010

tryan a dit:
D'un autre côté, je pensais qu'une redirection 301 indiquait que la page était déplacé de façon permanente au profit d'une autre...il serait donc logique que Google désindexe ces pages de lui même, non ?

c'est ce que fait google, mais quand il trouve un lien pointant vers cette page, et que ce lien répond, bein il garde la page.
si la redirection 301 est fait ne te soucie pas plus, les visiteurs qui cliquent sur le lien arriveront sur la nouvelle page de toute façon.

tant qu'il y a un lien dans le web vers une page, et que ce lien renvoi un code 2xx ou 3xx, la page est considéré comme existante.

tryan · 5 Juillet 2010

Tu insinues que GG préfère prendre en considération les liens des sites externes pointant vers mes anciennes pages plutôt que de prendre en considération les directives de mon htaccess ??

D'un autre côté, GG me trouve près de 700 pages en 404 depuis le 18 juin 2010 alors qu'elles sont redirigées avec la même méthode ...

Philings · 5 Juillet 2010

tryan a dit:
Tu insinues que GG préfère prendre en considération les liens des sites externes pointant vers mes anciennes pages plutôt que de prendre en considération les directives de mon htaccess ??

Google ne lit pas ton htaccess

Il suit juste les liens qu'il trouve pendant son crawl.

Philippe

tryan · 5 Juillet 2010

Ouai, je me suis mal exprimé ^^. Si il suit vraiment les liens, il se rendrait compte que l'entête HTTP renvoie un jolie 301.. ça y est, ça m'énerve cette histoire :mrgreen:

aladdin · 5 Juillet 2010

d'un coté tu lui dis : cette page a été déplacée
google comprend : je ne suis plus sensé trouver cette page

en crawlant le web il tombe sur le lien vers cette page, lien accessible pour un utilisateur humain
google se dit, puisque c'est une source de visite potentielle, il n'est pas encore temps de la supprimer.

ce qui est tout à fait vrai. c'est comme si tu me montre la page d'un livre qui dit : tournez la page. tout en essayant de me faire croire que cette page que je vois et ou je lis "tournez la page" n'existe pas en réalité

tryan · 5 Juillet 2010

Je comprend mais en même temps je trouve ça "nase"! Si demain j'ai envie de t'enquiquiner, je fais des liens bidons par centaines vers ton site et quoi que tu fasses Google se contentera de ce que moi je lui fournit sans que tu puisse contrer par n'importe qu'elle méthode... c'est un peut gros non ?

Imagine un instant que je conçoit un petit script PHP qui me génère des milliers de liens bidons pointant vers des pages qui n'existe pas et qu'à cela j'ajoute un spam referer de masse sur chacun de ses liens farfelus qui sera pris en considération par Google Analytics ... Goolge voit donc mes liens et te génère des 404 en vrac et en plus ces faux liens génère un faux trafic pour "appuyer" un peut plus le faite que ces pages existes ...
Bon, je suis partit sur une hypothèse un peut tordu mais sur le fond et le principe ça revient grosso modo à ce que tu me dit.

aladdin · 5 Juillet 2010

heuu non, là c'est different, toi ta page elle renvoi un code 301 et non pas 404.
si tu renvoi un code 404 elle disparrait de l'index.

tryan · 6 Juillet 2010

Oui, elles renvoient un code 301 mais GG m'indique tout de même du 404!

en crawlant le web il tombe sur le lien vers cette page, lien accessible pour un utilisateur humain
google se dit, puisque c'est une source de visite potentielle, il n'est pas encore temps de la supprimer.

Mon hypothèse rejoint quand même ce que tu dis puisque si je m'amusais à faire ce genre de truc, GG ferait exactement ce que tu dit..

Bref, ceci dit GG à fait une mise à jour le 5 juil. 2010 et toutes mes redirections ont été prisent en considérations...je n'ai plus une seule erreur 404 :mrgreen: .

Leonick · 6 Juillet 2010

tryan a dit:
Je comprend mais en même temps je trouve ça "nase"! Si demain j'ai envie de t'enquiquiner, je fais des liens bidons par centaines vers ton site et quoi que tu fasses Google se contentera de ce que moi je lui fournit sans que tu puisse contrer par n'importe qu'elle méthode... c'est un peut gros non ?

si de l'autre côté le serveur renvoie un code 200 ou 301 pour toute page inconnue, effectivement gg va indexer ces url.
Une page inexistante doit renvoyer du 404, pas du 200 ou 301

tryan · 7 Juillet 2010

Leonick a dit:
si de l'autre côté le serveur renvoie un code 200 ou 301 pour toute page inconnue, effectivement gg va indexer ces url.
Une page inexistante doit renvoyer du 404, pas du 200 ou 301

Ces pages existaient avant et ont été pour la plupart linkées. Bien qu'elles n'existent plus aujourd'hui, il serait dommage d'envoyer un 404 et de perdre un nombre conséquent de bl, non ?
Sinon, pour envoyer un entête 404 via un rewrite, faut il juste changer le 301 par 404 dans le "flag"?
[L,R=301] -> [L,R=404]

aladdin · 7 Juillet 2010

bein tu vois que tu te contredit, tu dis qu'il serait dommage de renvoyer un code 404 et perdre les visites qui pourraient venir des anciennes URL.
c'est exactement ce raisonnement que google fait.

du moment que ta redirection 301 marche tu t'en fout que l'ancienne url existe toujours

tryan · 7 Juillet 2010

Hargggg, je finis par m'emmêler les neurones tout seul :mrgreen: .

La finalité de cette "embrouille" pour moi est que GG me vire de son index mes anciennes pages non linkées et qu'il redirige celles qu'ils le sont encore.

Question subsidiaire, comment renvoie ton un entête HTTP 404 via une ligne de rewrite du htaccess ?
On change le 301 par 404 dans le "flag" » [L,R=301] par [L,R=404] ?