[Stop] Trop d'indexation, il faut arrêter

[L.Jee]

Salut à tous,
Ce matin je souhaitais mettre à jour un site personnel. Je tape donc son adresse dans la barre Firefox, j'oublie le .com et FF me lance une recherche Google. Inutile de préciser que le site sur chacune de ses pages s'est vu infligé dès le lancement un <meta name='robots' content='noindex,nofollow' />. FF me lance donc une recherche via Google et que vois-je en troisième position, mon domaine qui est belle et bien indexé, rendant quelque chose d'invisible aux non initiés visible auprès de tous étant donné que le nom de domaine est un mot générique, GENIAL !

Un petit coup de gueule et aussi pour prévenir d'autres naïfs que Google ne tient compte que de ce qu'il veut...

Bonne journée

[milkiway]

Je l'ai aussi indiqué la semaine dernière. Un de mes sites, indexé malgré un disallow + noindex...

[UsagiYojimbo]

Je reste persuadé que si c'est pour bosser en dev, rien ne vaut un .htaccess (ou un serveur dedié inaccessible hors IP des développeurs).

[L.Jee]

C'est sûr, mais là n'est pas franchement le sujet Je parle bien d'un site en ligne mais non répertorier ou que ce soit en dehors peut-être des bookmarks de certains amis... Je me vois mal mettre un mot de passe pour y accéder c'est anti-fonctionnel...

[HawkEye]

Préfère peut-être les guillemets aux apostrophes dans la syntaxe de ta balise:

Code: Tout sélectionner

<meta name="robots" content="none" />

[L.Jee]

C'est la balise ajoutée automatiquement par WP, je vais mettre celle que tu me donnes, ne sait-on jamais... Merci Hawk

[Haroeris]

Google bafoue régulièrement mon robots.txt également.

[mackloug]

Je remarque aussi que Google ne tient pas compte du robots.txt au moment de l'indexation de la page. Par contre, quelques temps plus tard, il "sort" bien les pages de son index.

On les voit alors apparaître dans les GWT…

J'ai aussi remarqué que parfois je laisse une URL dont j'interdis l'indexation via le robots.txt trainée dans le sitemap. Dans ce cas, il me le signale comme une erreur et semble donné la priorité au sitemap. Mais c'est récent, je n'ai pas le recul pour savoir si d'ici quelques temps elle sera retirée de l'index.

[cedric_g]

À contrario, quand vous passez un site "par accident" en "noindex,nofollow", là il ne vous rate pas...

[1-sponsor]

par ma part
pareille, des dissalow qui ne marche pas... par contre, noindex, nofollow pas de souci, d'ailleurs, ça se désindexe vite une fois que c'est un place...

[L.Jee]

T'as de la chance alors...

[HawkEye]

Google bafoue régulièrement mon robots.txt également.

Moi il m'indique qu'il détecte 50.000 pages "bloquées par robots.txt".

Ces pages sont effectivement bloquées: parce que malgré le fait qu'elles ne sont linkées de nulle part, Google les a tout de même crawlées, et indexées.

En fait, ces URLs étaient visibles dans le code source sous cette forme:

Code: Tout sélectionner

<a href="{url_a_suivre}" OnClick="javascript:window.open('{url_de_tracking}');">anchor</a>

J'ai modifié ce principe de tracking et me suis mis à un peu d'AJAX...

Code: Tout sélectionner

<a href="{url_a_suivre}" OnClick="javascript: track('{int}');">anchor</a>

...où track(int); est une fonction AJAX en GET, placée dans un fichier externe.

eh bien Google va tout de même me crawler plus de 40.000 fois par jour la page track.php?id=int, alors que:

1. celle-ci ne peut être clairement identifiée qu'en exécutant à fond le JS externalisé
2. celle-ci est bloquée par un robots.txt dont le crawl par GoogleBot est antérieur à la mise en service du principe de fonctionnement.

>> Il sait depuis 10 jours qu'il ne doit pas crawler "track.php", mais dès qu'il repère sa présence, il crawl quand même, et de surcroît il renvoie une erreur de type "bloqué par robots.txt".

Gaspillage de ressources (pour eux et pour moi). Pas malin.

[1-sponsor]

Ça fait quelques petits mois qu'il me semble avoir observé que Google interprète maintenant tout le JS ou presque... ou du moins, plus encore qu'on le dit sur les blogs SEO...

Pas cool de crawler quand même maglré les interdictions... :s

[milkiway]

Le moins cool, c'est de voir que la demande de suppression met des plombes! L.Jee, tu as réussi à te faire désindexer ces pages ?

Pour ma part ma version mobile a été indexée par erreur et en plus pile à ce moment là le système a cafouillé... présentant non pas le site mobile mais la version normale. J'ai donc une partie de mon site en DC total.
Suppression demandée mais rien n'y fait.

[L.Jee]

Non tjs indexé