Google indexe ce que je lui interdit !

[Spriter]

Salut,

J'ai un petit problème, j'ai un site depuis lequel les internautes peuvent télécharger des documents administratifs qui sont des fichiers PDF localisés dans un répertoire à part sur mon serveur. De même, les animations flash qui changent régulièrement sur mon site sont également rangées dans un répertoire spécifique.

Comme je ne souhaite pas que les moteurs indexent mes documents PDF ni mes animations flash, j'ai créé un fichier texte "robots" à la racine du site pour interdire l'indexation des répertoires contenant ce que je voulais soustraire de l'indexation. En revanche toutes les pages web contiennent les balises "index" et follow" et il y a un sitemap conforme aux pages que précitées.

Malgré cela, Google indexe mes fichiers PDF et mes animations flash en cliquant sur "relancer la recherche en incluant les pages ignorées" dans les résultats qu'il affiche !

Cela est il normal ? Comment faire pour qu'il ne retourne pas ces contenus même en tant que pages ignorées ?

Merci beaucoup pour votre aide car je tourne en rond .

[dmathieu]

Bonjour Spriter, bienvenue sur WRI.


C'est robots.txt qu'il faut le nommer. Pas robots.
http://www.webrankinfo.com/outils/robots/faq-robots.php

N'hésitez pas à venir vous présenter.

[Spriter]

Hello kazhar,

Oui j'ai parlé un peu vite dans mon message mais mon fichier "robots" est bien nommé "robots.txt" , merci quand même pour ton message !

[nicolas.laruelle]

Les outils webmasters de google devrait te permettre d'analyser ça non ? https://www.google.com/webmasters/tools/home?hl=fr

[jcaron]

Si tu nous indiquais le site (ou au moins le contenu du fichier) ça pourrait aider.

Jacques.

[Spriter]

Ouep pas de soucis , voici le contenu du fichier robots.txt

User-agent: *
Disallow: /formulaire/
Disallow: /media/

Il est bien correct ?

[jcaron]

Ca a l'air, oui.

Le fichier est bien accessible quand tu tapes www.site.tld/robots.txt?

Il a toujours été en place? Tu as testé avec GWT?

Jacques.

[Spriter]

Oui le fichier est à la racine du site et est accessible via http://www.site.com/robots.txt .

En revanche je n'ai pas testé avec GWT, je crois que je vais le faire mais théoriquement je ne comprends pas trop ce qui peut clocher... je me demandais s'il y avait des priorités entre le fichier robots et les métatags des robots sur les pages... pour moi le fichier robots était prioritaire...

Merci Jacques de ton aide

[jcaron]

Tu peux tester avec ça aussi:

http://www.oxado.com/bin/checkpage

Ca te dira si le robots.txt empêche bien l'accès au fichier dont du donnes l'URL.

Jacques.

[Spriter]

Re,

Merci cet outil est génial, apparemment les "links" ne recensent bien que les pages autorisées , par contre je viens de découvrir que certaines pages apparaissent en double dans les links , c'est normal ?

[jcaron]

Les "links" devraient contenir tous les liens présents dans la page, ce n'est qu'en le suivant qu'il te dira s'il est interdit par un robots.txt. Les attributs genre no-follow et tout ça ne sont pas pris en compte.

Et effectivement il n'y a pas de dédoublonnage des liens.

Jacques.