google ne respecte pas noindex et les consignes du robot.txt
8 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
google ne respecte pas noindex et les consignes du robot.txt
C'est vraiment pénible ça ! je vient de publier 4 sites sur des thématiques différentes (donc des nouveaux sites) et je constate que des url appartenant à des dossiers précisés dans le robot.txt ou comportant des balises noindex, nofolow, noarchive sont systématiquement indexé...
J'ai constaté cela à de nombreuse reprises (je veux dire sur de nombreux sites)
Par exemple :
User-agent: *
Disallow: /noindex/
http://www.google.fr/search?sourceid=na ... hats%2Enet
C'est casse pied : ça fait plein de pages duplicate !
QQ a t il une solution ?
1 - pour supprimer les pages indexées
2 - éviter que cela se reproduise
Merci de toute aide sur le sujet
J'ai constaté cela à de nombreuse reprises (je veux dire sur de nombreux sites)
Par exemple :
User-agent: *
Disallow: /noindex/
http://www.google.fr/search?sourceid=na ... hats%2Enet
C'est casse pied : ça fait plein de pages duplicate !
QQ a t il une solution ?
1 - pour supprimer les pages indexées
2 - éviter que cela se reproduise
Merci de toute aide sur le sujet
-

echanges-liens - WRInaute impliqué

- Messages: 351
- Inscription: Ven Aoû 26, 2005 15:03
Je confirme et je suis très intéressé aussi par une solution (nous avons tout tenté y compris : <META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW"> et cela, sans résultat...)
- csangouard
- WRInaute discret

- Messages: 99
- Inscription: Jeu Nov 14, 2002 2:55
Et si simplement, ce que l'on prend tous comme une manifestation du duplicate serait un signal de la part de google qui affirme "hé, je connais cette url, mais je ne touche plus à cette page et ne met pas de description" pour telle ou telle raison: interdiction d'indexation, page dupliquée, page redirigée, etc.
Dans ce cas, on distinguerait indexation d'url et indexation de page. Ce qui voudrait dire que Google joue sur les mots avec sa facheuse habitude de tout indexer.
Dans ce cas, on distinguerait indexation d'url et indexation de page. Ce qui voudrait dire que Google joue sur les mots avec sa facheuse habitude de tout indexer.
effectivement aucune de Tes pages "noindex/" n'ont leur contenu d'indexé...
peut-être que Google fait qd même des requètes HEAD sur ces pages, mais pas de requètes GET...
peut-être que Google fait qd même des requètes HEAD sur ces pages, mais pas de requètes GET...
Re: google ne respecte pas noindex et les consignes du robot
Jaki a écrit:...des dossiers précisés dans le robot.txt ...
...avec un "s" à robotS.txt ça marche mieux...
perso, j'ai aucune page sous robots.txt >> disallow qui n'est indexée.
aucune exp. en matière de noindex,nofollow (je préfère fourrer la bête...)
-

echanges-liens - WRInaute impliqué

- Messages: 351
- Inscription: Ven Aoû 26, 2005 15:03
Bravo, exact. Merci pour l'information.
8 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Contrer une redirection 302 intempestive...
- X-Robots-Tag : directive pour bloquer les robots dans l'entête HTTP : explications
- Des informations sur l'algorithme de Yahoo Search fournies par Priyank Garg
- L'annuaire DMOZ (Open Directory) : www.dmoz.org
- Petit changement pour Slurp (le robot de Yahoo)
- Googlebot, le robot d'indexation de Google
- Outil officiel de suppression de pages de l'index Google
- Sortie officielle de GoogleStats v2.0 !
- Le référencement de pages PHP
- Sortie de GoogleStats v2.01
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Googlebot
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités




le forum