Demander à Google d'ignorer une/des section(s) d'une page

[hibou57]

Demander à Google d'ignorer une/des section(s) d'une page

Motivations
Bien sûr, chacun/e d'entre nous souhaitons voir le maximum de contenu de nos pages indéxé. Mais il arrive cependant qu'il soit mal venu que certains extraits de page apparaissent dans les résultats de recherche.

Un exemple de ce que l'on peut souhaiter voir ignorer : vous avez sur chacune de vos page, un petite liste déroulante permettant de selectionner le style d'affichage (pour permettre aux internautes de modifier la couleur de fond des pages, et ainsi faciliter la lecture). Votre liste déroulante contiendra des étiquettes, qui seront interprétées par Google comme du texte, et les extraits de pages produit par Google contiendront par exemple des liste de mots comme "Fond noir fond pastel ....", etc. Ce type d'extraits ne résume que trés mal le contenu de la page, et peut même vu depuis les résultats de recherche, donner du site une impression de brouillon ou de fouilli (trés préjuciable).

Deux méthodes différentes
Il existe pour se faire, deux méthodes différentes. L'une plutôt indépendante dans l'esprit, et proposée par le petit Yahoo, et l'autre plus propriétaire dans l'esprit, et proposée par l'enorme Google.

Le standard proposé par Yahoo :
A cette fin, Yahoo avait eu une trés bonne idée, en proposant un standard indépendant de tout moteur de recherche. Cette solution consistait en une classe CSS spéciale : "class="robots-nocontent" ( voir à ce sujet www.ysearchblog.com/archives/000444.html ). Tous les éléments HTML disposant de cette classe spéciale, devaient se voir ainsi ignorés par les moteurs de recherche.

Code: Tout sélectionner

<!-- Exemple -->
<div class="robots-nocontent">
   ... contenu à être ignorer par les moteurs de recherche ...
</div>


Notez que vous pouvez appliquer cette classe CSS autre chose que des éléments DIV (le DIV n'est ici qu'un exemple). Cela n'empêche pas d'ailleurs non-plus de continuer à utiliser les classes CSS naturellement sur le même élément, puisque HTML permet de donner plusieurs classes à un élément, en les listant séparés par au moins un espace (ex. class="maclasse1 maclasse2 ...").

La méthode imposée par Google
Malheureusement, Google n'a jamais jugé bon de suivre cette suggestion trés interessante, pretextant que trop peu d'internautes suive la directive de Yahoo (selon que vous soyez puissant ou misérable, etc, etc), et plutôt que d'aider Yahoo à diffuser cette bonne idée, a préféré proposer son propre standard, explicitement reservé au moteur Google, comme nous allons le voir.

Penchons nous maintenant sur la solution de Google :
Là ou Yahoo propose une classe CSS, Google propose un commentaire HTML. Précisement, pour demander à Google d'ignorer une section de contenu, il faudra placer cette section entre deux

Code: Tout sélectionner

<!--google_ad_section_start(weight=ignore)-->
... contenu à ignorer ...
<!--google_ad_section_end-->


Putting it all together (mettre tout ça ensemble)
Mais alors, est-on obliger de suivre le prosélitisme de Google (qui fait explicitement afficher dans son dans le code) en la matière ?

Non, et si vous souhaitez ne pas particulièrement soutenir Google, tout en étant compatible avec son standard "propriétaire", vous pouvez cumuler les deux standard dans le même code.

Exemple :

Code: Tout sélectionner

<div class="robots-nocontent">
   <!--google_ad_section_start(weight=ignore)-->
      ... contenu à être ignorer par les moteurs de recherche ...
   <!--google_ad_section_end-->
</div>


Cette méthode respecte les deux standards.

Avantages et inconvénients des deux méthodes
Même si vous n'avez rien contre Google, les esprits perspicaces auront sans doutes remarqué, qu'entre outre de faire afficher son nom dans le source des pages, la méthode de Google souffre d'un défaut technique : elle ne permet par la récursivité. Si vos pages sont générés par des applications CGI, sur la base d'un algorithme recursif par exemple, alors la méthode de Google ne peut pas être utilsé, alors que celle de Yahoo le peut.

Il sera tout fait possible, en utilisant le standard proposé par Yahoo, de faire par exemple :

Code: Tout sélectionner

<!-- Exemple -->
<div class="robots-nocontent">
   <p class="robots-nocontent">
      ... contenu à être ignorer par les moteurs de recherche ...
   </p>
</div>


Tandis que le code imposé par Google posera quelques problèmes dans les mêmes circonstances (car nécésssairement linéaire).

Vous devrez donc au besoin, soit choisir d'ignorer la méthode Google, soit modifier vos algorithme de générations de contenu HTML.

Bilan
Dans la majorité des cas cependant, la méthode imposée par Google, et le standard proposé par Yahoo, pourront parfaitement cohabiter.

[jcaron]

Code: Tout sélectionner

<!--google_ad_section_start(weight=ignore)-->
... contenu à ignorer ...
<!--google_ad_section_end-->


C'est documenté ou démontré quelque part que ça marche avec le robot d'indexation ça? A ma connaissance c'était prévu pour Adsense uniquement à la base, ça a été étendu au reste?

Jacques.

[hibou57]

D'où le "_ad_" oui, mais apparement ça marche pour le moteur aussi (ça avait été discuter sur le forum officiel de AdSense).

La question m'est revenu à l'esprit, en allant voir par curiosité (suite à un précédent fil), comment certaines de mes pages apparaissaient dans les résultats de recherche. Et je me suis aperçu que partout où je n'avais pas utilisé le code Google, il avait du parasitage dans les extrait affichés dans les résultats de recherche.

Alors j'ai tendance à supposer effectivement que c'est reconnu par le robot du moteur de recherche, de la même manière que par celui du robot de AdSense. De toute façon les deux moteurs sont liés, puisque qu'il m'est arrivé de lire de source assez fiable (AwkEyes) que le moteur de Google AdSense sert parfois de cache au moteur de Google Search.

Faudra que je retrouve ce que j'avais vu à ce sujet dans l'aide de Google (à moins que quelqu'un/e ne soit plus rapide).

Par contre, si effectivement il se confirmait que ça ne fonctionne pas formellement avec Google, avec ce serait un argument de plus en la faveur du vénérable Yahoo.

[C!d]

deux autres méthodes pour qu'un texte ne soit pas pris en compte :

(1) l'afficher dans une image (inconvénient: moins facile à mettre à jour)

(2) le générer en javascript (inconvénient: certains internautes désactivent le javascript)

[theJB]

Pour info, Mat Cutt indique explicitement qu'on peut cloaker nos pages si c'est pour aider google à bien indexer leur contenu.

[hibou57]

Pour info, Mat Cutt indique explicitement qu'on peut cloaker nos pages si c'est pour aider google à bien indexer leur contenu.

Interessant, ça doit être trés interessant et même surtout trés drôle à lire ça Tu as un lien ?

Mais cela pose tout de même trois problèmes
1) produire deux formes différentes d'une même page (mais ce n'est pas le plus grand problème)
2) la detection du moteur de recherche n'est pas garantie, car même Google se cache, pour justement detecter le cloaking.
3) cela produit une incohérence entre la version en cache à laquelle peuvent accéder les internautes, et la version réelles à laquelles les internautes peuvent accéder aussitôt aprés.

Bref, ... ça sent l'usine à gaz

[frangolacci]

Pour info, Mat Cutt indique explicitement qu'on peut cloaker nos pages si c'est pour aider google à bien indexer leur contenu.

c'est ce que fait ipb par défaut sur ses forums : il vire les signatures lors du passage de googlebot ,ce qui est une bonne chose, les signatures sur les forum sont une source évidente de duplicat... surtout sur les forum féminin (grossesse, régime)... des posts très courts, beaucoup de smilies et une longue signature

Mais cela pose tout de même trois problèmes
1) produire deux formes différentes d'une même page (mais ce n'est pas le plus grand problème)
2) la detection du moteur de recherche n'est pas garantie, car même Google se cache, pour justement detecter le cloaking.
3) cela produit une incohérence entre la version en cache à laquelle peuvent accéder les internautes, et la version réelles à laquelles les internautes peuvent accéder aussitôt aprés.

Bref, ... ça sent l'usine à gaz

Je ne pense pas que le cloacking qui consiste à retirer une partie du contenu de sa page soit sanctionné par google, au contraire ça aurait plutôt tendance à aider le moteur (d'ailleurs comme l'a préciser C!d il suffit d'utiliser javascript pour obtenir le même résultat). Le cloacking frauduleux (...pour google) c'est celui qui rajoute du contenu ou des liens.

[hibou57]

Quoi, qu'est-ce qu'ils ont sur ce point les forum féminins ? Je ne pense pas qu'ils aient le monopole des longues signatures et des post de 3 mots (hé, pas tapper sur le moineau, merci)

A part ça, je comprend ce que tu veux dire, mais personellement je pense que la compatibilité avec les nanvigateur désactivant JavaScript n'est pas à négliger (et pour le cloacking, c'est trop lourd pour les hobbistes)

Et de toutes manières, ça ne répond pas au trois points précédents, et l'utilisation d'une marque spéciale pour indiquer qu'un contenu doit être ignoré est quand-même plus simple, et surtout plus utilisable par tout le monde, et si Google ne suit pas, beh tant-pis pour lui, et c'est pas lui qui va encore empêcher le web d'avancer (parce que le clocaking.... déjà qu'on ne peut pas être certain de la detection d'un robot même avec Google)

Puis pour aller plus loin, c'est sans même encore parler des robots d'archivage, auxquels on souhaiterait plutôt envoyer le contenu entier et non-altéré. Alors même s'il existe des moyens (faillibles) de detecter un robot (en detectant l'acces au fichier robots.txt par exemple), il faudrait encore savoir distinguer les robots de recherche des robots d'archivage... et les robots de recherche d'image peuvent encore être un autre cas particulier.

Vraiment le cloacking, c'est une usine à gaz (et en plus ça changerait tout le temps).

[C!d]

encore une autre méthode :

le texte peut être mis sur une page à part qui sera affichée dans un <IFRAME> et on bloque le référencement de cette page dans le robots.txt

[manHa]

Merci beaucoup pour l'information qui s'avère ma foi très utile.

[cardoule]

Existe-t-il quelque part un mode d'emploi plus détaillé du tag google_ad_section ?
Car je ne le connaissait que dans le cadre des adsenses, sous sa forme de base :

Code: Tout sélectionner

<!-- google_ad_section_start -->
<!-- google_ad_section_end -->

le "(weight=ignore)" est-il le seul attribut que l'on puisse lui adjoindre ?

[hibou57]

Existe-t-il quelque part un mode d'emploi plus détaillé du tag google_ad_section ?
Car je ne le connaissait que dans le cadre des adsenses, sous sa forme de base :

Code: Tout sélectionner

<!-- google_ad_section_start -->
<!-- google_ad_section_end -->

le "(weight=ignore)" est-il le seul attribut que l'on puisse lui adjoindre ?

A ma connaissance oui, et la forme sans "attribut" équivaut à dire qu'on souligne la section

Voir à ce sujet, la référence correspondante dans l'aide de Google :
-https://www.google.com/adsense/support/bin/answer.py?hl=fr&answer=23168

Mais la forme la plus claire reste quand-même celle de Yahoo, surtout d'abord parce qu'elle s'applique explictement à toute les pages, tandis que Google ne documente son code que relativement à AdSense.

D'ailleurs ça me fait penser que je vais aller de ce pas demander à Exalead s'ils prennent en charge le standard de Yahoo et/ou de Google (oui, oui, Exalead répond aux questions qu'on lui pose )

[Leonick]

D'ailleurs ça me fait penser que je vais aller de ce pas demander à Exalead s'ils prennent en charge le standard de Yahoo et/ou de Google (oui, oui, Exalead répond aux questions qu'on lui pose )

exalead, c'est les visiteurs qu'ils ignorent

[hibou57]

exalead, c'est les visiteurs qu'ils ignorent

Même si ce n'est pas le sujet du fil, que veux-tu dire ? Quelle mauvaise expérience as-tu connu avec notre chèr Exa ?

Peut-être y at-il une solution au problème, si tu veux raconter...

[Leonick]

ce n'est pas une mauvaise expérience, c'est juste que les visiteurs je les attend encore de sa part. J'ai plus de visites en provenance de google, même avec un lien en 4 ou 5° page qu'en étant 1° ou 2° de la 1° page de exalead.
Donc quand il m'enverra des visiteurs, je le reconsidèrerais autrement