Méta-tag "robots"

le Mar Nov 25, 2003 18:14

Bonsoir,

En espèrant que la question n'a pas déjà été posée (La fonction recherche ne m'a pas permise de trouver de réponses précises à ma question).

J'aimerais savoir si l'utilisation de la syntaxe ci-dessous relative à la Meta-Tag "robots" (à placer entre les balises <head> et </head>) permettant d'indiquer aux robots des moteurs de recherche l'indextation ou non d'une page et/ou des liens hypertextes est-elle efficace dans tous les moteurs de recherches (Google, Altavista, Yahoo, etc.)

Code: Tout sélectionner: <meta name="robots" content="noindex, nofollow">

La syntaxe ci-dessus permet par exemple d'indiquer aux robots :
- La page ne sera pas indexée par le robot grace à la valeur "noindex" ;
- Les liens contenus dans la page ne seront pas indexés grace à la valeur "nofollow".

D'ailleurs dans mon exemple, je crois qu'il est aussi possible d'écrire :

Code: Tout sélectionner: <meta name="robots" content="none">

non ?

D'avance merci pour vos réponses.

le Mar Nov 25, 2003 20:30

tu trouveras quelques infos sur http://www.webrankinfo.com/outils/robots/faq_16_0.htm
les robots sont libres de respecter ou non cette balise. Cependant, la plupart des moteurs la respectent (j'avoue ne pas avoir vérifié chaque moteur).
De mémoire, je sais que Google et DeepIndex la respectent. Sans doute aussi tous les moteurs "majeurs".

le Mar Nov 25, 2003 21:24

Bonsoir,

Si j'ai bien compris, on peut aussi utiliser un fichier nommé robots.txt qu'on l'on doit normalement placer dans le répertoire racine du site.

Je prends l'exemple (j'espère que je peux ?) du fichier robots.txt trouvé dans la racine du site Internet http://www.webrankinfo.com/ :

URL : http://www.webrankinfo.com/robots.txt :

User-agent: *
Disallow: /images/
Disallow: /forums/login.php
Disallow: /forums/modcp.php
Disallow: /forums/posting.php
Disallow: /forums/printview.php
Disallow: /forums/privmsg.php
Disallow: /forums/search.php
Disallow: /forums/viewonline.php

User-agent: TurnitinBot
Disallow: /

Dans le fichier robots.txt ci-dessus, tous les robots (*) sauf le robot "TurnitinBot" ont le droit d'indexer tous les répertoires et fichier (/) , sauf le répertoire «images» (Disallow: /images/), et les fichiers login.php, modcp.php, posting.php, printview.php, privmsg.php, search.php et viewonline.php tous contenus dans le répertoires forums.

Est-ce bien ça que ce fichier ordonne aux robots ?

le Mar Nov 25, 2003 21:44

le fichier robots.txt est publique, il est consultable par tous et ne révèle rien de particulier.

la ligne User-agent: * indique qu'elle concerne tous les robots. ce qui suit indique qu'ils n'ont pas le droit d'indexer les pages listées (ou plutôt que ce n'est pas la peine qu'ils le fassent).

ensuite les 2 dernières lignes interdisent au robot TurnitinBot d'indexer quoi que ce soit. Le pb est qu'il ne respecte toujours pas cette directive, alors qu'il annonce officiellement le faire...

le Mer Nov 26, 2003 9:31

Salut,

moi y a un truc qui m'a toujours fait rire a ce sujet, car c'est paradoxal:
Pour pouvoir lire une balise meta robots, les moteurs sont obligé de lire la page web! Sauf qu'il ne l'indexera pas si c'est ce qui est stipulé dans la balise...
C'est aussi ça la différence avec un robots.txt, qui lui est lu avant que le moteur ne crawl une page...

Bref, pour ceux qui ne veulent pas que les moteurs crawl trop souvent leur site pour cause d'économie de bande passante, le robots.txt est bcp plus indiqué...

le Mer Nov 26, 2003 18:29

Salut,

Merci pour ton conseil. Il est vrai qu'il est très intéressant (et même nécessaire) d'économiser de la bande passante, à la fois pour le serveur, mais aussi pour le réseau en général.

Méta-tag "robots"

Méta-tag "robots"

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne