exalead et respect de robots.txt

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

béatrice
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 6
Enregistré le: 1 Fév 2006

exalead et respect de robots.txt

Message le Mer Fév 01, 2006 21:19

Bonjour,
Il semble que le robot d'exalead ne suive pas les directives du fichier robots.txt. En effet il a indexé des fichiers video .wmv qui sont dans un répertoire dont j'ai exclu l'accès à tous les robots (avec une ligne Disallow: /dotclear/videos) car je ne souhaite pas les référencer.
Quelqu'un a-t-il des précisions sur le respect de robots.txt par exalead ?
Merci.

PS : a tout hasard, je viens de rajouter une ligne : Disallow: *.wmv pour voir si cela marche mieux.


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3273
Enregistré le: 3 Mai 2004

Re: exalead et respect de robots.txt

Message le Mer Fév 01, 2006 22:19

béatrice a écrit:Quelqu'un a-t-il des précisions sur le respect de robots.txt par exalead ?
Merci.

PS : a tout hasard, je viens de rajouter une ligne : Disallow: *.wmv pour voir si cela marche mieux.

Exalead prétend respecter le robots.txt.

Quelques précisions sur ce fichier :
1. son rôle est d'interdire la visite de certaines URL;
2. son rôle n'est pas d'interdire l'indexation (c'est différent du point 1);
3. il faut respecter la syntaxe du fichier qui est un peu "vieux jeu".
J'ai résumé tout ça dans un article sur la fonction et le contenu de robots.txt.

A propos des points 1 et 2, s'il y a des liens vers tes .wmv dans d'autres répertoires, Exalead peut très bien les placer dans ses résultats sans jamais avoir "regarder" les vidéos (= visiter le répertoire interdit).

A propos du point 3, ta ligne rajoutée (ton PS) n'est pas conforme au standard.

Jean-Luc

béatrice
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 6
Enregistré le: 1 Fév 2006

Re: exalead et respect de robots.txt

Message le Mer Fév 01, 2006 23:48

Effectivement, j'ai des liens dans d'autres repertoires vers les fichiers videos (en plus des balises object et embed imbriquées, j'ai cru bon de mettre ces fichiers en lien pour firefox).

Si j'écris dans robots.txt et pour chaque video : Disallow: /dotclear/video1.wmv est-ce que cela empecherait l'indexation ? (je crains que non d'après ce que tu me dis)

Je vois bien la difference entre tes points 1 et 2. Mais quand même je ne trouve pas cela logique car, avec ou sans lien, si le repertoire est interdit il ne devrait pas indexer ce qui est dessous.

ExaleadGuy
Officiel Exalead
 
Messages: 127
Enregistré le: 9 Aoû 2005

Message le Lun Fév 06, 2006 10:52

Actuellement, si une page est autorisée par le robots.txt et qu'elle contient des liens audio ou vidéo, nous indexons egalement les liens en question (sans recuperer leur contenu).
En contrepartie, nous placons toujours les liens en contexte : contrairement à nos concurrents, nous mettons en avant la page qui contient les liens plutot que les liens eux memes.
Il est clair que la specification de robots.txt n'est pas claire a la marge. Ce sont nox choix actuels, mais ils peuvent etre amenés a evoluer.

béatrice
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 6
Enregistré le: 1 Fév 2006

Message le Lun Fév 06, 2006 15:09

Merci pour votre réponse;

Pour les vidéos suivantes, j'ai résolu la question en supprimant les liens sur les vidéos (finalement les balises object et embed suffisent à un affichage du MS player aussi bien avec IE qu'avec Firefox);

Neanmoins pour les vidéos déjà indexés, je préférerais qu'Exalead les désindexe car je ne souhaite pas que les gens les ouvrent d'un clic à partir d'un moteur sans passer par le site; de plus je passe beaucoup de temps à les présenter autrement que par l'affichage d'un simple lien, alors cela m'ennuie que d'autres shuntent ce travail. Je ne sais pas si la desindexation est possible;
Mais comme de toute façon j'avais prévu de les changer de répertoire (pour des questions d'organisation du site) cela résoudrait le problème;

J'ai une autre question : il me semble que vous proprosez un fil rss sur mon site ; mais comme je ne connais pas grand chose à la syndication je n'en suis pas sûre; néanmoins une chose est sure, c'est que j'ai volontairement choisi ne ne pas en proposer directement à partir du site et j'ai élagué le code dotclear en conséquence; là encore cela m'ennuie qu'un moteur propose quelque chose que j'ai volontairement shunté; pourriez-vous aussi m'éclairer sur cette question ? Merci.

ExaleadGuy
Officiel Exalead
 
Messages: 127
Enregistré le: 9 Aoû 2005

Message le Lun Fév 06, 2006 16:50

Nous n'avons pas à l'heure actuelle de solutions de desindexation synchrone des liens multimedia, ceux ci seront desindéxés quand la pae sera rafraichie. Nous pouvons seulement desindexer des pages.

Par contre, si j'ai bien lu, vous n'avez pas donné l'url de votre site.

béatrice
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 6
Enregistré le: 1 Fév 2006

Message le Lun Fév 06, 2006 22:08

La suppression des liens devrait donc résoudre la question au prochain passage du robot;

J'ai rajouté le nom du site dans mon profil.


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :