Faut-il interdire certains robots ?


easy_zik
WRInaute impliqué
WRInaute impliqué
 
Messages: 408
Inscription: Lun Juil 07, 2003 9:30

Faut-il interdire certains robots ?

Message le Mar Mai 17, 2005 13:46

J'ai remarqué que beaucoup de robots exotiques scrutaient mon site pour au final ne m'apporter aucune visite.
Cela est il selon vous judicieux de banir ces robots via le fichier "robots.txt" ou ".htaccess" ??

J'ai le cas aussi avec le robot de MSN qui pompe 5 fois plus de pages que Google !! Mais ses visiteurs se fond extrêmement rare...
Quel est votre avis la dessus ?


Ohax
WRInaute accro
WRInaute accro
 
Messages: 6392
Inscription: Lun Juil 05, 2004 13:30

Message le Mar Mai 17, 2005 13:55

ça depent de ta politique, ton hebergemment, ...

pour ma part je suis trés restrictif : http://www.adojeunz.com/robots.txt

le bannissemment le plus efficace reste malgrès tout le htaccess

French Fred
WRInaute impliqué
WRInaute impliqué
 
Messages: 265
Inscription: Jeu Fév 12, 2004 18:19

Message le Mar Mai 17, 2005 14:41

Question: Pourquoi bannir certains robots ?

1/ utilisation de la bande passante exessif ?
2/ aucun, voire tres peu de visiteurs des moteurs ?
...
Ohax a écrit:ça depent de ta politique, ton hebergemment, ...


Certe vous ne recevez pas de visiteurs mais il est probable que les moteurs via leurs robots peuvent vous apporter des backlinks !!!

Ohax a écrit:le bannissemment le plus efficace reste malgrès tout le htaccess

Effectivement mais une black liste trop longue peut avoir des incidences sur les perfs d'apache !


easy_zik
WRInaute impliqué
WRInaute impliqué
 
Messages: 408
Inscription: Lun Juil 07, 2003 9:30

Message le Mar Mai 17, 2005 17:12

Effectivement, entre perte d'efficacité car blackliste trop longue et ralentissements dus à la bande passante utilisée par ces moteurs, la juste balance n'est pas évidente à faire...

Je pense que je vais en restreindre 1 ou 2 qd même...

pour Ohax, ta ligne :
User-agent: Wget
Disallow: /
M'a bien fait marré :) :) :)

Je sais pas qui va la lire celle là !

Sache aussi que tu peux faire précéder un disalow de plusieurs user agent !
Ca te fait gagner quelques lignes...


Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités