Faut-il interdire certains robots ?
4 messages • Page 1 sur 1
Faut-il interdire certains robots ?
J'ai remarqué que beaucoup de robots exotiques scrutaient mon site pour au final ne m'apporter aucune visite.
Cela est il selon vous judicieux de banir ces robots via le fichier "robots.txt" ou ".htaccess" ??
J'ai le cas aussi avec le robot de MSN qui pompe 5 fois plus de pages que Google !! Mais ses visiteurs se fond extrêmement rare...
Quel est votre avis la dessus ?
Cela est il selon vous judicieux de banir ces robots via le fichier "robots.txt" ou ".htaccess" ??
J'ai le cas aussi avec le robot de MSN qui pompe 5 fois plus de pages que Google !! Mais ses visiteurs se fond extrêmement rare...
Quel est votre avis la dessus ?
ça depent de ta politique, ton hebergemment, ...
pour ma part je suis trés restrictif : http://www.adojeunz.com/robots.txt
le bannissemment le plus efficace reste malgrès tout le htaccess
pour ma part je suis trés restrictif : http://www.adojeunz.com/robots.txt
le bannissemment le plus efficace reste malgrès tout le htaccess
- French Fred
- WRInaute impliqué

- Messages: 265
- Inscription: Jeu Fév 12, 2004 18:19
Question: Pourquoi bannir certains robots ?
1/ utilisation de la bande passante exessif ?
2/ aucun, voire tres peu de visiteurs des moteurs ?
...
Certe vous ne recevez pas de visiteurs mais il est probable que les moteurs via leurs robots peuvent vous apporter des backlinks !!!
Effectivement mais une black liste trop longue peut avoir des incidences sur les perfs d'apache !
1/ utilisation de la bande passante exessif ?
2/ aucun, voire tres peu de visiteurs des moteurs ?
...
Ohax a écrit:ça depent de ta politique, ton hebergemment, ...
Certe vous ne recevez pas de visiteurs mais il est probable que les moteurs via leurs robots peuvent vous apporter des backlinks !!!
Ohax a écrit:le bannissemment le plus efficace reste malgrès tout le htaccess
Effectivement mais une black liste trop longue peut avoir des incidences sur les perfs d'apache !
Effectivement, entre perte d'efficacité car blackliste trop longue et ralentissements dus à la bande passante utilisée par ces moteurs, la juste balance n'est pas évidente à faire...
Je pense que je vais en restreindre 1 ou 2 qd même...
pour Ohax, ta ligne :
User-agent: Wget
Disallow: /
M'a bien fait marré
Je sais pas qui va la lire celle là !
Sache aussi que tu peux faire précéder un disalow de plusieurs user agent !
Ca te fait gagner quelques lignes...
Je pense que je vais en restreindre 1 ou 2 qd même...
pour Ohax, ta ligne :
User-agent: Wget
Disallow: /
M'a bien fait marré
Je sais pas qui va la lire celle là !
Sache aussi que tu peux faire précéder un disalow de plusieurs user agent !
Ca te fait gagner quelques lignes...
4 messages • Page 1 sur 1
Lectures recommandées sur ce thème :
- La balise meta NOYDIR de Yahoo
- Petit changement pour Slurp (le robot de Yahoo)
- Outil officiel de suppression de pages de l'index Google
- Comment éviter les contenus dupliqués (avec/sans le www)
- Sortie de GoogleStats v2.01
- Les crawlers de Yahoo!
- Les robots MSNbot de Live Search
- Déclarer son fichier sitemap dans le fichier robots.txt
- Robots.txt : Yahoo supporte les options avancées
- Comment gérer simplement les sitemaps de plusieurs sites au même endroit
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



le forum