Faut-il interdire certains robots ?
4 messages
• Page 1 sur 1
-

easy_zik - WRInaute occasionnel

- Messages: 410
- Inscription: 7 Juil 2003
Faut-il interdire certains robots ?
J'ai remarqué que beaucoup de robots exotiques scrutaient mon site pour au final ne m'apporter aucune visite.
Cela est il selon vous judicieux de banir ces robots via le fichier "robots.txt" ou ".htaccess" ??
J'ai le cas aussi avec le robot de MSN qui pompe 5 fois plus de pages que Google !! Mais ses visiteurs se fond extrêmement rare...
Quel est votre avis la dessus ?
Cela est il selon vous judicieux de banir ces robots via le fichier "robots.txt" ou ".htaccess" ??
J'ai le cas aussi avec le robot de MSN qui pompe 5 fois plus de pages que Google !! Mais ses visiteurs se fond extrêmement rare...
Quel est votre avis la dessus ?
-

Ohax - WRInaute accro

- Messages: 6406
- Inscription: 5 Juil 2004
ça depent de ta politique, ton hebergemment, ...
pour ma part je suis trés restrictif : http://www.adojeunz.com/robots.txt
le bannissemment le plus efficace reste malgrès tout le htaccess
pour ma part je suis trés restrictif : http://www.adojeunz.com/robots.txt
le bannissemment le plus efficace reste malgrès tout le htaccess
- French Fred
- WRInaute occasionnel

- Messages: 265
- Inscription: 12 Fév 2004
Question: Pourquoi bannir certains robots ?
1/ utilisation de la bande passante exessif ?
2/ aucun, voire tres peu de visiteurs des moteurs ?
...
Certe vous ne recevez pas de visiteurs mais il est probable que les moteurs via leurs robots peuvent vous apporter des backlinks !!!
Effectivement mais une black liste trop longue peut avoir des incidences sur les perfs d'apache !
1/ utilisation de la bande passante exessif ?
2/ aucun, voire tres peu de visiteurs des moteurs ?
...
Ohax a écrit:ça depent de ta politique, ton hebergemment, ...
Certe vous ne recevez pas de visiteurs mais il est probable que les moteurs via leurs robots peuvent vous apporter des backlinks !!!
Ohax a écrit:le bannissemment le plus efficace reste malgrès tout le htaccess
Effectivement mais une black liste trop longue peut avoir des incidences sur les perfs d'apache !
-

easy_zik - WRInaute occasionnel

- Messages: 410
- Inscription: 7 Juil 2003
Effectivement, entre perte d'efficacité car blackliste trop longue et ralentissements dus à la bande passante utilisée par ces moteurs, la juste balance n'est pas évidente à faire...
Je pense que je vais en restreindre 1 ou 2 qd même...
pour Ohax, ta ligne :
User-agent: Wget
Disallow: /
M'a bien fait marré
Je sais pas qui va la lire celle là !
Sache aussi que tu peux faire précéder un disalow de plusieurs user agent !
Ca te fait gagner quelques lignes...
Je pense que je vais en restreindre 1 ou 2 qd même...
pour Ohax, ta ligne :
User-agent: Wget
Disallow: /
M'a bien fait marré
Je sais pas qui va la lire celle là !
Sache aussi que tu peux faire précéder un disalow de plusieurs user agent !
Ca te fait gagner quelques lignes...
4 messages
• Page 1 sur 1
Lectures recommandées sur ce thème :
- Interdire certains robots ? Comment ? Quels robots ?
- Interdire aspirateur et bot via le robots.txt
- Robots.txt interdire une url dynamique
- robots.txt : interdire tout sauf la racine
- interdire un dossier sans htaccess no robots.txt ?
- Interdire le passage des robots avec googlestats
- Interdire des pages dynamiques dans robots.txt
- Interdire tous les robots sauf quelques uns
- Robots.txt : interdire une partie de mon site
- robots.txt et url rewriting sur phpbb interdire profil
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités
