Robots utiles et robots inutiles

Consultez la formation à Google Analytics de WebRankInfo / Ranking Metrics


ricoftb
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 106
Inscription: Mar Fév 20, 2007 22:35

Robots utiles et robots inutiles

Message le Lun Juil 23, 2007 20:37

Qui pourrait me donner une liste (et son .htaccess ou son robots.txt) pour avoir une liste de robots utiles excluant les robots inutiles ?

Evidemment la qualification utile/inutile est très subjective... mais disont que les robots inutiles sont ceux qui s'appellent : je-pompe-ton-contenu-pour-l'agréger-sur-mes-super-sites-made-for adsense-et-je-dit-meme-pas-merci-en-plus-je-bouffe-ta-bande-passante...

voyez le genre...
:evil:

bozoleclown
WRInaute passionné
WRInaute passionné
 
Messages: 893
Inscription: Jeu Nov 24, 2005 19:08

Message le Lun Juil 23, 2007 21:17

les sites qui pompent ton contenu ne regardent pas ton robots.txt et se fondent dans la masse avec un useragent standard

Donc faut bloquer les ip


Leonick
WRInaute accro
WRInaute accro
 
Messages: 12296
Inscription: Dim Aoû 08, 2004 20:24

Message le Sam Aoû 04, 2007 12:53

pour cela, tu fais un lien sur la page d'accueil, qui va envoyer sur une page bloquée dans le robots.txt, et ensuite, tu bloques toutes les ip de ceux qui arrivent sur cette page.
Attente un petit temps, histoire que le robots.txt ait bien été mis à jour sur tous les spiders et tous les DC


Formation recommandée sur ce thème :

Formation Google Analytics : en 2 jours, apprenez comment exploiter l'essentiel des possibilités de l'outil de mesure d'audience de Google. Formation animée par Julien Coquet, expert certifié officiellement par Google Analytics.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités