Robots utiles et robots inutiles

Consultez la formation à Google Analytics de WebRankInfo / Ranking Metrics


ricoftb
WRInaute discret
WRInaute discret
 
Messages: 106
Inscription: 20 Fév 2007

Robots utiles et robots inutiles

Message le Lun Juil 23, 2007 20:37

Qui pourrait me donner une liste (et son .htaccess ou son robots.txt) pour avoir une liste de robots utiles excluant les robots inutiles ?

Evidemment la qualification utile/inutile est très subjective... mais disont que les robots inutiles sont ceux qui s'appellent : je-pompe-ton-contenu-pour-l'agréger-sur-mes-super-sites-made-for adsense-et-je-dit-meme-pas-merci-en-plus-je-bouffe-ta-bande-passante...

voyez le genre...
:evil:

bozoleclown
WRInaute impliqué
WRInaute impliqué
 
Messages: 893
Inscription: 24 Nov 2005

Message le Lun Juil 23, 2007 21:17

les sites qui pompent ton contenu ne regardent pas ton robots.txt et se fondent dans la masse avec un useragent standard

Donc faut bloquer les ip


Leonick
WRInaute accro
WRInaute accro
 
Messages: 18830
Inscription: 8 Aoû 2004

Message le Sam Aoû 04, 2007 12:53

pour cela, tu fais un lien sur la page d'accueil, qui va envoyer sur une page bloquée dans le robots.txt, et ensuite, tu bloques toutes les ip de ceux qui arrivent sur cette page.
Attente un petit temps, histoire que le robots.txt ait bien été mis à jour sur tous les spiders et tous les DC


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation Google Analytics : en 2 jours, apprenez comment exploiter l'essentiel des possibilités de l'outil de mesure d'audience de Google. Formation animée par les experts Google Analytics de Ranking Metrics.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités