Interdire tous les robots sauf quelques uns

Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics

El Bono
WRInaute discret
WRInaute discret
 
Messages: 90
Inscription: Mer Sep 01, 2004 10:02

Interdire tous les robots sauf quelques uns

Message le Lun Avr 14, 2008 16:00

Ca y est, je craque ! J'en ai assez, j'en peux plus...

Je m'explique : mon site contient une base de données d'environ 4000 entrées constamment remis à jour (plusieurs fois par jour) avec des enregistrements ajoutés et/ou supprimés (plus de 200 par jour).

Cette BDD représente un enjeux commercial pour plusieurs sociétés. Des petits malins ont recemment eu la bonne idée de "pomper" (indexer) mon site plusieurs fois par jour pour rapatrier les données dans leur propre index. Je ne connais evidemment pas les technologies utilisées... mais ca tire beaucoup sur ma bande passante parce que c'est fait en général en plein milieu de l'après midi !

Je voudrais savoir :
1. s'il est possible d'interdire ces indexations sauvage au moyens de robots.txt (je ne connais pas la technologie utilisée par les "pompeurs") ?
2. si oui, comment parmétreriez-vous le contenu de robots.txt sachant que je ne désire que l'indexation de Google, Yahoo et MSN et que je veux me prémunir de n'importe quel autre Bot ?

J'avais pensé à quelque chose comme ça :
Code: Tout sélectionner
User-Agent: Googlebot
Disallow :
User-Agent: Slurp
Disallow :
User-Agent: MSNBot
Disallow :
User-Agent: *
Disallow: /


webmasterlamogere
WRInaute accro
WRInaute accro
 
Messages: 1874
Inscription: Dim Déc 17, 2006 21:08

Message le Lun Avr 14, 2008 16:14

c'est surement pas par le fichier robots.txt que tu va bloquer des voleurs de contenu : il ne le consulte surement pas. il faut passer par un fichier .htaccess
il faut regarder tes log pour déterminer l'adresse IP des serveurs qui récupèrent le contenu et les bloquer.
le risque est qu'ils changent d'ip une fois démasqués.


webmasterlamogere
WRInaute accro
WRInaute accro
 
Messages: 1874
Inscription: Dim Déc 17, 2006 21:08

Message le Lun Avr 14, 2008 16:25


El Bono
WRInaute discret
WRInaute discret
 
Messages: 90
Inscription: Mer Sep 01, 2004 10:02

Message le Lun Avr 14, 2008 16:29

Merci webmasterlamogere.

Ton lien est très interessant et je vais utiliser cette méthode qui me parait excellente.

Mais j'ai oublié de préciser que je souhaitais aussi interdire le robot de Voila qui revient lui aussi x fois par jour !!


medium69
WRInaute accro
WRInaute accro
 
Messages: 2182
Inscription: Sam Mai 07, 2005 9:36

Message le Mar Avr 15, 2008 6:32

un truc dans ce genre alors :

Code: Tout sélectionner
# ---------------------------------------------
# Blocage des aspirateurs et de certains robots
# ---------------------------------------------
RewriteCond %{REQUEST_URI} !^/robots.txt
RewriteCond %{REQUEST_URI} !^/sitemap.xml
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} libwww-perl [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ImageWalker [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ShopWiki [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Twiceler-0.9 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} VoilaBot [NC,OR]
RewriteCond %{HTTP_REFERER} http://(www.)?127.0.0.1* [NC,OR]
RewriteCond %{HTTP_REFERER} http://(www.)?example.com*
RewriteRule ^.*$ - [NC,F,L]

El Bono
WRInaute discret
WRInaute discret
 
Messages: 90
Inscription: Mer Sep 01, 2004 10:02

Message le Mar Avr 15, 2008 8:11

Merci Medium 69.


medium69
WRInaute accro
WRInaute accro
 
Messages: 2182
Inscription: Sam Mai 07, 2005 9:36

Message le Mar Avr 15, 2008 11:18

Le bout de script que je te donne autorise tout le monde à lire le robots.txt, le sitemap, mais interdit tout le reste.

soit par le user agent pour les robot indésirable... ou ceux qui génère trop de 404 (voila par exemple).
soit par le referer pour interdire les indésirables


Formation recommandée sur ce thème :

Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités