Baidu le speeder violent !!!

[Zecat]

Je sais pas si ca fait pareil chez vous mais baidu vient sur mon site rarement disons une fois par semaine ou tous les dix jours mais quand il vient c'est un gros violent qui choppe quelque chose comme 200 pages en 1mn et sa barre aussi vite qu'il était venu !!!!

Dernier épisode 16h42 today.

[eternel]

ben normal, il t'aime pas, t'es pas un chinois

[Zecat]

bo presque ... je suis siamois

[agenceinternet]

mais le truc que je n'ai pas comprit, c'est pas que pour la chine baidu ? Il vient faire quoi sur des sites en francais ? Il veuillent concurrencé Google ?

[mipc]

suivant les conseils de Leonick, me suis débarrasser de BAIDUSPIDER et de JAVA( un aspirateur de site d'après lui) via un mon ROBOTS.TXT et ça marche bien

Code: Tout sélectionner

User-agent: baiduspider
Disallow: /


User-agent: BaiDuSpider
Disallow: /

User-agent: Java
Disallow: /



et ça marche super bien car baidu il passait 40fois par jour, j'ai aucun client en chine, et ne parlant pas un mots de mandarin et autre langue asiatique il m'était difficile d'avoir des client là bas, quant au aspirateur de site qu'ils aille se faire mettre bien profond aussi, nan mais y de l'abus quoi, mon site y 3 page en tout et pour tout et ils font 20 fois le tour du site par jour.


heureusement que j'ai plus de limite de trafic sur mon PACK PRO PERFORMANCE LINUX chez 1AND1

[mipc]

mais le truc que je n'ai pas comprit, c'est pas que pour la chine baidu ? Il vient faire quoi sur des sites en francais ? Il veuillent concurrencé Google ?

apparemment faut croire, ils veulent tenter de:

[Zecat]

suivant les conseils de Leonick, me suis débarrasser de BAIDUSPIDER et de JAVA( un aspirateur de site d'après lui) via un mon ROBOTS.TXT et ça marche bien

Code: Tout sélectionner

User-agent: baiduspider
Disallow: /


User-agent: BaiDuSpider
Disallow: /

User-agent: Java
Disallow: /



Petite question. Quelle différence entre ca et un deny dans le htaccess ? (formation continue of zecat )

[mipc]

suivant les conseils de Leonick, me suis débarrasser de BAIDUSPIDER et de JAVA( un aspirateur de site d'après lui) via un mon ROBOTS.TXT et ça marche bien

Code: Tout sélectionner

User-agent: baiduspider
Disallow: /


User-agent: BaiDuSpider
Disallow: /

User-agent: Java
Disallow: /



Petite question. Quelle différence entre ca et un deny dans le htaccess ? (formation continue of zecat )

à mon avis à la même chose, sauf que c'est ton serveur à toi qui interdit un user agent en particulier, tu peux faire l'un ou l'autre ça revient au même, c'est se que je cherchais à faire au départ, mais Leonick, encore lui m'a fait remarquer que la plus part du temps les robots respectait à la lettre les règles des fichiers robots.txt, et apparemment il avait raison.

en fait:

ROBOTS.TXT: se sont les robots qui vont de leurs propres chef respecter les règles présent dans le fichier, pour peux que ça les concerne ou que le user agent soit le bon

.HTACCESS: c'est ton serveur à toi, qui ne répondra pas à la requête du robot en fonction de sont user agent fait parti de la liste deny, c'est une sorte de deny of service en fonction des user agent sur un liste précise de robots, si les nom user agent des robots sont dans la liste deny de ton fichier .HTACCESS alors ton serveur ne leur répondra rien.

[Alaindeloin]

le robot JAVA est un aspirateur ??

[mipc]

le robot JAVA est un aspirateur ??

ben d'après sont comportement à la con, et surtout d'après Leonick, et confirmer par les recherches que j'ai fait pour connaitre les user agent des robots de manière à les bloquer, bon là au moins les robots respecte les consignes du ROBOTS.TXT.


ÉDIT: bon je crois que finalement ça va quand même se finir en .HTACCESS parce que les robots Java recommence:

http://www.coinduwebmaster.com/bloquer-spambots-aspirateurs-user-agent ... access/66/

Code: Tout sélectionner

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Java [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*aspirateur* [NC]
RewriteRule .* - [F]


Code: Tout sélectionner

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} .*Atomic\_Email\_Hunter* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*HTTrack* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*Filangy* [OR]
RewriteCond %{HTTP_USER_AGENT} .*BackWeb* [OR]
RewriteCond %{HTTP_USER_AGENT} .*BackStreet* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Bandit* [OR]
RewriteCond %{HTTP_USER_AGENT} .*BatchFTP* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Bullseye* [OR]
RewriteCond %{HTTP_USER_AGENT} .*bumblebee* [OR]
RewriteCond %{HTTP_USER_AGENT} .*capture* [OR]
RewriteCond %{HTTP_USER_AGENT} .*CherryPicker* [OR]
RewriteCond %{HTTP_USER_AGENT} .*CherryPickrElite* [OR]
RewriteCond %{HTTP_USER_AGENT} .*CherryPickerSE* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ChinaClaw* [OR]
RewriteCond %{HTTP_USER_AGENT} .*clipping* [OR]
RewriteCond %{HTTP_USER_AGENT} .*collage* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Collector* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Copier* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*Crescent* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*Download* [OR]
RewriteCond %{HTTP_USER_AGENT} .*eCatch* [OR]
RewriteCond %{HTTP_USER_AGENT} .*EirGrabber* [OR]
RewriteCond %{HTTP_USER_AGENT} .*email* [OR]
RewriteCond %{HTTP_USER_AGENT} .*EmeraldShield* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*FlashGet* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*FlickBot* [OR]
RewriteCond %{HTTP_USER_AGENT} .*FrontPage* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*GetRight* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*GetSmart* [OR]
RewriteCond %{HTTP_USER_AGENT} .*GetWeb* [OR]
RewriteCond %{HTTP_USER_AGENT} .*GetWebPage* [OR]
RewriteCond %{HTTP_USER_AGENT} .*gigabaz* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Go!Zilla* [OR]
RewriteCond %{HTTP_USER_AGENT} .*GornKer* [OR]
RewriteCond %{HTTP_USER_AGENT} .*gotit* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Grabber* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*GrabNet* [OR]
RewriteCond %{HTTP_USER_AGENT} .*hloader* [OR]
RewriteCond %{HTTP_USER_AGENT} .*httpdown* [OR]
RewriteCond %{HTTP_USER_AGENT} .*InterGET* [OR]
RewriteCond %{HTTP_USER_AGENT} .*JustView* [OR]
RewriteCond %{HTTP_USER_AGENT} .*kapere* [OR]
RewriteCond %{HTTP_USER_AGENT} .*larbin* [OR]
RewriteCond %{HTTP_USER_AGENT} .*LeechFTP* [OR]
RewriteCond %{HTTP_USER_AGENT} .*LexiBot* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Missigua* [OR]
RewriteCond %{HTTP_USER_AGENT} .*MSIECrawler* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Vampire* [OR]
RewriteCond %{HTTP_USER_AGENT} .*NetAnts* [OR]
RewriteCond %{HTTP_USER_AGENT} .*NetMechanic* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Openfind* [OR]
RewriteCond %{HTTP_USER_AGENT} .*PageGrabber* [OR]
RewriteCond %{HTTP_USER_AGENT} .*pavuk* [OR]
RewriteCond %{HTTP_USER_AGENT} .*pcBrowser* [OR]
RewriteCond %{HTTP_USER_AGENT} .*PersonaPilot* [OR]
RewriteCond %{HTTP_USER_AGENT} .*PingALink* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Python-urllib* [OR]
RewriteCond %{HTTP_USER_AGENT} .*PycURL* [OR]
RewriteCond %{HTTP_USER_AGENT} .*RealDownload* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Reaper* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Recorder* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ReGet* [OR]
RewriteCond %{HTTP_USER_AGENT} .*replacer* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SearchExpress* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SlySearch* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SmartDownload* [OR]
RewriteCond %{HTTP_USER_AGENT} .*snagger* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Snake* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Stripper* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Sucker* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SuperBot* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SuperHTTP* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Surfbot* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Syntryx* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Teleport* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Telesoft* [OR]
RewriteCond %{HTTP_USER_AGENT} .*NetSpider* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebAuto* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebBandit* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebCapture* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Webclipping* [OR]
RewriteCond %{HTTP_USER_AGENT} .*webcollage* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebCopier* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebEMailExtrac* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebFetch* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebIndexer* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebLeacher* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebMiner* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebMirror* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebReaper* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebSauger* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Website* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Webster* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebStripper* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebWhacker* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebZIP* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Wget* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Whacker* [OR]
RewriteCond %{HTTP_USER_AGENT} .*whizbang* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Xenu*
RewriteRule .* - [F]


GRRRRRRRRR

[Leonick]

ÉDIT: bon je crois que finalement ça va quand même se finir en .HTACCESS parce que les robots Java recommencent

c'est évident, un aspirateur, dont le but est de te pomper ton contenu a pour principe de ne pas tenir compte du robots.txt, c'est comme si à la porte de ta maison, que tu laisses grande ouverte quand tu es absent, tu pensais qu'un écriteau "ne pas rentrer" était suffisant

[Zecat]

allez fait chauffer le deny mpic

[diambar]

Sérieusement parlé est ce que les robots respectent le fichier robots.txt. Je fais plus confiance à htaccess. Qu'en pensez vous ?

[mipc]

Sérieusement parlé est ce que les robots respectent le fichier robots.txt. Je fais plus confiance à htaccess. Qu'en pensez vous ?

non si c'est un aspirateur de site, oui si il s'agit un moteur de recherche!!!!!

juste un constat en passant JAVA semble s'être calmer!!!!!