Yahoo slurp est un vrai bourrin

[Nix]

<Mode Gueulante="on">
Le nouvel indexeur de yahoo est un vrai bourrin (il va dans tous les sens n'importe comment et ouvre 10 à 20 pages en simultané (voir plus))
Je l'ai banni des mes serveurs
Voilà le résultat de la course à l'indexation, il faudrait leur rappeler que nos sites ne doivent pas être les victimes de leur indexations sauvages.
Ca vaut aussi pour FastSearch cette gueulante c'est le même combat des vrai bourrins.
Au moins Google respecte les sites et arrive à indexer correctement, faudrait qu'ils aillent prendre des cours chez google les ingé de yahoo.
</Mode>

Nan mais on va pas se laisser emmerder non plus

[sietjp]

c'est vrai que certains moteurs ne sont pas des gentlemen mais bon j'aimerais bien que yahoo vienne bourriner chez moi de temps en temps quand même...

[Nix]

Ouais bah si je pouvais, crois moi, je te l'enverrai avec plaisir
Parce que si je le laisse faire il va rester 2 ou 3 semaines en squatte. (j'ai des centaines de milliers de pages sur mes sites)
Et le pire c'est que le bougre continue à essayer d'accéder à mes pages alors que ses ip sont bannis.
Donc en plus il est mal codé ce crawler, un ingé un minimum intéligent demanderait à son bot d'arrêter ses tentatives au bout du 4eme ou 5eme essai, et bah pas chez yahoo on dirait, c'est à croire qu'ils ont été dans la même école que FastSearch...

[blman]

ET PIS MERDE ALORS... ON VA PAS SE LAISSER BOUFFER... C'est la lutte finale... (humour)

[herveG]

on va pas s'laisser ermmerder ! merde, je m'excuse....mais merde !

[BadProcESs]

En plus ce qui n'est pas normal, c'est que je pense que tu as d'abord tenté de le bloqué avec robots.txt et que ca n'a pas marché (donc blacklist ip), je me trompe ? Si c'est le cas, Yahoo est mal barré avec les webmaster...

[Erazor]

c'est vrai que certains moteurs ne sont pas des gentlemen mais bon j'aimerais bien que yahoo vienne bourriner chez moi de temps en temps quand même...

tu ne vas pas etre déçu : il est venu plusieurs fois sur un de mes sites a niffé toutes les pages en x exemplaires ..Bilan ? 1 page indexée sur 50 et c'est pas la meilleure
google s'avale ça sans pb ..

[sietjp]

bon bin je commence à trembler avec vos histoire, j'espère qu'il me repèrera pas a du coup

[come60]

en plus il semblerait qu'il ait quelques problemes avec les sessions :
http://search.yahoo.com/search?p=maheda ... b-t&dups=1

he, yahoo, le lievre et la tortue, tu connais ?

[sietjp]

euh y a une adresse ip 82.64.141.135 qui m'a engloutti plus de 300 pages avec 1 pages toutes les 3 secondes ça serait pas yahoo par hasard?

[Nix]

C:\>ping -a 82.64.141.135

Envoi d'une requête 'ping' sur lns-th2-9-82-64-141-135.adsl.proxad.net [82.64.141.135] avec 32 octets de données :

Non, c'est un user de Free.fr
Les IP de yahoo sont sur 2 rangées je les ai pas sous la main la ou je suis mais je crois que ca commence par 69.

C'est surement un gars qui :
1) Soit kiff ton site à mort
2) Soit qu'il aspire ton site avec un aspirateur de site

Pour la 2eme options, la moins drole, il faut développer des routines pour bannir les aspirateurs, c'est ce que j'ai fait car sinon, ca fait ralentir un max le site (aspiration de user + visiteurs en cours + Indexeur genre google = boom)
J'en banni plus de 100 par jour

Je ne dirais qu'une chose A MORT LES ASPIRATEURS !!!

[sietjp]

le pb c'est de faire la différence entre un aspirateur et un gars qui surfe vite...
quels sont tes critères pour décréter une IP aspirateur?

[Nix]

Oula je pourrais t'en écrire un livre
En fait tu as un tas de trucs à vérifier.

Le truc dans ton cas le plus simple à faire est de vérifier combien de pages à pris l'ip dans un lapse de temps.
Par exemple si une ip a récupéré 40 pages en moins de 1 min même en 2 min (humainement impossible) tu la banni.
Ca c'est la 1ere étape et la plus simple mais il faut penser à d'autres trucs.
Dans cette même routine tu dois prendre en compte les indexeurs de sites comme google et les laisser passer, pour se faire, il faut que tu récup la rangée IP des crawlers de google et tu dois les laisser passer etc...

J'ai passé des mois à faire/améliorer/perfectionner ma routine et je peux te dire que c'est pas simple de faire un truc qui tienne la route et qui ne banni pas à tout va sans bonne raison.

Ca c'était une des vérif mais après tu peux aussi bannir des signatures (souvent les aspirateurs signent avec leur nom mais pas toujours des fois ils signent comme si c'était IE donc il faut le genre de routine comme expliqué ci-dessus). etc... Y a des tonnes de choses vérifiables et des pièges que l'on peut mettre en place pour attraper les aspirateurs

Voilà, en gros c'est pas simple à gérer l'anti aspiration

A++

Nix