GoogleBot : le vrai et les faux

[iconso]

En fait tout dépend de ce que tu appelles "aspiration", et la vitesse de celle ci. Avec les lignes d'aujourd'hui, tu peux rapidement atteindre des niveaux gênants pour les serveurs, particulièrement pour ceux qui disposent d'un grand nombre de pages sur un mutualisé (bande passante et CPU consommés)

Ensuite selon le type de site : je ne vois pas l'intérêt de certaines personnes qui m'aspirent plusieurs milliers de pages par jour, alors que les prix auront changé le lendemain, et donc l'information sera obsolète Perso je laisse faire pour le moment, mais je vais mettre en place quelques bridages dans le futur.

Une utilisation concrète, est l'utilisation par les concurrents à l'aide d'outils de veille : ils peuvent par exemple voir tous les nouveaux liens créés depuis leur dernière aspiration, donc potentiellement trouver les nouveaux produits, etc..

Fred

[Bool]

[apparté sur l'aspiration]
Sur certains sites (un site contenant beaucoup d'images par exemple), le gars va télécharger une très grosse quantité d'images (quelques centaines de Mo, voir plus) alors qu'au final 10% l'interesseront. Et ce gaspillage aura pour principal conséquence la surcharge inutile du serveur.... voir dans mon cas un "deni de service" pour les autres visiteurs...

En gros, l'aspiration du site est tolérée, mais à un rythme décent : la gars avec sa ligne 5.5Mbits (freebox), il va vite me foutre mon serveur en rade s'il lance une aspiration "agressive". D'autant plus qu'il sera loin d'être le seul...

Le problème reste entier pour les connexions bas débit, qui se servent de l'aspiration pour limiter les couts... Dans ce cas j'ai opté pour la solution FTP : d'ici peu je fournirait un Zip contenant les images de toute une galerie. Téléchargeable uniquement par FTP, avec débit un nombre de connexions par IP et total limité.

[/apparté sur l'aspiration]

voilou

[Bool]

arf iconso.... plus rapide que moi

[mahefarivony]

je ne vois pas l'intérêt de certaines personnes qui m'aspirent plusieurs milliers de pages par jour

aspirer tes emails, aspirer tes fiches, aspirer tes données, aspirer tes images..

on continue ?

[iconso]

on continue ?

Ah ouais c'est clair il était sous-entendu : "pour une utilisation offline à la régulière"
Le pire avec les aspirateurs, c'est que les gens ne savent pas forcément comment les utiliser et oublient de paramétrer un niveau de récupération max, etc... Du coup ca ressemble à du full crawl, mais la personne utilisera sans doute quelques pages sur les milliers téléchargées.

Fred