Robot Grub-client


Aquarius
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 447
Inscription: 8 Nov 2004

Robot Grub-client

Message le Mar Mai 31, 2005 12:51

J'aurais aimé savoir si quelqu'un connaissait ce robot qui vient sur mon site et continue d'indexer les pages que j'interdis aux robots avec un fichier robots.txt... il est coriace celui-là :lol:

Si quelqu'un a des infos, je suis preneur.

shrom
WRInaute impliqué
WRInaute impliqué
 
Messages: 865
Inscription: 5 Juil 2004

Message le Mar Mai 31, 2005 13:03

Grub est un moteur de recherche qui fonctionne sur le principe du P2P qui appartient à LookSmart il me semble.


pistonocus
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 370
Inscription: 25 Mar 2005

Message le Mar Mai 31, 2005 13:05

Grub est un client distribué rampant, librement téléchargeable et exécutable. Il sert à créer une infrastructure (base de données et volontaires) qui, offrira finalement une information sur l'état de mise à jour des URL de presque toutes les pages web sur Internet. Le réseau distribé de Grub permettra aux sites internet, aux fournisseurs de contenu et aux individus de signaler aux autres qu'il y a eu des changements dans leur contenu. Tout cela en temps réel.

Source : gnuwin


Aquarius
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 447
Inscription: 8 Nov 2004

Message le Mar Mai 31, 2005 14:36

OK, et ce robot passe outre les instructions des fichiers robots.txt, et ça c'est pas cool...


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités