Robot Grub-client


Aquarius
WRInaute impliqué
WRInaute impliqué
 
Messages: 447
Inscription: Lun Nov 08, 2004 19:37

Robot Grub-client

Message le Mar Mai 31, 2005 12:51

J'aurais aimé savoir si quelqu'un connaissait ce robot qui vient sur mon site et continue d'indexer les pages que j'interdis aux robots avec un fichier robots.txt... il est coriace celui-là :lol:

Si quelqu'un a des infos, je suis preneur.

shrom
WRInaute passionné
WRInaute passionné
 
Messages: 865
Inscription: Lun Juil 05, 2004 22:37

Message le Mar Mai 31, 2005 13:03

Grub est un moteur de recherche qui fonctionne sur le principe du P2P qui appartient à LookSmart il me semble.


pistonocus
WRInaute impliqué
WRInaute impliqué
 
Messages: 370
Inscription: Ven Mar 25, 2005 23:19

Message le Mar Mai 31, 2005 13:05

Grub est un client distribué rampant, librement téléchargeable et exécutable. Il sert à créer une infrastructure (base de données et volontaires) qui, offrira finalement une information sur l'état de mise à jour des URL de presque toutes les pages web sur Internet. Le réseau distribé de Grub permettra aux sites internet, aux fournisseurs de contenu et aux individus de signaler aux autres qu'il y a eu des changements dans leur contenu. Tout cela en temps réel.

Source : gnuwin


Aquarius
WRInaute impliqué
WRInaute impliqué
 
Messages: 447
Inscription: Lun Nov 08, 2004 19:37

Message le Mar Mai 31, 2005 14:36

OK, et ce robot passe outre les instructions des fichiers robots.txt, et ça c'est pas cool...


Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités