Robot Grub-client
4 messages
• Page 1 sur 1
-

Aquarius - WRInaute occasionnel

- Messages: 447
- Inscription: 8 Nov 2004
Robot Grub-client
J'aurais aimé savoir si quelqu'un connaissait ce robot qui vient sur mon site et continue d'indexer les pages que j'interdis aux robots avec un fichier robots.txt... il est coriace celui-là
Si quelqu'un a des infos, je suis preneur.
Si quelqu'un a des infos, je suis preneur.
-

pistonocus - WRInaute occasionnel

- Messages: 370
- Inscription: 25 Mar 2005
Grub est un client distribué rampant, librement téléchargeable et exécutable. Il sert à créer une infrastructure (base de données et volontaires) qui, offrira finalement une information sur l'état de mise à jour des URL de presque toutes les pages web sur Internet. Le réseau distribé de Grub permettra aux sites internet, aux fournisseurs de contenu et aux individus de signaler aux autres qu'il y a eu des changements dans leur contenu. Tout cela en temps réel.
Source : gnuwin
Source : gnuwin
4 messages
• Page 1 sur 1
Lectures recommandées sur ce thème :
- Comment créer une page web en PHP - 04-08-2008
- Petit changement pour Slurp (le robot de Yahoo) - 29-03-2007
- Sortie officielle de GoogleStats v2.0 ! - 23-02-2003
- Aperçu des différents types de redirection - 04-08-2008
- Sortie de GoogleStats v2.01 - 02-03-2003
- Etude de Googlebot, le robot d'indexation de Google - 30-07-2002
- Référencement : le problème des sessions des pages PHP - 04-08-2008
- Offre d'emploi Référenceur CDI dans le Rhône - Juin 2010 - 08-06-2010
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Googlebot
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités

