Robot Grub-client
4 messages • Page 1 sur 1
Robot Grub-client
J'aurais aimé savoir si quelqu'un connaissait ce robot qui vient sur mon site et continue d'indexer les pages que j'interdis aux robots avec un fichier robots.txt... il est coriace celui-là
Si quelqu'un a des infos, je suis preneur.
Si quelqu'un a des infos, je suis preneur.
-

pistonocus - WRInaute impliqué

- Messages: 370
- Inscription: Ven Mar 25, 2005 23:19
Grub est un client distribué rampant, librement téléchargeable et exécutable. Il sert à créer une infrastructure (base de données et volontaires) qui, offrira finalement une information sur l'état de mise à jour des URL de presque toutes les pages web sur Internet. Le réseau distribé de Grub permettra aux sites internet, aux fournisseurs de contenu et aux individus de signaler aux autres qu'il y a eu des changements dans leur contenu. Tout cela en temps réel.
Source : gnuwin
Source : gnuwin
4 messages • Page 1 sur 1
Lectures recommandées sur ce thème :
- Comment créer une page web en PHP
- Petit changement pour Slurp (le robot de Yahoo)
- Sortie officielle de GoogleStats v2.0 !
- Sortie de GoogleStats v2.01
- Aperçu des différents types de redirection
- Etude de Googlebot, le robot d'indexation de Google
- Référencement : le problème des sessions des pages PHP
- Lancement du nouveau chat de WebRankInfo
- Google AdWords Editor
- Google tente d'expliquer le Google Bombing 'Failure'
- Qu'est ce que GRUB?
- Grub - Looksmart crawling distribué
- Fichier log et Grub qui apparait...
- NaverBot : Robot ou pas robot ?
- <meta robot> ou robot.txt
- le robot txt et ou la balise robot
- Espace Client
- Interface Client MSN?
- Interface Client YAHOO?
- Pliz Help : espace client
- www.domaine.com/client
- Nom domaine client ?
- awstats pour le client
- quel client mail ?
- client=safari dans url gg
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Googlebot
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités


le forum