Temps de prise en compte de robots.txt

**le Jeu Nov 04, 2004 16:08**

Depuis hier je subit un full crawl j'en suis à 11 000 pages crawlés par google, et je me suis rendu compte que pas mal de page sont inutile comme les forum/login.php etc...

Vu que je n'avais pas de robots.txt, j'en ai fait un pour qu'il ne crawl plus ces pages, cependant je me demande si la prise en compte de ce robots.txt va être rapide ou si je vais devoir attendre plusieurs jours, semaines ou meme mois?

**le Jeu Nov 04, 2004 16:20**

Je pense que c'est immédiat : le bot commence par demander ce fichier et si le serveur lui donne la dernière version (pas de cache) c'est OK

**le Jeu Nov 04, 2004 16:43**

Ok, ba je viens de le mettre je vais voir si il arrete de crawler certaines pages :-)

Merci

Temps de prise en compte de robots.txt

Temps de prise en compte de robots.txt

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne