Nous utilisons l'url rewriting pour notre site de location de dvd. Grâce à cette technique GG connaît pas loin de 30.000 pages html de notre site. Le fichier htaccess contient actuellement des milliers de règles de réécriture (plus de 10.000). Notre site soufre de lenteurs importants lors de la visite des robots des moteurs de recherche. D'autant plus qu'a quelques minutes d'écart nous avons la visite du Googlebot et du Inktomi Slurp.
Existe t'il une technique permettant de dire au robots de passer uniquement la nuit ou bien de limiter le nombre de pages à un nombre préalablement définit. J'imagine que cela devrait se faire via le fichier robots.txt.
Connaissez vous le nombre de règle de réécriture maimale à utiliser dans un fichier htaccèss? Tout dépend du trafic présent sur le site bien sûr...
Existe t'il une technique permettant de dire au robots de passer uniquement la nuit ou bien de limiter le nombre de pages à un nombre préalablement définit. J'imagine que cela devrait se faire via le fichier robots.txt.
Connaissez vous le nombre de règle de réécriture maimale à utiliser dans un fichier htaccèss? Tout dépend du trafic présent sur le site bien sûr...