Comment détecter le robot Yahoo! Slurp

le Mer Fév 18, 2004 20:24

Avec RobotStats, il suffit de changer la configuration du robot Slurp (Inktomi) pour indiquer uniquement comme nom d'agent

Slurp

en activant la détection par le nom d'agent.
Depuis hier il a visité 600 pages de WRI...

le Jeu Fév 19, 2004 9:52

c'est fait pour moi

ça vaudrait presque un petit paragraphe dans ta lettre d'info, ça, non?

le Jeu Fév 19, 2004 10:15

je vais faire ca merci

le Jeu Fév 19, 2004 13:23

je l'ai meme vu visiter des pages avec des horribles identifiants de session. je me demande s'il va les indexer ?

le Jeu Fév 19, 2004 13:33

à mon avis s'il visite la page c'est qu'il va l'indexer, mais peut être avec le numéro de session dans l'url...

le Jeu Fév 19, 2004 14:12

en tout cas, 2 minutes après avoir fait les modifs en questions, j'avais déja deux visites de Slurp!

Formation recommandée sur ce thème :