WRInaute occasionnel
Bonjour,
J'ai constaté que la BNF (Bibliothèque Nationale de France) a effectué un partenariat avec archive.org et a débuté un archivage des sites français.
Extrait des logs afin d'identifier l'empreinte :
A noter :
Pour en savoir plus :
http://bibnum.bnf.fr/robot/
J'ai constaté que la BNF (Bibliothèque Nationale de France) a effectué un partenariat avec archive.org et a débuté un archivage des sites français.
Extrait des logs afin d'identifier l'empreinte :
Code:
207.241.234.209 - - [22/Jan/2005:16:16:57 +0100] "GET / HTTP/1.0" 200 32945 "-" "mozilla/5.0 (compatible; heritrix//1.3.0-200412151053 +http://crawls.archive.org/collections/bnf/crawl.html)" mod_gzip: DECLINED:NO_ACCEPT_ENCODING In:0 Out:0:0pct.
A noter :
- Le crawl est lent
il respecte le robots.txt
dès qu'une page est accédée, ses éléments graphiques sont récupérés
Pour en savoir plus :
http://bibnum.bnf.fr/robot/