MSNBOT, le robot du futur MSN Search

[mahefarivony]

mouais.. il a fallu 5 ans (happy birthday hier au fait) au google pour arriver la ou ils en sont actuellement.. vous me direz, avec de l'argent (beaucoup d'argent) on peut y mettre les bouchées quadruples n'est ce pas ?

[Digit]

Pour ceux qui suivent l'histoire de ce moteur, voici la dernière trace. Avis aux amateurs de signatures de robots :

Code: Tout sélectionner

131.107.137.165 - - [07/Oct/2003:23:00:00 +0200] "GET /robots.txt HTTP/1.1" 200 1049 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
131.107.137.165 - - [07/Oct/2003:23:00:02 +0200] "GET / HTTP/1.1" 200 25376 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"


Le bot de MSN peut crawler des URL contenant 1 paramètre (je n'ai pas encore constaté plus)

[Digit]

Il semblerait que l'IP du bot ait évolué :

Code: Tout sélectionner

204.95.98.253 - - [23/Oct/2003:14:24:16 +0200] "GET /?l=1 HTTP/1.0" 200 27484 "-" "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"

C'est toujours une IP de Microsoft, toujours basée du côté de Seattle

[indigene]

Ils ont encore du travail avant d'arriver à la version 1.0

Je l'ai vu passer 5 fois sur mon site ajd et il s'engouffre dans mon piege à robots en suivant un lien sans ancre

Mais je ne le bloque pas, il respecte les meta noindex, nofollow (enfin pour l'instant)

[sietjp]

Encore une nouvelle IP opur le bot microsoft :
il a parcouru toutes mes pages en 2 jours
65.54.188.40

NetRange: 65.52.0.0 - 65.55.255.255
CIDR: 65.52.0.0/14
NetName: MICROSOFT-1BLK
NetHandle: NET-65-52-0-0-1
Parent: NET-65-0-0-0-0

[BadProcESs]

Au fait, vous la regardez de temps en temps la page d'accueil ?

Heu... Je dois avouer que j'ai une fenêtre du navigateur toujours ouverte sur les forums de WRI en fait... Donc je n'ai pas besoin de revenir sur le site... Donc la page d'accueil... (pas taper, pas taper !)

[WebRankInfo]

Encore une nouvelle IP opur le bot microsoft :
il a parcouru toutes mes pages en 2 jours
65.54.188.40

NetRange: 65.52.0.0 - 65.55.255.255
CIDR: 65.52.0.0/14
NetName: MICROSOFT-1BLK
NetHandle: NET-65-52-0-0-1
Parent: NET-65-0-0-0-0

quel était son nom de user agent ?

[Digit]

Il m'a crawlé 282 pages en 7 heures aujourd'hui, depuis une IP semblable : 65.54.188.20.
Le user-agent reste "msnbot/0.11 (+http://search.msn.com/msnbot.htm)"
Contrairement à Google qui utilise plusieurs bots sur des serveurs différents, il semblerait que MSN assigne un crawl à un serveur, ce qui simplifie probablement le calcul de la fréquence du crawl.
A noter :
- un crawl MSN démarre toujours par la lecture du robots.txt
- Deux pages crawlées sont toujours espacées d'au moins 10 secondes, ce qui plaira aux webmasters