Yahoo teste Inktomi

[cariboo]

C'est très intéressant...

Un petit changement de plus. Mais il est encore possible qu'il s'agisse d'un spider réutilisant la technologie de fast, ou d'inktomi. A première vue, cela ne ressemble pas au comportement de Scooter...

Que Yahoo préfère utiliser sa marque pour le moteur, plutôt que celle de l'une de ses nouvelles acquisitions, c'est assez logique.

En tout cas, je trouverais encore plus incroyable qu'après avoir acquis autant de sociétés disposant de technologies de crawl avancées, yahoo invente en plus son propre spider !

[Digit]

En terme de fonctionnement de ce bot, voici la démarche :
- un serveur spécialisé dans la lecture du robots.txt
- un serveur dédié au site (pas de rapartition du crawl entre plusieurs machines)
- un accès toutes les 30 secondes par le serveur dédié, avec une précision d'horloger
- crawl complet du site (selon webalizer, en 1 seule visite récupération de 4022 pages).

Je trouve que l'attribution du site à une seule machine de crawl est très judicieuse, et la fréquence va plaire aux webmasters.

[Gilbert Wayenborgh]

hmmm ... en effet je n'avais pas encore vu celui la ... je crois que je vais faire un tour dans mes logs pour voir ...

[Tribunart]

Quand on voit la pertinence pitoyable de MSN (qui utilise Inktomi pour le moment, si je ne m'abuse), ce n'est pas vraiment une bonne nouvelle que Yahoo utilise bientôt Inktomi...

D'un autre côté, cela devrait augmenter encore la part de marché de Google.

[Digit]

Pas tout à fait d'accord avec toi Rykner, vu le nombre de technologies qu'ils ont entre les mains, ils peuvent prendre le meilleur des mondes (entre AV, ATW...), pas forcément prendre un unique crawler sans le faire évoluer et jeter les autres. Je trouverais cela absurde.

[Tribunart]

Je parlais de MSN, actuellement. Les requêtes sur les sujets qui m'intéressent (histoire de l'art notamment) sont en général toujours à côté de la plaque, alors qu'avec Google, le premier site est souvent le meilleur, en tout cas toujours plus pertinent que MSN.

[Digit]

A priori le bot de yahoo a deux cycles : le premier est la récupération des pages html de manière assez exhaustive. Une fois digérées, il effectue un second cycle qui lui permet d'obtenir uniquement les images. Ce ne sont pas les mêmes serveurs qui ont cette seconde fonction, mais l'identifiant du bot est le même :

Code: Tout sélectionner

sh26.rmi.shop.scd.yahoo.com - - [08/Oct/2003:19:49:00 +0200] "GET /pic/small/52-2.jpg HTTP/1.0" 200 2534 "-" "YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/shop/merchant/)"
sh54.rmi.shop.scd.yahoo.com - - [08/Oct/2003:19:49:01 +0200] "GET /pic/small/62-serenite.jpg HTTP/1.0" 200 2641 "-" "YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/shop/merchant/)"


En fait les serveurs sh##.rmi.shop.scd.yahoo.com sont dédiés aux images.