Stratégie de crawl de Yahoo-VerticalCrawler

[Digit]

Petite analyse qui pourra vous intéresser.
Yahoo-VerticalCrawler est le bot de shoping.yahoo.com. Voici son empreinte :

Code: Tout sélectionner

shop-gw.sac.overture.com - - [17/Mar/2004:10:52:40 +0100] "GET / HTTP/1.0" 200 27571 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"

Aujourd'hui il a parcouru un site de la manière suivante :
1- crawl page principale (/)
2- attente 3h avant de lancer l'artillerie : généralement une page crawlée toutes les 10 secondes, toujours depuis le même serveur (shop-gw.sac.overture.com)
3- l'ordre des crawl est un classement des liens de chaque page analysée : priorité racine (/) puis pages de premier niveau (/xxx.php) puis répertoires de premier niveau (/yyy/) puis liens paramétrés (/yyy/?param=valeur).
4- Ensuite il attend à nouveau 3 heures et rebalance la sauce avec toujours une moyenne d'une page toutes les 10 secondes : url de type /yyyy/ puis /yyyy/xxx.php puis /xxxx.php?param=valeur puis /yyy/zzz/ puis /yyy/?param=valeur puis /yyy/zzz/?param=valeur

On peut donc supposer que le bot privilégie le crawl des pages auxquelles il donne le plus d'importance. On obtient donc des URL selon la priorité suivante :
- /
- /xxx.php
- /yyy/
- /yyy/xxx.php
- /xxx.php?param=valeur
- /yyy/zzz/
- /yyy/?param=valeur
- /yyy/zzz/?param=valeur

En conclusion, éviter les répertoires à profondeur multiple et les paramètres dans l'URL.
Une stratégie d'url rewriting consisterait donc à traduire les pages dynamiques en fausses pages statiques de premier niveau.

[WebRankInfo]

c'est marrant sur un forum US un mec de Yahoo ne semblait pas vouloir donner trop d'infos sur ce bot.
je pense qu'un moteur shopping digne de ce nom serait un très gros avantage pour Yahoo
et en plus ils ont un robot qui récupère des images en ce moment, et on n'en parle pas trop...

[Digit]

Leur bot de shoping est en test depuis plusieurs mois, avant il avait un autre nom. Ce qui est remarquable c'est la capacité à analyser les pages pour en extraire automatiquement le nom du produit, son prix etc... et de mettre le tout en forme de manière cohérente dans leur listing, parfois mieux que sur le site d'origine. Et en plus ils m'ont inclus des centaines de produits de mes sites, gratuitement, alors c'est encore mieux
Qui disait que Yahoo était trop payant ?

Petit bémol, les prix doivent être en affichés $ car les euros ne sont pas encore gérés.