http://www.almaden.ibm.com/cs/crawler

[WebRankInfo]

Quelqu'un a-t-il aussi des visites régulières de http://www.almaden.ibm.com/cs/crawler ?
Le problème est qu'il essaie de lire des pages en tronquant l'URL, ce qui provoque des erreurs 404...
Ex:

Code: Tout sélectionner

/forums/viewtopic_
/forums/vie
/googles

C'est donc coupé n'importe où dans l'URL !!!

[hetzeld]

Cela fait quelques jours qu'il passe chez moi et il a dû prendre une centaine de pages en tout. Pas d'erreur 404 ni d'URL tronquée...

Dan

[WebRankInfo]

question subsidiaire : quel moteur l'utilise ? ce moteur nous envoie-t-il des visiteurs ? si c'est non, vous voyez à quoi je pense

[apocalx]

Il passe régulièrement sur mon site.
Ca a l'air d'être un truc à IBM, mais impossible de savoir a quoi ils s'en servent.
Ils ont bien un moteur sur leur site, mais on ne peut chercher qu'a l'intérieur des sites IBM, donc je en vois pas l'intéret pour eux d'aller crawler le web.

A moins qu'il ne s'agisse d'un projet secret pour un futur moteur de recherche, comme l'a fait Iliad avec Dir.com et son crawler Pompos: le crawler passait bien avant que le moteur Dir.com soit en ligne...

IBM nous préparerait-il un gros coup?

[hetzeld]

Almaden est le centre de recherche d'IBM.
Il n'est pas impossible qu'un projet "secret" soit en cours. Perso, je le laisse faire parce qu'IBM c'est tout de même "gros budget et Cie" et que cela pourrait aboutir sur qqch de bien. Tant qu'à faire... cela ne prend pas beaucoup de ressources.

Dan

[Jocelyn]

Almaden m'a visité ce soir : 6 pages en 12 minutes.
Il ne risque pas de surcharger mon serveur à cette cadence, mais il va lui falloir longtemps avant qu'il ait tout visité !
Je vais le laisser faire, et on verra bien si ça m'amène quelques visiteurs un jour.

Jocelyn

[apocalx]

Moi il me visite souvent, sauf qu'il a tendance à me chercher des URLs qui n'existent pas

www.nomdedomaine.com/h

Et ceci sur plusieurs sites! J'amais eu de pages nommées ainsi, moi...

[Gilbert Wayenborgh]

Ce crawler existe depuis un certains temps déjàpour ne pas dire un temps certains.

Mais même sur d'autres sites spécialisés on ne peut trouver plus d'infos sur celui ci hormis la page du crawler.

[sky]

Lol, moi aussi j'ai ce site qui passe asses souvent desormais, mais a koi il sert donc ???

[cariboo]

Réponse dans ce thread

http://www.webrankinfo.com/forums/viewt ... ht=Almaden