Time-warner spider
4 messages • Page 1 sur 1
Consultez la formation au référencement naturel Google de WebRankInfo / Ranking Metrics
Time-warner spider
bonjour à tous,
Depuis quelques jours, je me fais crawler par un drole de spider :
66-194-6-74.gen.twtelecom.net
ip : 66.194.6.74
bizarement il change tout le temps de nom d'agent , il se fait passer pour des navigateurs
ex :
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312464)
Mozilla/5.0 (compatible; Konqueror/3.1; i686 Linux; 20020919)
etc...
on pourrait croire un utilisateur lanbda sauf qu'il vient tres souvent et change tout le temps de navigateur pour un simple surfeur.
d'apres ce que j'ai recherché l'ip nous emene chez timeWarner telecom
Est ce que quelqu'un aurais deja entendu parler de ce spider bizar à mon gout ?
Depuis quelques jours, je me fais crawler par un drole de spider :
66-194-6-74.gen.twtelecom.net
ip : 66.194.6.74
bizarement il change tout le temps de nom d'agent , il se fait passer pour des navigateurs
ex :
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312464)
Mozilla/5.0 (compatible; Konqueror/3.1; i686 Linux; 20020919)
etc...
on pourrait croire un utilisateur lanbda sauf qu'il vient tres souvent et change tout le temps de navigateur pour un simple surfeur.
d'apres ce que j'ai recherché l'ip nous emene chez timeWarner telecom
Est ce que quelqu'un aurais deja entendu parler de ce spider bizar à mon gout ?
-

puppetMaster - WRInaute occasionnel

- Messages: 176
- Inscription: Jeu Oct 16, 2003 15:35
ah oui, AOL Time Warner, possible!
Bonjour,
J'avais repéré ce drôle d'oiseau moi aussi...
Son premier accès chez moi date du 08/11, il lit toujours les 3 même pages, une page à chaque fois, que le htm sans les images, pas d'accès à robots.txt.
Il utilise les IP 66.194.6.72 73 74 et 76 et se connecte par le fai Time Warner, avec un user-agent changeant, pas de referrer.
Ce pourrait être un particulier ce qui expliquerait le changt d'IP, mais 4 IP ce n'est pas beaucoup pour un particulier à ip non fixe. Le fait qu'il lise toujours les même fichiers htm (3 pages en plein milieu du site) me ferait penser à la mise au point d'un moteur quelconque...
Le plus bizarre reste le User Agent changeant...
Mais tu as raison, c'est bien un spider, ce n'est pas un humain...
Remi
J'avais repéré ce drôle d'oiseau moi aussi...
Son premier accès chez moi date du 08/11, il lit toujours les 3 même pages, une page à chaque fois, que le htm sans les images, pas d'accès à robots.txt.
Il utilise les IP 66.194.6.72 73 74 et 76 et se connecte par le fai Time Warner, avec un user-agent changeant, pas de referrer.
Ce pourrait être un particulier ce qui expliquerait le changt d'IP, mais 4 IP ce n'est pas beaucoup pour un particulier à ip non fixe. Le fait qu'il lise toujours les même fichiers htm (3 pages en plein milieu du site) me ferait penser à la mise au point d'un moteur quelconque...
Le plus bizarre reste le User Agent changeant...
Mais tu as raison, c'est bien un spider, ce n'est pas un humain...
Remi
4 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation Référencement naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Yahoo Slurp et autres robots d'indexation de Yahoo
- Google pourrait prendre 5% de participation dans AOL
- Lancement de Spider Simulator
- Parts de marché des moteurs aux USA (Octobre 2006)
- Google Calendar API
- Yahoo Web Analytics (ex IndexTools)
- Tous les outils à connaître pour analyser un site
- Révélations sur eval.google.com (Rater Hub Google)
- Protégez-vous contre le nofollow
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



le forum