Adresse IP des moteurs de recherche

WRInaute occasionnel
Bonjour,

Je pense que la question a surement dûe être posée mais bon. Je cherche des sites où je pourrais trouver les adresses IP des moteurs de recherche, de préférence tous les moteurs de recherche.

Merci.

PS : les liens que j'ai glané de-ci delà sont morts...
 
WRInaute discret
Bonsoir,

Je vais corrigé l'info de Keroin (je suis l'auteur de CrawlTrack), la base de donnée de CrawlTrack est constituée des user-agent des robots et non pas de leur IP.

Par contre les IP étant enregistrée, tu as un belle liste en allant sur la démo en ligne sur mon site (attention, certaines peuvent être celle d'internautes se faisant passer pour un robot, il faut garder un oeil critique).

Tu as là par exemple l'ensemble des IP utilisées par les robots qui ont crawlé mon site ce mois-ci, il y a déjà de quoi faire:

http://www.crawltrack.net/robot/index.p ... graphpos=0

A+

Jean-Denis
 
WRInaute occasionnel
Bizarre, j'ai l'impression que c'est plutôt juste : 209.185.108.0, qu'est-ce que vous en pensez ! J'ai un gros doute là !
 
WRInaute occasionnel
Comme quoi, on peut être à des milliers de kilomètres et se poser les mêmes questions ! :wink:

Bon comme ton homologue anglo-saxon répond comme toi, je vais considérer que ça va donc de 0 à 255.

Merci.
 
WRInaute occasionnel
Petite question subsidière pour vous départager.

Admettons que je rentre toutes ces milliers d'IP dans une base de donnée et que je m'en serve pour afficher sur mon site le nombre de visiteurs réels le jour en cours en filtrant les ip des robots. Pensez-vous que l'algo qui consiste à dire en gros :

- J'ai une nouvelle connexion
- Je regarde si l'IP fait partie de la liste des robots
- Si non j'incrémente un compteur
- Si oui je fais rien

Donc pensez-vous que cet algo peut ralentir considérablement le site à cause de la quantité de requête sur la BD dûes au nombre considérable d'IP robot ?

Merci de me répondre.
 
WRInaute passionné
Non non, c'est une très bonne couverture le coup du compteur :mrgreen:

Si tu veux vraiment faire ça pour un compteur, reconnais plutôt les bots à leur user-agent, ça demandera je suppose beaucoup moins de ressources.
 
WRInaute occasionnel
e-kiwi a dit:
ça sent le cloaking tout ça qd même :p
Sérieusement non.

Mais c'est vrai que plutôt que de me palucher des milliers de saisie d'IP, je vais plutôt filtrer au niveau du user-agent. Et filtrer que certaine IP comme la mienne et celle de mon taf pour pas trop pertruber mon comptage.

Comment je fais pour le user_agent ? Où je peux trouver la liste des user-agent des robots ? Merci.
 
WRInaute occasionnel
Bon à bien y réfléchir, c'est beaucoup moins simple que je ne le pensais...

Il y a tellement de User-Agent pour chaque robot que je me demande bien comment font les compteurs tel que celui de OVH (AWSTATS) pour repérer les robots même ceux qui sont incoonus !

Pouvez-vous m'aider, à la limite je n'ai pas besoin de repérer le type de robot mais simplement si c'est un robot que j'exclue de mon comptage.

Donc ma question est : comment repérer "un" robot quelqu'il soit ?

Merci de m'aider.
 
Discussions similaires
Haut