Bot saoulant

[zeb]

Quelqu’un connait il ahrefs.com ? Je viens de bloquer l'IP de leur Bot 213.186.122.2 (user agent Mozilla/5.0 (compatible; AhrefsBot/1.0; +http://ahrefs.com/robot/)) car il semble que ce soit un outil SEO sans grand intérêt pour moi mais pas forcement pour la concurrence. De plus 5000 pages crawlées en 4 jours pour rien ça me laisse perplexe.

Bref j'ai fait une bêtise ou ça vous semble pas exagéré ?

[kmenslow]

Non, c'est très bien

[cthierry]

semble être ukrainien :
http://www.projecthoneypot.org/ip_213.186.122.2

[zeb]

semble être ukrainien

J.Hudson commented...
Site flooding, ignoring robots.txt

ça me conforte donc dans l'idée de l'avoir éjecté, merci de vos retours.

[Djibou_Te@M]

ahrefs.com est un outil permettant de connaitre les backlinks d'un site, un peu comme ce cher mais hélas disparu yahoo explorer (sauf si vous connaissez la manip pour le refaire fonctionner ).

Enfin, le plus simple est de vous faire une idée de ce à quoi sert l'outil en allant sur le site : "ahrefs.com", non ?

[zeb]

oui j'y suis allé (pas tombé de la dernière pluie non plu ) mais bon c'est un truc "a la con" comme tant d'autres du même genre et je ne voie pas pourquoi m'affubler d'un outil de plus, et je ne voie surtout pas pourquoi je laisserait ce système me bouffer de la bande passante pour le plaisir de je sais pas qui, qui en a l'usage. Bref, perso, si je pouvais bloquer tous les bots hormis les moteurs de recherche (les vrai) j'hésiterai pas trop.

Surtout que des système SEO il y en a de plus en plus et que multiplié par les 400 / 500 000 pages du site ça commence a faire du chiffre.

[Djibou_Te@M]

Là où nos avis divergent est sur le "truc à la con".

Chacun est libre d'en penser ce qu'il veut mais, revenons un temps en arrière, aux débuts de Google par exemple. Il n'est pas devenu ce qu'il est en devinant les pages, il les a parcourues.
De même pour beaucoup de moteurs de recherches.

Si tout le monde coupait les vannes de son site, plus personne ne se ferait ou pourrait se faire connaître, non ?

Alors, peut être ne t'apporte-t-il rien pour l'instant, mais sais-tu à quoi il sert ? quelles sont les étendues du service ?
C'est vrai il y en a des payantes, il y en a des gratuites. Mais dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?

Après il ne fait qu'un crawl simple, pas de DL d'images ou de JS ou de CSS, juste le HTML. Dans beaucoup de cas où je l'ai vu passer, il faisait ses passage de nuit.

La décision t'appartient, je ne la partage pas, mais je la respecte, après je tenais juste à te faire connaître ma vision, qui n'a clairement pas le même angle que la tienne, ainsi ta décision en devient que plus objective.

[zeb]

Oui je comprend bien ton point de vue pas de souci et je le respecte aussi.

dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?

C'est ça qui me gène le plus, philosophiquement parlant. On évolue dans un monde qui est devenu concurrentiel, qui demande du rendement et du résultat. Cet état d'esprit me fait vomir au plus haut point. Je pense que si tous le monde commençait par balayer devant sa porte et respectait son voisin tout irait beaucoup mieux. mais il faut "performer", "pressuriser", "rentabiliser", écraser le voisin. Bref les outils qui permettent ça si je pouvais câbler une redirection vers les toilettes ... imagine le bonheur que j'y prendrait.

Maintenant pour ce qui est d'ouvrir la porte a un potentiel débutant c'est pas un souci, si le service est différent voir innovant, Mais là ça donne quoi ? un truc qui participe a une expansion Tchernobilienne de l'énergie pour donner 3 backlink a un SEO en mal de positionnement qui ferait mieux de bosser sur son site plutôt que de zieuter le voisin. Et si il y en a 10 qui se créent par an des trucs comme ça, ça veux dire qu'ils faut qu'ils crawlent toute la planète dix fois ? T'a pensé au bilan carbone de ce genre de truc destiné a faire 3 francs six sous pour des SEO ? On ne peut pas comparer un service SEO a un moteur de recherche. Et si demains il deviennent moteur de recherche ce sera le moment d'ouvrir la porte. Mais pour l'instant c'est du parasitage, du gaspillage de ressource et compagnie a mon sens.

Le monde est devenu tellement simple qu'on en oublie parfois de ce concentrer sur ce qui est utile pour économiser les ressources qui elles ne sont pas infinies.

[mipc]

tiens ZEB si tu veux interdire d'autres bots à la con sert toi:

Deny from 65.60.42.250
Deny from 75.146.48.33
Deny from 174.129.241.217
Deny from 81.31.228.242
Deny from 207.241.227.98
Deny from 208.94.146.80
Deny from 50.28.7.169
Deny from 212.100.253.3

dans le lot y a des Bots de Baydu qui Saoul à passer 40 fois par jours, en suite les deux dernières IP spam ton compte google analytics et CIE dans le bute que tu aille sur le site et ça te renvoie sur un site sur le Forex pour infos la ville est de l'IP en question est PeLOTas au Brésil.

[zeb]

Arf MDR le bougre il se repointe avec une autre IP deux heures plus tard

213.186.127.7 Mozilla/5.0 (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/)

[mipc]

et avec un . HTACCESS y aurai pas un moyen d"interdire un nom de domaine en particulier, tu a essayer avec un robots.txt!!!?

[Djibou_Te@M]

Ah, dis toi qu'il aime ton site

[zeb]

avec un robots.txt

il semble que les reports fait sur ce bot disent qu'il s'en contrefiche.

Ah, dis toi qu'il aime ton sit

Mois tant qu'on m'offre pas une boite de chocolat je reste de marbre, je ne suis pas un garçon facile

[Leonick]

Mais dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?

tu as semrush qui, en plus, te donneras les mots clés et positions