Bot saoulant

WRInaute accro
Quelqu’un connait il ahrefs.com ? Je viens de bloquer l'IP de leur Bot 213.186.122.2 (user agent Mozilla/5.0 (compatible; AhrefsBot/1.0; +http://ahrefs.com/robot/)) car il semble que ce soit un outil SEO sans grand intérêt pour moi mais pas forcement pour la concurrence. De plus 5000 pages crawlées en 4 jours pour rien ça me laisse perplexe.

Bref j'ai fait une bêtise ou ça vous semble pas exagéré ?
 
WRInaute occasionnel
ahrefs.com est un outil permettant de connaitre les backlinks d'un site, un peu comme ce cher mais hélas disparu yahoo explorer (sauf si vous connaissez la manip pour le refaire fonctionner :wink: ).

Enfin, le plus simple est de vous faire une idée de ce à quoi sert l'outil en allant sur le site : "ahrefs.com", non ?
 
WRInaute accro
oui j'y suis allé (pas tombé de la dernière pluie non plu :D ) mais bon c'est un truc "a la con" comme tant d'autres du même genre et je ne voie pas pourquoi m'affubler d'un outil de plus, et je ne voie surtout pas pourquoi je laisserait ce système me bouffer de la bande passante pour le plaisir de je sais pas qui, qui en a l'usage. Bref, perso, si je pouvais bloquer tous les bots hormis les moteurs de recherche (les vrai) j'hésiterai pas trop.

Surtout que des système SEO il y en a de plus en plus et que multiplié par les 400 / 500 000 pages du site ça commence a faire du chiffre.
 
WRInaute occasionnel
Là où nos avis divergent est sur le "truc à la con".

Chacun est libre d'en penser ce qu'il veut mais, revenons un temps en arrière, aux débuts de Google par exemple. Il n'est pas devenu ce qu'il est en devinant les pages, il les a parcourues.
De même pour beaucoup de moteurs de recherches.

Si tout le monde coupait les vannes de son site, plus personne ne se ferait ou pourrait se faire connaître, non ?

Alors, peut être ne t'apporte-t-il rien pour l'instant, mais sais-tu à quoi il sert ? quelles sont les étendues du service ?
C'est vrai il y en a des payantes, il y en a des gratuites. Mais dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?

Après il ne fait qu'un crawl simple, pas de DL d'images ou de JS ou de CSS, juste le HTML. Dans beaucoup de cas où je l'ai vu passer, il faisait ses passage de nuit.

La décision t'appartient, je ne la partage pas, mais je la respecte, après je tenais juste à te faire connaître ma vision, qui n'a clairement pas le même angle que la tienne, ainsi ta décision en devient que plus objective. :wink:
 
WRInaute accro
Oui je comprend bien ton point de vue pas de souci et je le respecte aussi.

dans le cas d'une veille concurrentielle, n'est-il pas sympa de connaître les sources de trafic, de BLs des autres ?
C'est ça qui me gène le plus, philosophiquement parlant. On évolue dans un monde qui est devenu concurrentiel, qui demande du rendement et du résultat. Cet état d'esprit me fait vomir au plus haut point. Je pense que si tous le monde commençait par balayer devant sa porte et respectait son voisin tout irait beaucoup mieux. mais il faut "performer", "pressuriser", "rentabiliser", écraser le voisin. Bref les outils qui permettent ça si je pouvais câbler une redirection vers les toilettes ... imagine le bonheur que j'y prendrait.

Maintenant pour ce qui est d'ouvrir la porte a un potentiel débutant c'est pas un souci, si le service est différent voir innovant, Mais là ça donne quoi ? un truc qui participe a une expansion Tchernobilienne de l'énergie pour donner 3 backlink a un SEO en mal de positionnement qui ferait mieux de bosser sur son site plutôt que de zieuter le voisin. Et si il y en a 10 qui se créent par an des trucs comme ça, ça veux dire qu'ils faut qu'ils crawlent toute la planète dix fois ? T'a pensé au bilan carbone de ce genre de truc destiné a faire 3 francs six sous pour des SEO ? On ne peut pas comparer un service SEO a un moteur de recherche. Et si demains il deviennent moteur de recherche ce sera le moment d'ouvrir la porte. Mais pour l'instant c'est du parasitage, du gaspillage de ressource et compagnie a mon sens.

Le monde est devenu tellement simple qu'on en oublie parfois de ce concentrer sur ce qui est utile pour économiser les ressources qui elles ne sont pas infinies.
 
WRInaute accro
tiens ZEB si tu veux interdire d'autres bots à la con sert toi:

Deny from 65.60.42.250
Deny from 75.146.48.33
Deny from 174.129.241.217
Deny from 81.31.228.242
Deny from 207.241.227.98
Deny from 208.94.146.80
Deny from 50.28.7.169
Deny from 212.100.253.3

dans le lot y a des Bots de Baydu qui Saoul à passer 40 fois par jours, en suite les deux dernières IP spam ton compte google analytics et CIE dans le bute que tu aille sur le site et ça te renvoie sur un site sur le Forex pour infos la ville est de l'IP en question est PeLOTas au Brésil.
 
WRInaute accro
et avec un . HTACCESS y aurai pas un moyen d"interdire un nom de domaine en particulier, tu a essayer avec un robots.txt!!!?
 
Nouveau WRInaute
zeb a dit:
Arf MDR le bougre il se repointe avec une autre IP deux heures plus tard
213.186.127.7 Mozilla/5.0 (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/)

Bonsoir,

Je déterre un vieux sujet mais je viens de tomber dessus en cherchant des infos sur "AhrefsBot"...

Pour éviter d'avoir à bloquer chaque adresse IP d'un bot que je ne veux pas voir, j'utilise ce code dans mon .htaccess (je n'ai mis que le bot dont il est question mais j'en ai une bonne liste dans la fonction en question, séparés par "|") :

Code:
SetEnvIfNoCase User-Agent (ahrefsbot) keep_out
...
<limit GET HEAD POST PUT>
	Order Allow,Deny
	Allow from all
	Deny from env=keep_out
</limit>

Cela m'a l'air plus efficace qu'une instruction dans le fichier robots.txt :wink:

Cordialement,

Christophe Ancelin
 
WRInaute accro
Lafontanelle a dit:
Cela m'a l'air plus efficace qu'une instruction dans le fichier robots.txt :wink:
Dépend du nombre d'entrées car quand ça chiffre en centaines c'est le serveur qui rame a chaque ressource, d'ou l'importance d'une gestion a deux vitesse ; robots.txt pour ceux qui le lisent et le respecte, ban htaccess pour les autres.
 
Discussions similaires
Haut