Messages: 227

Enregistré le: 1 Fév 2012

Message le Mer Jan 09, 2013 22:59

Quelle saloperie leur bingbot! Parfois il vient tellement souvent que toute ip confondu il peut me faire des centaines de connexions à la minute! Au point au quand il me fait ça le serveur est super difficile à contacter. pffff!
Haut
22 Réponses
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Mer Jan 09, 2013 23:03

idem chez moi c'est le bot le plus bourrin qui existe.
Haut
Messages: 227

Enregistré le: 1 Fév 2012

Message le Jeu Jan 10, 2013 9:53

Depuis la console Bing Webmaster tools on peut lui demander la vitesse de crawl par heure, mais c'est pas tellement efficace.
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Jeu Jan 10, 2013 9:59

Bloquez le par robots.txt alors, pour ce qu'il apporte de toute façon ;)
Haut
Messages: 227

Enregistré le: 1 Fév 2012

Message le Jeu Jan 10, 2013 10:06

Là c'est extrême :) Même si il rapporte peu c'est bien d'avoir un petit apport de trafic supplémentaire.
Haut
Messages: 804

Enregistré le: 24 Jan 2003

Message le Jeu Jan 10, 2013 10:07

Hmm, même si il ne me rapporte pas grand chose en terme de trafic, je me vois mal le bloquer.
Mais bon, je ne connais pas le problème du BingBot, je suis sur dédié depuis 6 ans, donc il peut faire ce qu'il veut que je ne le ressent pas.
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Jeu Jan 10, 2013 10:23

Je proposais juste une solution radicale pour ceux possédant un petit hébergement et non un serveur dédié.

Si bing vous oblige à passer d'un mutu à un dédié, alors il ne sert à rien de l'autoriser. La perte de bénéfice est bien plus grande en changeant de serveur dédié que de ne pas apparaitre sur bing =D
Haut
Messages: 804

Enregistré le: 24 Jan 2003

Message le Jeu Jan 10, 2013 10:28

Cela ne pourrait pas être un problème d'optimisation du site plutôt que BingBot ? Une boucle mal codée peut très facilement avec quelques visiteurs faire planter un site.
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Jeu Jan 10, 2013 10:34

Bien sure, mais on ne parlait pas trop développement jusqu'à ce que tu t'y mettes :P
Haut
Messages: 804

Enregistré le: 24 Jan 2003

Message le Jeu Jan 10, 2013 10:58

Lol, bah c'est juste qu'avec la suggestion de Tomybe + vérification des scripts, il y a peut-être moyen de faire en sorte qu'il n'encombre plus trop le site. Car au final, c'est ça qui dérange :D
Haut
Messages: 3566

Enregistré le: 23 Oct 2010

Message le Jeu Jan 10, 2013 11:03

Mon hébergeur m'a signalé une attaque dos à plusieurs moments de la journée depuis quelques jours... c'est un coup de bing si ça trouve :D
Haut
Messages: 227

Enregistré le: 1 Fév 2012

Message le Jeu Jan 10, 2013 11:26

Mon site est plutôt optimisé et ma config est pourtant assez bonne sur mon dédié. Mais il y a tellement de connexion bingbot par moment que ça rame! tail -f sur les logs apache est assez impressionnant pour constater du passage du bot.
Haut
Messages: 804

Enregistré le: 24 Jan 2003

Message le Jeu Jan 10, 2013 11:34

J'avoue n'avoir jamais regardé, tant que ça ne rame pas, je ne touche à rien :D
Haut
Messages: 835

Enregistré le: 29 Déc 2007

Message le Jeu Jan 10, 2013 12:35

t'as vérifié que l'ip est bien de bing et que c'est pas un DoS avec un user agent bing mais IP camerounaise ?
Haut
Messages: 227

Enregistré le: 1 Fév 2012

Message le Jeu Jan 10, 2013 13:08

oui ;)
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Jeu Jan 10, 2013 13:14

C'est quand même pas normal que ton serveur dédié rame, il pourrait accepter 10000bots bing si tes sites étaient optimisés. Comment font les sites à fort trafic ? Je pense qu'on est largement au dessus des visites de bingbot :)

Optimisations des index db, APC, memcache, nginx, config mysql/apache/php, caches divers, etc. La liste est longue pour les optimisations, mais c'est un autre problème. Il y a pas mal de topics où on en parle en long et en large, pas envie de me répéter dans ce topic perso.
Haut
Messages: 227

Enregistré le: 1 Fév 2012

Message le Jeu Jan 10, 2013 16:38

mes optimisations: memchache,varnish,optimisation du plus petit png,4go de ram (1go de libre la majeure partie du temps)... crois moi c'est optimisé!
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Jeu Jan 10, 2013 18:23

Le serveur sature alors, et utilisation de seulement 1go c'est pas forcément bien. Ca veut dire que tu peux augmenter des caches en ram un peu partout et donc augmenter les temps d'accès.

Ceci indique aussi que ton serveur n'est pas tout récent.
Haut
Messages: 14

Enregistré le: 28 Aoû 2012

Message le Sam Jan 12, 2013 2:03

Salut,
idem chez moi, serveur dédié jamais eu de problème, le serveur a déjà encaissé jusqu'à 9000 VU/heure. Hier je constate de grosse lenteur surtout mysql. Premier réflexe, attaque DoS ? Je vérifie les connexions au site et qu'est-ce que je trouve : jusqu'à 10 connexions par seconde de bingbot ??? WTF ? 600/minute ?

Et j'ai trouvé ça ici même si ça peut aider : http://forum.webrankinfo.com/crawl-delay-dans-fichier-robots-txt-pour- ... 15134.html (je vais essayer)
Haut
Messages: 227

Enregistré le: 1 Fév 2012

Message le Sam Jan 12, 2013 13:16

Merci tchicboom. Effectivement j'doit pas être loin non plus des 600/minutes.
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Dim Jan 13, 2013 10:40

YoyoS a écrit:Bloquez le par robots.txt alors, pour ce qu'il apporte de toute façon ;)

Environ 15% du trafic (bing + yahoo) chez moi. si je totalise bing et yahoo plus les réseaux et autres referer hors google c'est presque la moitié de mon trafic. Ce serait une énorme bêtise que de bloquer le seul bot "rentable" qui concurrence google. Mais bon c'est juste mon cas qui est peut être particulier.

Sinon niveau optimisation, perso je ne jure que par les cache d'output dans la mesure ou ils réduisent tout a eu seul. Un système même mal pensé et ou gourmand est de toute façon soulagé par ce genre de cache quoi qu'il se passe.

Après concrètement c'est vrai que les bots Bing sont totalement bourrin et pas futés.
Haut
Messages: 283

Enregistré le: 3 Sep 2011

Message le Mer Fév 20, 2013 17:38

J'en peux plus de ce bot de débile !!! Il me fout en l'air le serveur régulièrement depuis 3 semaines !! Je suis à la limite de faire un procès pour déni de service (c'est la fois de trop aujourd'hui, raz le c...). Des montées en charge monstrueuses qui explosent mon dédié par ci par là par période de 30 à 60 min, mais qui a programmé aussi bêtement ces bots ? Je n'avais jamais connu ça avant et vous ?
Haut
Messages: 4024

Enregistré le: 14 Sep 2006

Message le Ven Fév 22, 2013 11:14

t'as bien spécifié dans ta console Webmaster Bing que tu voulais qu'ils soient moins agressifs ?
Haut