plantage serveur et google

[contre exemple]

Bonjour,
j'ai un serveur dédié et depuis maintenant plusieur jours, google fait planté mon serveur lorsqu'il crawl le site.
Avez vous déjà rencontré ce problème?
Je ne peux pas bannir son ip car sinon pas référencement.
je ne peux pas continuer comme ca car le serveur plante plusieurs fois par jour et le visiteurs vont partir
Alors comment faire?

Merci de votre aide

[achtungbaby]

Je sais que google est un mangeur de BP, il consomme chez moi près de 13% de la BP consommée.

Mais de là à planter un site, j'ai jamais vu.

Quand tu dis plante, il laggue ou il plante carrement ?

[yazerty]

Boudiou, Google qui fait tomber un dédié . C'est quel genre de dédié que tu as ? Chez quel prestataire ?
Parce que pour que ça tombe il faut que Google te bouffe pas mal de BP quand même là, non ?

[contre exemple]

il plante carrement!

[achtungbaby]

T'as pas plus de précision ?

[biddybulle]

il crawl peut être une url en particulier, genre un script php qui part en couille avec une récursivité sans fin et qui finit par saturer CPU et mémoire ?

enfin bon sans précision

[Romuald]

Il n'y a pas une detection d'user agent sur le Googlebot ?

[f_trt]

De toute façon c'est pas google le fautif mais bien la configuration du dédié car si c'est pas gogle qui le fera planter la prochaine fois ce sera des internautes suite à une promo ou un truc comme cela parcequ'ils seront veu un poil trop nombreux.

Le serveur y doit se trainer mais pas tomber.

A+

[contre exemple]

Nous remarquons que le robot media partners de google fait parfois planter la machine. en visitant certaines urls, où nous n'avons pas relevé d'anomalie particulière, le process apache gérant la connection de ce bot se met à s'approprier toute la ram puis tous le swap jusqu'a ce que Linux tue tous les services afin de libérer des ressources, et malgrés cela ce process apache arrive à faire tomber la machine en demandant toujours plus de mémoire malgrés tout ce que l'on a pu tenté de limiter niveau configuration.
avez vous une idée?

[biddybulle]

visites déjà à la main ces urls

ensuite regarde quel accès elle font, le code qui génére le html, une boucle sur un rewrite ?

des trucs dans le genre

[contre exemple]

je les aient visitées et je ne trouve rien d'anormale.
ce ne sont jamais les même et effectivement ce sont des url rewirtées

[f_trt]

Y a beaucoup de pages ?
Les pages sont du statique ou du html ?

Si ce sont des pages PHP et qu'il y en a pas beaucoup je ferais si c'est possible un include en début de page pour detecter media-partner et quand c'est lui lui servir des pages en cache en controlant son nombre de visites.

Mais aussi en faisant un petit mail à l'équipe technique à google en exposant le problème et en les prévenant de la recherche du problème.

Que donne un aspirateur de web aussi sur le site ?

A+

[contre exemple]

oui il y a pas mal de pages environ 100000 html

Si ce sont des pages PHP et qu'il y en a pas beaucoup je ferais si c'est possible un include en début de page pour detecter media-partner et quand c'est lui lui servir des pages en cache en controlant son nombre de visites.

je ne comprends pas ta remarque?

Mais aussi en faisant un petit mail à l'équipe technique à google en exposant le problème et en les prévenant de la recherche du problème.

Ca ne va pas porter préjudice au référencement?

Que donne un aspirateur de web aussi sur le site ?

je n'ai pas fais le test mais qu'est ce que ca peut apporter?

[f_trt]

oui il y a pas mal de pages environ 100000 html

Si ce sont des pages PHP et qu'il y en a pas beaucoup je ferais si c'est possible un include en début de page pour detecter media-partner et quand c'est lui lui servir des pages en cache en controlant son nombre de visites.

je ne comprends pas ta remarque?

>En fait je pensais que tes pages etaient en php mais la c'est 100 000 en html donc en statiques, comme je pensais qu'il pouvait y avoir un traitement lourd je lançais donc l'idée de mettre les pages en cache afin d'alléger le traitement mais la y a pas besoins puisque les pages sont figées.

Mais aussi en faisant un petit mail à l'équipe technique à google en exposant le problème et en les prévenant de la recherche du problème.

Ca ne va pas porter préjudice au référencement?

>Non pourquoi ? je dirais même au contraire quand ta machine plante tu as peut-être un préjudice plus grand car le robot n'arrive donc certainement pas a tout crawler. Et puis mais là je n'en sais rien du tout ils ont peut-être un paramétrage qu'ils peuvent appliquer pour te manger moins de bande passante (je l'ai jamais lu nul part cela si quelqu'un a une info la dessus)

Que donne un aspirateur de web aussi sur le site ?

je n'ai pas fais le test mais qu'est ce que ca peut apporter?

>Ben un parcours un peu semblable a celui du crawler et sutout tu dois pouvoir faire par tranche et du coups peut-être cernaer le problème plus facilement.

[Bourriquet]

Je pense à un truc comme ça, mais quelle est la taille de tes fichiers logs ?