[NON Résolu] Googlebot et dépassement de quota

[dop20vt]

Bonjour,

C'est maintenant le 2ème mois que je dépasse mon quota de trafic 1and1 soit 25 Go par mois !! Après une petite enquête je vois que depuis le 2 octobre dernier le trafic a doublé du jour au lendemain (pas le nombre de visiteurs malheureusement). N'ayant pas souvenir d'avoir modifié lourdement mes sites ou rajouté quoique ce soit de gourmand j'ai été voir du côté des robots d'indexation.

Comme un idiot je n'ai pas conservé les données de crawltrack que j'ai vidé il y a peu pour faire de la place dans la base de données ... mais je me rappelle que Googlebot s'est mis à crawler un de mes sites comme un fou du jour au lendemain (environ 15000 pages par jour). Les dates pourraient je pense coller.

Avez vous déjà eu ce problème ? Avez vous des solutions ?

Dop

PS : ceci ne concerne pas mon www (dont la paged'accueil est assez lourde).

[cyrilca]

Tu peux limiter le crawl dans tes outils webmasters de google : outils - définir la vitesse d'exploration. Googlebot a vite tendance à pomper un bon paquet de bande passante (10-20 Go par mois pour moi aussi), mais si tu as tant de pages, et un trafic qui suit probablement, pourquoi rester dans un plan limité en bande passante chez 1and1 ?

[dop20vt]

justement c'est que le trafic suit pas plus que ça

[SpeedAirMan]

Tu peux limiter le crawl dans tes outils webmasters de google : outils - définir la vitesse d'exploration. Googlebot a vite tendance à pomper un bon paquet de bande passante (10-20 Go par mois pour moi aussi), mais si tu as tant de pages, et un trafic qui suit probablement, pourquoi rester dans un plan limité en bande passante chez 1and1 ?

Effectivement, limite le crawl si le problème vient bien de GoogleBot, ça devrait régler le problème.

Tu parles d'un trafic 1&1 limité à 25Go/mois si je ne me trompe pas. Or je viens de vérifier : la première offre de 1and1 limite son trafic à 100Go/mois.


Mon conseil : ajoute du contenu, optimise ton site, référence le, et va prendre un hébergement de qualité chez infomaniak.ch (bande passante illimitée)

[dop20vt]

le quota vient de changer chez 1and1 mais mon abonnement à moi est limité à 25Go !!

Je vais peut etre prendre la formule d'au dessus ca m'a couté 11€ le mois dernier le dépassement de quota

[SpeedAirMan]

le quota vient de changer chez 1and1 mais mon abonnement à moi est limité à 25Go !!

Je vais peut etre prendre la formule d'au dessus ca m'a couté 11€ le mois dernier le dépassement de quota

lol, c'est cher payé pour quelques Mo
à ce prix là (11€) tu as un meilleur hébergement.

[Charles (W.E.B)]

Avec le depassement t'as du payer le mutualisé (je suppose que c'est ca ton hébergement) aussi cher qu'un dédié low cost

[dop20vt]

ouais je suis en mutualisé !!

Ya scriptaculous aussi qui est trop gros !! J'essaye de passer à jquery .... mais pas simple !!

[Charles (W.E.B)]

Et pourquoi ne pas changer d'hébergement directement ? Histoire de profiter d'un quota correct et ne plus risquer de payer plus cher le dépassement que l'hébergement lui même.

[dop20vt]

Oui j'ai fait une demande por passer au nouveau pack initial avec 100Go de trafic / mois !!

[dop20vt]

Bon et bien Googlebot n'avait pas à voir avec mon souci !! Le responsable était crawltrack !!

J'ai désactivé le code hier en milieu de journée et mon trafic a été divisé par 3 !!!

[dop20vt]

Je ne devais pas avoir les yeux en fasse des trous mais crawltrack n'y est pour rien !! La désactivation du code n'a aucun impact sur le trafic !! Ce qui semble logique lorsque l'on est bien réveillé !! A part charger un peu les accès à la base de données, crawltrack ne peut pas agir sur le trafic !!