Google passe trop

[MagicManu]

Salut à tous,

je sais que je ne devrais pas me plaindre mais Google passe beaucoup trop sur mon site, c'est bien, je suis passé de 500 à 454 000 pages référencées en 1 mois (grâce à 3 sitemap) mais il me bouffe toutes les ressources du serveur ! Surtout depuis 2-3 jours, je n'arrive même plus a y acceder à certaines heures

Tout à l'heure mon site était très long et dans la liste des IP connectés j'avais un "googleboot" donc je pense que ça viens bien de là...

Ma question est donc : faut t-il virer mes sitemap pour les remettre que de temps en temps ?

Merci

[opale-cia]

si google te gêne....n'hésite pas a le rediriger sur mon -www ...faut faire tourner

[squawk]

Normalement Google est pas violent pour les serveurs.... moi ça m'étonne que ça vienne de Google... surtout que vu ton forum tu dois pas être sur un mutu ?
De toute façon une fois qu'il aura crawllé tes pages après ça se calmera...

[MagicManu]

Non il est bien, il me ramène plein de monde Mais qu'il en fasse moins d'un coup ou alors qu'il passe la nuit

En 1 visite il arrive a scanner jusqu'à 400 Mo de pages !

Edit : j'ai un serveur dédié

[squawk]

Les bots de yahoo sont carrement plus violents, ils débarquent à 100 ou 120 d'un coup parfois

[MagicManu]

Un exemple depuis le début du mois :


ça fait beaucoup quand même, et le mois dernier c'était pire ! Vivement qu'il termine alors...

[jeanluc]

Bonjour,

Il y a un formulaire Google pour ça : Centre d'Aide Google - Googlebot et la surcharge sur mes serveurs

Jean-Luc

[Seb-]

Les bots de yahoo sont carrement plus violents, ils débarquent à 100 ou 120 d'un coup parfois

Je suis d'accord. J'ai près de 2000 hits par jour alors que le site ne fait que quelques centaines de visiteurs. En fait, comme c'est un agrégateur de news, le contenu change tout le temps et je pense que c'est pour cela qu'il revient.

[JeunZ]

Et avec google adsense enfin le bot de google adsense on multiplie facilement la charge d'un serveur par 3 ou 4.

Car dès qu'un visiteur arrive sur une page j'ai google mediapartenair qui fait 3 affichages de cette page

(systématiquement)

[MagicManu]

Merci pour ton lien jeanluc mais je suis en train de me demander si Google est le seul responsable

En une seule journée (le 15), une personne a réussie a télécharger 89 231 fchiers pour un total de 4,7 Go !!!


Comment c'est possible ça ? Un aspirateur de site ?
On peux faire quoi contre ça ?

Merci

[Madrileño]

il vous arrive jamais d'aspirer des sites par curiosité ?
Ou alors en esperant garder l'info pour pouvoir la lire plus tard là ou vous n'avez pas de connection ?

( ps : 4,7 Go faut le faire quand même ... déjà 50 ou 100 mo c'est enorme mais là je suis étonner )

Après pour le bot c'est pas nouveau ?
Vous avez fait un mail à Google voir déjà ?

[MagicManu]

Non je n'aspire jamais de site, ça sert à rien avec l'ADSL 10Mb/s

Pour le bot c'est pas nouveau mais d'un "particulier" si.

J'ai bien des images mais ça doit faire 1Go en tout, alors pour arriver à 4,7Go il faudrai lire toutes les pages du forum (376 659 messages) et de la galerie... Il doit avoir une bonne connexion !
Je ne comprend pas là

Je pense pouvoir me plaindre auprès de Wanadoo si ça recommence...

[Madrileño]

Oui mais si vous n'auriez pas l'adsl :

exemple ;
On sort demain et on prend le portable qui n'a pas le net ;
la solution sera de sauvegarder par une aspiration le site pour le montrer à une personne qui n'a pas le web ou alors pour pouvoir le relire dans le train

Après un aspirateur de base prend en lien tout les liens forums compris et galerie donc voila

[cthierry]

Merci pour ton lien jeanluc mais je suis en train de me demander si Google est le seul responsable

En une seule journée (le 15), une personne a réussie a télécharger 89 231 fchiers pour un total de 4,7 Go !!!


Comment c'est possible ça ? Un aspirateur de site ?
On peux faire quoi contre ça ?

Merci

A chaque fois que j'ai eu ce genre de stat avec un particulier derrière, tu peux être sur que dans les semaines qui ont suivis j'ai trouvé un site ayant "pompé" l'entièreté de la faq du site .

J'ai eu le cas récemment (debut septembre) et il y a une semaine j'ai trouvé un site perso.wanadoo possèdant toute la faq ainsi que certains liens et news du site. Il c'est même permis de mettre les templates sur son site sans changer les chemins et de ce fait il pompe sur ma bande passante. C'est en cours de résolution.
Comme j'ai quelques fautes par ci par là, on voit tout de suite si cela a été pompé ou pas

Autrement celui qui e charge chaque mois c'est DIR.COM en moyenne 3 Go.

[MagicManu]

Ok, merci
ça m'ai déjà arrivé le plagiat et généralement avec des menaces j'ai réussi a faire supprimer le contenu.
Il y en a même un qui a enregistré mes pages dynamiques PHP (Fichier-Enregistrer-sous...) et qui m'a demandé ensuite pourquoi ça ne marchait pas sur son site !

On s'écarte un peu du sujet mais il n'y a pas une solution pour éviter ça ?
Genre un script qui limite la bande passante pour une même IP ?