Google passe trop

**le Sam Oct 15, 2005 22:17**

Salut à tous,

je sais que je ne devrais pas me plaindre mais Google passe beaucoup trop sur mon site, c'est bien, je suis passé de 500 à 454 000 pages référencées en 1 mois (grâce à 3 sitemap) mais il me bouffe toutes les ressources du serveur ! Surtout depuis 2-3 jours, je n'arrive même plus a y acceder à certaines heures

Tout à l'heure mon site était très long et dans la liste des IP connectés j'avais un "googleboot" donc je pense que ça viens bien de là...

Ma question est donc : faut t-il virer mes sitemap pour les remettre que de temps en temps ?

Merci

**le Sam Oct 15, 2005 23:06**

si google te gêne....n'hésite pas a le rediriger sur mon -www ...faut faire tourner ;-)

**le Sam Oct 15, 2005 23:09**

Normalement Google est pas violent pour les serveurs.... moi ça m'étonne que ça vienne de Google... surtout que vu ton forum tu dois pas être sur un mutu ?
De toute façon une fois qu'il aura crawllé tes pages après ça se calmera... :wink:

**le Sam Oct 15, 2005 23:11**

Non il est bien, il me ramène plein de monde

Mais qu'il en fasse moins d'un coup ou alors qu'il passe la nuit

En 1 visite il arrive a scanner jusqu'à 400 Mo de pages !

Edit : j'ai un serveur dédié

**le Sam Oct 15, 2005 23:13**

Les bots de yahoo sont carrement plus violents, ils débarquent à 100 ou 120 d'un coup parfois

**le Sam Oct 15, 2005 23:18**

Un exemple depuis le début du mois :

ça fait beaucoup quand même, et le mois dernier c'était pire ! Vivement qu'il termine alors...

**le Dim Oct 16, 2005 9:07**

Bonjour,

Il y a un formulaire Google pour ça : Centre d'Aide Google - Googlebot et la surcharge sur mes serveurs

Jean-Luc

**le Dim Oct 16, 2005 12:28**

squawk a écrit:Les bots de yahoo sont carrement plus violents, ils débarquent à 100 ou 120 d'un coup parfois

Je suis d'accord. J'ai près de 2000 hits par jour alors que le site ne fait que quelques centaines de visiteurs. En fait, comme c'est un agrégateur de news, le contenu change tout le temps et je pense que c'est pour cela qu'il revient.

**le Dim Oct 16, 2005 16:27**

Et avec google adsense enfin le bot de google adsense on multiplie facilement la charge d'un serveur par 3 ou 4.

Car dès qu'un visiteur arrive sur une page j'ai google mediapartenair qui fait 3 affichages de cette page :-(

(systématiquement)

**le Dim Oct 16, 2005 23:45**

Merci pour ton lien jeanluc mais je suis en train de me demander si Google est le seul responsable

En une seule journée (le 15), une personne a réussie a télécharger 89 231 fchiers pour un total de 4,7 Go !!!

Comment c'est possible ça ?

Un aspirateur de site ?
On peux faire quoi contre ça ?

Merci

**le Lun Oct 17, 2005 0:10**

il vous arrive jamais d'aspirer des sites par curiosité ?

Ou alors en esperant garder l'info pour pouvoir la lire plus tard là ou vous n'avez pas de connection ? :lol:

( ps : 4,7 Go faut le faire quand même ... déjà 50 ou 100 mo c'est enorme mais là

je suis étonner )

Après pour le bot c'est pas nouveau ?

Vous avez fait un mail à Google voir déjà ?

**le Lun Oct 17, 2005 0:24**

Non je n'aspire jamais de site, ça sert à rien avec l'ADSL 10Mb/s

Pour le bot c'est pas nouveau mais d'un "particulier" si.

J'ai bien des images mais ça doit faire 1Go en tout, alors pour arriver à 4,7Go il faudrai lire toutes les pages du forum

(376 659 messages) et de la galerie... Il doit avoir une bonne connexion !
Je ne comprend pas là

Je pense pouvoir me plaindre auprès de Wanadoo si ça recommence...

**le Lun Oct 17, 2005 0:28**

Oui mais si vous n'auriez pas l'adsl :

exemple ;
On sort demain et on prend le portable qui n'a pas le net ;
la solution sera de sauvegarder par une aspiration le site pour le montrer à une personne qui n'a pas le web ou alors pour pouvoir le relire dans le train :wink:

Après un aspirateur de base prend en lien tout les liens forums compris et galerie donc voila

**le Lun Oct 17, 2005 7:29**

MagicManu a écrit:Merci pour ton lien jeanluc mais je suis en train de me demander si Google est le seul responsable

En une seule journée (le 15), une personne a réussie a télécharger 89 231 fchiers pour un total de 4,7 Go !!!

Comment c'est possible ça ? Un aspirateur de site ?
On peux faire quoi contre ça ?

Merci

A chaque fois que j'ai eu ce genre de stat avec un particulier derrière, tu peux être sur que dans les semaines qui ont suivis j'ai trouvé un site ayant "pompé" l'entièreté de la faq du site :-D

.

J'ai eu le cas récemment (debut septembre) et il y a une semaine j'ai trouvé un site perso.wanadoo possèdant toute la faq ainsi que certains liens et news du site. Il c'est même permis de mettre les templates sur son site sans changer les chemins et de ce fait il pompe sur ma bande passante. C'est en cours de résolution.
Comme j'ai quelques fautes par ci par là, on voit tout de suite si cela a été pompé ou pas :-D

Autrement celui qui e charge chaque mois c'est DIR.COM en moyenne 3 Go.

**le Lun Oct 17, 2005 9:15**

Ok, merci

ça m'ai déjà arrivé le plagiat et généralement avec des menaces j'ai réussi a faire supprimer le contenu.
Il y en a même un qui a enregistré mes pages dynamiques PHP (Fichier-Enregistrer-sous...) et qui m'a demandé ensuite pourquoi ça ne marchait pas sur son site ! :lol:

On s'écarte un peu du sujet mais il n'y a pas une solution pour éviter ça ?
Genre un script qui limite la bande passante pour une même IP ?

Google passe trop

Google passe trop

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne