Les bots google ne prennent pas de vacances !

[Zecat]

Un site mis en ligne le 1 juillet (du 15 juin au 1 juillet il y avait juste une page d'annonce de l'ouverture prochaine)... et voila ce que GWT affiche au niveau pages crawlées :



C'est du violent la montée en charge !

Petite question à ceux qui ont des gros sites ou des sites tres crawlés : ca peut monter a combien de pages par jour ce bestiau ? (Finstreet si tu traines ici, je crois que ton site est une auberge a bot non ?)

Note : Il n'y a pas de sitemap, je le laisse se démerdouiller avec le linkage interne ...

[IllusionPerdu]

Sur un de mes sites je suis avec une moyenne de 25 000 /jours

[Zecat]

Bon ben ca va ... il a encore de la marge de progression ...

Il comporte combien de pages ton site à 25.000 / jour ?

[IllusionPerdu]

Dans le sitmap il y en as 117 000 mais bon pas mal de page n'y sont pas vu que j'y met que les principales...

[finstreet]

moyenne à 15.000, avec des pics à 50.000

[HawkEye]

35K à 45K avec des pics à 80K chez moi

[Zecat]

C'est là qu'on prend conscience de la puissance de feu hallucinante de google !

[Madrileño]

Ils ont aussi beaucoup de serveurs.

[finstreet]

C'est là qu'on prend conscience de la puissance de feu hallucinante de google !

et c'est aussi là qu'on se dit que si GG pouvait cliquer aussi lol

[silef]

Petite question à ceux qui ont des gros sites ou des sites tres crawlés : ca peut monter a combien de pages par jour ce bestiau ? (Finstreet si tu traines ici, je crois que ton site est une auberge a bot non ?)

J'ai vu le bestiau à un peu plus de 82 000 de mon coté il y a quelques semaines.

[guicara]

Vous me laissez rêveur avec tout ces chiffres !

[HawkEye]

C'est là qu'on prend conscience de la puissance de feu hallucinante de google !

et c'est aussi là qu'on se dit que si GG pouvait cliquer aussi lol

Voilà quoi...
Parce que c'est bien gentil de faire chauffer les serveurs, mais si c'est pour pas un kopec...

Soit dit en passant, ils truandent bien la bandwidth, ils te font suer MySQL, et après ils viennent te dire que ton site est "trop lent"

[finstreet]

Ca je m'en suis aperçu suite à une optimisation. J'ai diminué le poids des pages en les gzipant... résultat Google en a téléchargé davantage... et a mis MySql à genoux. Maintenant que j'ai tout passé en cache, j'ai l'impression mais c'est juste une impression que Google vérifie la date du fichier avant d'éventuellement le télécharger. Si la date est identique, il ne télécharge pas. Mais c'est juste une idée comme ca en passant. Mais d'ailleurs y'a t-il une date quelque part.

[e-kiwi]

bon les jeunes, places aux homme : 600.000 pages crawlées par jour

[Zecat]

bon les jeunes, places aux homme : 600.000 pages crawlées par jour

Sur quel site ? il fait combien de pages ?