Noyé par les requêtes de google: Tous mon serveur plante (CPU, RAM et SWAP à 99%)

[kiffegrave]

Bonjour,

Je possède plusieurs blog: dont Kiffegrave.com .
Celui est littéralement noyé par les requêtes du moteur de recherche de google ce qui fait planté mon serveur. J'avais déjà eu ce problème avec mon blog extalys.net que j'ai du enlevé momentanément pour que mes autres sites restent en ligne.

Je me suis inscrit aux servuces webtools de google mais cela ne m'a pas aidé.

De plus google ne reconnait pas la commande Crawl-delay: 3600 du fichier robots.txt

S'il vous plait aidez-mo je n'ai trouvé aucune solution!

Merci

[YoyoS]

L'optimisation de tes sites est peut-être à revoir ? Allégement des requêtes sql, mise en place de caches, ajout d'index sur certains champs, etc ..

On peut en savoir plus sinon ? Tu as quel trafic avec quel serveur ?

[finstreet]

Diminue déjà la vitesse d'indexation sur GWT. Ca te donnera quelques semaines (mois ?) pour optimiser ton site.

[spout]

Tu as essayé en installant WP Super Cache ou W3 Total Cache ?

[Madrileño]

Bienvenue au forum.

Vous pouvez comme le précise Spout utiliser un système de cache ou changer le crawl dans les outils comme le précise Finstreet. Vous pouvez aussi tester avec un autre serveur pour vérifier si ce n'est pas celui-ci qui ne fonctionne pas correctement.

Si vous souhaitez vous présenter au forum :
http://forum.webrankinfo.com/les-membres-qui-souhaitent-presentent-t17387.html .

N'hésitez pas à donner votre avis aux topics :
http://forum.webrankinfo.com/avis-sur-vos-sites.html .

[kiffegrave]

Sut tous les blog j'utilise un système de cache WP Super Cache.

J'ai réglé la vitesse d'indexation de google dans les outils webtools.

En lisant les logs je me sus aperçu que le problème provenait d'un autre moteur de recherche www.majestic12.co.uk/ et du google chinois www.baidu.com/ j'ai banni le premier en le mettant à travers l'ipTable. Je cherche d'ailleur une liste à inclure si vous avez ça

Sinon j'ai ajouter aux .htaccess toute une liste de spambot que j'ai trouvé sur http://perishablepress.com/ # PERISHABLE PRESS ULTIMATE USER-AGENT BLACKLIST

Avec ça j'espère avoir réglé 50% de mes problèmes.

Mais je suis ouvert à toutes les optimisations.

Sinon Kiffegrave fais dans les 3000 visiteurs unique par jours les autres doivent faire dans les 10.000 pages lues.

[JanoLapin]

tous les robots ne sont pas forcémment inutiles.

Certains peuvent par exemple trouver de l'utilité à Majestic12. Celui-ci propose d'ailleurs sur son site une page pour les webmasters, en leur expliquant comment le brider, afin d'atténuer les éventuels problèmes liés au passage du bot.