Google Crawl et BDD momentanément HS

[Haq]

Bonjour,

Ce matin, mon hébergeur (qui est le même que celui de webrankinfo: OVH) a subi une défaillance d'une vingtaine de minutes... la base de données n'a pas pu être accessible pendant ce temps, avec pour conséquence que le crawl de googlebot a forcément dû être perturbé pendant ce temps (puisque depuis cette nuit il scanne et rescanne mon site et qu'il le faisait juste avant la coupure).

J'ai pu constater que Webrankinfo avait eu la même mésaventure ce matin

Dès lors, je m'interroge:pensez-vous que Google ait prévu de "repasser" sur des pages présentant des signes de défaillance de MySql ou autres anomalies ? A mon avis non, puisqu'il m'est déjà arrivé (pour une seule page, heureusement) d'avoir une page en cache contenant une erreur MySql... mais pourtant il me semble que (si ça n'existe déjà), il serait assez simple pour Google de repérer ce genre de messages d'erreur de Bases de données.

Qu'en pensez-vous ?
aK.

[deblok]

Je ne pense pas qu'il repasse ... car à l'époque j'avait quelques page dans google avec plein d'erreur Mysql.

Pour info sur OVH il s'agit une petite panne sur les mutualisés mais d'une grosse panne sur les dédiés.
+ de 300 machines out sur les 1000 machines en dédiés. (pour info un dédié coûte en location entre 70 et 450e / mois)... Je vous raconte pas comment cela sur leur mailling list.

[Renardrouge]

D'expérience, quand le site est HS il repasse plus tard.
Quand il y a une erreur dedans, il ne repasse pas
(il a eu sa page.......)

[Jocelyn]

Dès lors, je m'interroge:pensez-vous que Google ait prévu de "repasser" sur des pages présentant des signes de défaillance de MySql ou autres anomalies ? A mon avis non, puisqu'il m'est déjà arrivé (pour une seule page, heureusement) d'avoir une page en cache contenant une erreur MySql... mais pourtant il me semble que (si ça n'existe déjà), il serait assez simple pour Google de repérer ce genre de messages d'erreur de Bases de données.

Je pense que ce n'est pas à Google de déterminer ce qui est une page d'erreur et ce qui est une page sans erreur. C'est au webmaster de trouver un moyer de l'indiquer.
Il existe un code d'erreur (HTTP 503) qui indique que le serveur n'est pas disponible.
Je ne sais pas comment Google réagit avec cette erreur.
Une chose à essayer, serait de renvoyer une erreur 500 ou 503 pour toutes les pages où la connexion à mysql échoue. Peut-être que Google reviendrait plus tard (avec l'erreur 503 on peut indiquer dans combien de temps il faut revenir).

Jocelyn

[Renardrouge]

Je pense que ce n'est pas à Google de déterminer ce qui est une page d'erreur et ce qui est une page sans erreur. C'est au webmaster de trouver un moyer de l'indiquer.

Quand ton serveur ne marche pas, tu n'as pas de recours. Et google s'il chippe une page incomplète ou pas de page, si c'est pas une panne bien propre, ben il repart avec ce qu'il a (comment veux-tu qu'il fasse la différence) ?


exemple d'une panne de serveur, time out:
toutes les pages en dessous sont sorties de l'index. Elles y étaient la dernière fois.

http://www.google.fr/search?q=cache:gFA ... r&ie=UTF-8