Les serveurs de Google seraient pleins ?

[KOogar]

Bonjour,

http://www.theregister.co.uk/2006/05/04/google_bigdaddy_chaos/

Those machines are full !!! => Les ordis sont pleins !!! ( *Google en a 200 000)

Pour résumer; cet article nous dit que BigDaddy semble ne plus crawler le web depuis des semaines et remonter les pages ayant du contenu. Perso le dernier site que j'ai lancer le prouve car il n'est absolument pas crawler. De plus l'article nous dit que cela est confirmé par l'un des ingenieurs de Google. Affaire à suivre...



¨

[TOMHTML]

We have a huge machine crisis

j'en parlais là.

en effet les serveurs de google ne sont pas si illimités que ça ^^ voila qui d'un coup limite beaucoup de leurs plans

[yazerty]

... ou augmente leur plan d'achat de stockage .

S'ils ont 200 000 machines, il leur suffit d'1 machine supplémentaire pour réindexer mes sites comme avant, non .

[pene-r]

Ouep,
Moi j'ai un peu de mal à croire qu'une usine à indexer n'anticipe pas l'espace disponible sur ses machines....
ça fait encore parler de google en tous cas

[OTP]

Ouep,
Moi j'ai un peu de mal à croire qu'une usine à indexer n'anticipe pas l'espace disponible sur ses machines....
ça fait encore parler de google en tous cas

+1
Comme si Renault se pointait à un GP de Formule 1 sans carburant pour ses voitures...

[serval2a]

Bonjour,

Mes sites sont crawlés régulièrement, même si la fréquence est faible.
Toutefois le nombre de pages indexées diminue sur la plupart même si il augmente pour d'autres.

[billyboylindien]

Moi j'ai un site completement absent de l'index lacé depuis 1 mois et demi :s

[HawkEye]

La logique voudrait que la réaction immédiate soit une plus forte répression de la fraude (blacklist), et plus de sévérité sur la duplication de contenu (duplicate content), non ?

[Szarah]

Sur le duplicate, ce serait logique puisque justifié par la nécessité. Mais ça reste flou pour les webmasters, le duplicate, Zimounet le rappelait encore il y a peu de temps.

Sur le blacklistage, peut-être que ce serait l'occasion de justifier plus de sévérité, oui.

Mais il y a plus à faire, peut-être : liquider les caches après s'être posé la question de leur réelle utilisation.

[billyboylindien]

et par la même se faire dela mauvaise pub qui viendrait étayer les rumeures sur leurs difficultées :s

[unpassant]

Ceci expliquerai quand même les problèmes que pas mal de webmaster ont.
Mais je trouve aussi bizard que google n'a pas prévu un éventuelle problème de stockage, avant de changer un algo on pense quand même a ca en premier...

[Szarah]

L'explication est peut-être très simple :
- multiplication des index à cause de l'utilisation concurrente de différents robots;
- problèmes inattendus dans la concaténation de ces index en un seul;
- d'où engorgement rapide.

La solution : tout arrêter le temps de concaténer proprement.
Et c'est ce qui a l'air de se produire, non ?

[HawkEye]

Il se peut que ça fasse simplement partie de la stratégie...

Google a joué à "c'est moi k'a la plus grosse" aveec Yahoo... Peut-être tient-il à présent compte des réponses du style "mieux vaut une p'tite travailleuse que...".

En gros, il se peut que Google redéfinisse doucement sa politique d'expansion sauvage pour s'orienter vers plus de qualité, réduisant de ce fait la dimension de son index en en retirant le contenu qui serait:

- illégal / dangereux (drogue/pédo/etc...)
- obsolète (404,domaines expirés,...)
- inutile (duplication de contenu, spamdexing,...)

Comme le dit Szarah, la "limite" de la duplication de contenu semble floue (certains disent 80% de similarité (mais, de contenu, de code, de texte, de quoi? on ne sait effectivement pas...).

Ce qui est certain en revanche, c'est que ceux qui dupliquent savent qu'ils dupliquent.

Un simple exemple: l'indexation des pages "basse-qualité" des forums (c'est IPB je pense?), retourne plus de 6 illions de pages (par nature "dupliquées"), et je ne parle que de ceux qui ont conservé "/lofiversion/" comme règlage

Je suis partisan du nettoyage !

[unpassant]

Si il veulent arreter de jouer a qui a la plus grosse, la premiere chose a faire est d'arreter de gonfler le nombre de page indexer sur un site, pour moi c'est x10...

Je suis aussi partisant du nettoyage, mais pour les forums je ne suis pas d'accord, sachant que lors de recherche ont trouve souvent plus de reponses positive sur les forums.

[Szarah]

En ce qui concerne les 404, je peux témoigner d'un effort particulier de Google :
- rapport sur un sitemap d'un URL en problème HTTP;
- cette page n'existe plus depuis longtemps, n'existe pas en cache, n'a jamais fait partie d'aucune sitemap;
- l'unique référence à cette page se trouve sur un forum américain;
- donc : Google fait un boulot minutieux à ce niveau-là, il aide à nettoyer.