Architecture réseau Google

[kayne]

Bonjour ,

En 1998 , quand Google a lancé son site , leur boulot était de scanner les pages web puis de les rendre pertinentes .

Pour cela , ils devaient avoir une capacité de stockage au départ un minimum puissante : on arrive vite à quelques Téra-octets de données en cumulant les quelques millions de Ko .

Donc , une recherche consistait - consiste toujours d'ailleurs - en l'envoie du requête vers le serveur qui lui même renvoie la réponse selon les paramètres du moteur . Chose qui est facilement maîtrisée aujourd'hui par tout développeur .

Selon vous , si Google devait mettre en place leur architecture réseau en 2009 , quelle solution matérielle utiliserait-ils pour un stockage de données - disons 50 To - et une vitesse de réponse imbattable ?

Merci pour vos avis .

Cordialement

 

[RiPSO]

un pc de bureau avec un hub usb 50 ports avec 50 disques durs de 1To? :lol:

sérieux la première question c'est quel est ton projet?

 

[kayne]

en fait , je me demande quelle solution matérielle serait adéquate ...

On a un stockage de 50to de données qui sont des pages html ou php de 50ko en moyenne pour un mode d'affichage comme celui de Google , le même principe

J'ai pas réellement de projet si tu veux , je connais pas grand chose en administration réseau et j'essaie de voir les différents
systèmes mis en place 8)

 

[RiPSO]

solution matérielle la moins chère possible et en surnombre

 

[kayne]

le cout c'est une chose !!!

D'abord choisir le meilleur schéma opérationnel ....

T'as une idée ?

 

[abdelseo]

Le shéma opérationnel c'est super compliqué faut avoir un niveau CCNP pour la comprendre . serieux il y a beaucoup de technique implémenté juste pour assurer la sécurité je te dirai pas c'est énorme, bref l'architecture de google reste un secret comme son algorithme .

 

[kayne]

OK
Au sujet de l'algorithme , c'est vrai ils ont quelque chose propre à eux même .

Par contre , remplir un champ / envoyer une requête /interroger la BDD , des milliers de sites cherchent le résultat
dans des BDD de plus de 50 To

Si je prends l'exemple d'un site comme ThePirateBay , ils dépassent les 50To de fichiers sur serveurs .
Pourtant ils arrivent à pondre un résultat pertinent et ordonné

Ce qui m'intéresse c'est juste l'architecture réseau même basique entre le stockage des données et la requête utilisateur .

Serveurs , racks , DD ....

Un plan qui est classique pour tout moteur de recherche

En tout cas , merci pour d'avoir parlé du CCNP , très intéressant , ça a l'air super côté !!!! :wink: