[Mysql] Gestion de la mémoire

[RiPSO]

Salut

Je me suis décidé à essayer de mieux gérer mes accès à mes bdd mysql histoire d'optimiser un peu mes projets et je bloque sur un point : l'utilisation de la mémoire...

J'ai découvert le moteur MEMORY qui aurait pu être intéressant mais qui ne correspond pas à mes attentes car je ne peux pas y mettre de champ type text... Tant qu'à faire j'aurais aussi apprécié que les données ne se perdent pas a chaque relancement du serveur mais à la limite il suffit de recharger les données en mémoire...

Ce que je cherche en fait c'est que ma table soit dans la mémoire RAM et sur le disque dur :
- pour un select ça doit lire en RAM,
- pour un insert ou autre update ça doit faire les modifs en RAM et sur HD
Il faudrait que je puisse gérer quelle table je souhaite placer en RAM.

Quelqu'un pourrait m'éclairer un peu svp?

[jcaron]

Ce que tu veux c'est un cache, et, miracle, joie, bonheur, et félicité, il se trouve que tous les OS décents implémentent ça depuis de années. Si ta table tient en RAM et qu'elle est fréquemment accédée elle devrait y rester en permanence, pas de souci de ce côté-là.

Après, tu peux avoir le problème que ce n'est pas tellement l'accès disque qui pose problème, mais l'overhead de la requête SQL (préparation de la requête, transmission réseau -même si c'est en local- parsing de la requête, exécution du plan, tris, etc.). Dans ce cas tu peux avoir intérêt à utiliser un cache "plus près" de ton code PHP, soit local (nombreuses options), soit réparti (comme memcached).

Jacques.

[RiPSO]

Merci pour ta réponse j'avais l'impression de demander un truc impossible ou alors d'avoir sorti une grosse bêtise

ok donc en fait je sais pas si je me suis bien fait comprendre

ce que je veux c'est être sur que ma table soit en RAM, pouvoir aussi choisir quelle table doit l'être.
Un système de cache, à part si je n'ai pas compris l'intérêt, ne me parait pas convenir vu que les données devront être modifiées, ou insérées. A savoir aussi les requêtes ne seront jamais les mêmes (donc pas possible de mettre en cache un résultat).

en fait ce que je souhaite c'est que ça fonctionne comme d'habitude mais que les tables soient lues exclusivement en RAM pour accélérer les temps de lecture des données.

Dis moi direct si j'ai mal compris surtout car je m'aventure dans un truc que je ne connais pas

Pour l'instant la seule solution que j'ai trouvé c'est de continuer à utiliser mysql comme je le fais jusqu'à maintenant mais en plus me créer un petit serveur en python qui mettra mes bases en RAM. Et en gros : au lancement du serveur ca charge les bases, et ensuite faire la lecture que via ce serveur, et l'écriture se fera via mysql et aussi via ce serveur.
Je sais qu'en python je sais le faire mais j'aurais aimé savoir si mysql pouvais gérer un truc spécifique comme ça car à part des variables d'allocation de mémoire j'ai rien trouvé pour gérer ça sur une table précise

[jcaron]

Des caches, il y en a à de nombreux niveaux. Le premier cache dont je parlais c'est celui de l'OS, qui travaille au niveaux de blocs de données du disque: chaque fois qu'un bloc est lu, une copie est conservée en mémoire. S'il est écrit, il est modifié sur disque, et la copie en mémoire est modifiée aussi. Et ça reste en mémoire tant que l'OS n'a pas besoin de RAM pour d'autres choses (des processus ou pour mettre en cache d'autres données qui lui paraissent plus souvent utilisées).

Si tu veux être à peu près certain que ta table est en mémoire, il te suffit de faire régulièrement un "select * from table" qui va lire toute la table (mais pas forcément les index qui vont avec qui pourraient être utilisées lors des requêtes qui t'intéressent), et hop, ce sera chargé en RAM, ou si c'est déjà chargé, les compteurs LRU seront rafraichis pour éviter que les pages correspondantes soient ejectées de la RAM au profit d'autre chose. Pour les index c'est un peu plus délicat, mais il suffit de faire un truc genre cat nom_du_fichier >/dev/null et ça aura le même effet.

Bref, si tu as assez de RAM, il y a virtuellement rien ou peu de chose à faire. Si tu n'en as pas assez, il t'en faut plus.

Jacques.

[RiPSO]

Ok je vais faire mes tests en trifouillant les variables de mon ma machine en local déjà pour voir.
Sans avoir fait de modif pour l'instant ça ne reste pas en mémoire donc j'imagine que je n'ai pas encore bien configuré les variables :



Mon serveur à 8Go de RAM que je ne pense pas encore exploiter à fond donc j'ai un peu de marge...

Merci pour ton point de vue, je reviens donner les conclusions de mes tests plus tard

[RiPSO]

Bon bin ça ne fonctionne pas...

j'ai mis :
key_buffer = 512M
tmp_table_size = 512M

(ma machine locale tourne avec 1,5Go de RAM)

Et rien, la RAM se revide à chaque fois que ma requête est terminée (la requête charge une table de 170Mo)

voici les valeurs des variables :

Code: Tout sélectionner

Variable     Valeur pour la session / Valeur globale
auto increment increment    1
auto increment offset    1
automatic sp privileges    ON
back log    50
basedir    /usr/
binlog cache size    32 768
bulk insert buffer size    8 388 608
character set client    utf8
(Valeur globale)    latin1
character set connection    utf8
(Valeur globale)    latin1
character set database    latin1
character set filesystem    binary
character set results    utf8
(Valeur globale)    latin1
character set server    latin1
character set system    utf8
character sets dir    /usr/share/mysql/charsets/
collation connection    utf8_general_ci
(Valeur globale)    latin1_swedish_ci
collation database    latin1_swedish_ci
collation server    latin1_swedish_ci
completion type    0
concurrent insert    1
connect timeout    10
datadir    /var/lib/mysql/
date format    %Y-%m-%d
datetime format    %Y-%m-%d %H:%i:%s
default week format    0
delay key write    ON
delayed insert limit    100
delayed insert timeout    300
delayed queue size    1 000
div precision increment    4
keep files on create    OFF
engine condition pushdown    OFF
expire logs days    10
flush    OFF
flush time    0
ft boolean syntax    + -><()~*:""&|
ft max word len    84
ft min word len    4
ft query expansion limit    20
ft stopword file    (built-in)
group concat max len    1 024
have archive    YES
have bdb    NO
have blackhole engine    YES
have compress    YES
have crypt    YES
have csv    YES
have dynamic loading    YES
have example engine    NO
have federated engine    DISABLED
have geometry    YES
have innodb    YES
have isam    NO
have merge engine    YES
have ndbcluster    DISABLED
have openssl    DISABLED
have ssl    DISABLED
have query cache    YES
have raid    NO
have rtree keys    YES
have symlink    YES
hostname    PC
init connect    
init file    
init slave    
innodb additional mem pool size    1 048 576
innodb autoextend increment    8
innodb buffer pool awe mem mb    0
innodb buffer pool size    8 388 608
innodb checksums    ON
innodb commit concurrency    0
innodb concurrency tickets    500
innodb data file path    ibdata1:10M:autoextend
innodb data home dir    
innodb adaptive hash index    ON
innodb doublewrite    ON
innodb fast shutdown    1
innodb file io threads    4
innodb file per table    OFF
innodb flush log at trx commit    1
innodb flush method    
innodb force recovery    0
innodb lock wait timeout    50
innodb locks unsafe for binlog    OFF
innodb log arch dir    
innodb log archive    OFF
innodb log buffer size    1 048 576
innodb log file size    5 242 880
innodb log files in group    2
innodb log group home dir    ./
innodb max dirty pages pct    90
innodb max purge lag    0
innodb mirrored log groups    1
innodb open files    300
innodb rollback on timeout    OFF
innodb support xa    ON
innodb sync spin loops    20
innodb table locks    ON
innodb thread concurrency    8
innodb thread sleep delay    10 000
interactive timeout    28 800
join buffer size    131 072
key buffer size    536 870 912
key cache age threshold    300
key cache block size    1 024
key cache division limit    100
language    /usr/share/mysql/english/
large files support    ON
large page size    0
large pages    OFF
lc time names    en_US
license    GPL
local infile    ON
locked in memory    OFF
log    OFF
log bin    OFF
log bin trust function creators    OFF
log error    
log queries not using indexes    OFF
log slave updates    OFF
log slow queries    OFF
log warnings    1
long query time    10
low priority updates    OFF
lower case file system    OFF
lower case table names    0
max allowed packet    16 777 216
max binlog cache size    4 294 963 200
max binlog size    104 857 600
max connect errors    10
max connections    500
max delayed threads    20
max error count    64
max heap table size    16 777 216
max insert delayed threads    20
max join size    18446744073709551615
max length for sort data    1 024
max prepared stmt count    16 382
max relay log size    0
max seeks for key    4 294 967 295
max sort length    1 024
max sp recursion depth    0
max tmp tables    32
max user connections    0
max write lock count    4 294 967 295
multi range count    256
myisam data pointer size    6
myisam max sort file size    2 146 435 072
myisam recover options    BACKUP
myisam repair threads    1
myisam sort buffer size    8 388 608
myisam stats method    nulls_unequal
ndb autoincrement prefetch sz    1
ndb force send    ON
ndb use exact count    ON
ndb use transactions    ON
ndb cache check time    0
ndb connectstring    
net buffer length    16 384
net read timeout    30
net retry count    10
net write timeout    60
new    OFF
old passwords    OFF
open files limit    4 510
optimizer prune level    1
optimizer search depth    62
pid file    /var/run/mysqld/mysqld.pid
plugin dir    
port    3 306
preload buffer size    32 768
profiling    OFF
profiling history size    15
protocol version    10
query alloc block size    8 192
query cache limit    1 048 576
query cache min res unit    4 096
query cache size    536 870 912
query cache type    ON
query cache wlock invalidate    OFF
query prealloc size    8 192
range alloc block size    4 096
read buffer size    131 072
read only    OFF
read rnd buffer size    262 144
relay log    
relay log index    
relay log info file    relay-log.info
relay log purge    ON
relay log space limit    0
rpl recovery rank    0
secure auth    OFF
secure file priv    
server id    0
skip external locking    ON
skip networking    OFF
skip show database    OFF
slave compressed protocol    OFF
slave load tmpdir    /tmp/
slave net timeout    3 600
slave skip errors    OFF
slave transaction retries    10
slow launch time    2
socket    /var/run/mysqld/mysqld.sock
sort buffer size    2 097 144
sql big selects    ON
sql mode    
sql notes    ON
sql warnings    OFF
ssl ca    
ssl capath    
ssl cert    
ssl cipher    
ssl key    
storage engine    MyISAM
sync binlog    0
sync frm    ON
system time zone    CEST
table cache    2 000
table lock wait timeout    50
table type    MyISAM
thread cache size    8
thread stack    131 072
time format    %H:%i:%s
time zone    SYSTEM
timed mutexes    OFF
tmp table size    536 870 912
tmpdir    /tmp
transaction alloc block size    8 192
transaction prealloc size    4 096
tx isolation    REPEATABLE-READ
updatable views with limit    YES
version    5.0.75-0ubuntu10.2
version comment    (Ubuntu)
version compile machine    i486
version compile os    debian-linux-gnu
wait timeout    28 800