Dotclear

Vous n'êtes pas identifié(e).

Annonce

#1 2011-08-16 17:57:31

Steph00
Membre
Inscription : 2011-08-15

Charge multiblogs

Salut,

A-t-on un recul sur la charge serveur avec dotclear 2 en multiblogs et plusieurs dizaines de milliers de blogs?... Je vois qu'il y a une seule table  pour les posts, la config etc. Dont des index sur du caractère (varchar) pour les ids des blogs par ex. Ca me parait un peu léger non?...

Hors ligne

#2 2011-08-16 18:14:16

Jean-Michel
Modérateur à ailes d'ange
Lieu : Paris
Inscription : 2006-08-22
Site Web

Re : Charge multiblogs

Bonsoir,

Je laisse les anciens et sorciers te répondent mais parmi les plus grosses fermes de blogs qui utilisent Dotclear, il y Gandi et Free…

Hors ligne

#3 2011-08-16 18:54:29

Steph00
Membre
Inscription : 2011-08-15

Re : Charge multiblogs

Oui mais free et gandi je suppose qu'ils ont des infrastructures qui ne se limitent pas à un serveur dédié...

Dernière modification par Steph00 (2011-08-16 18:56:57)

Hors ligne

#4 2011-08-16 19:26:23

BertrandB
Membre
Inscription : 2006-07-08
Site Web

Re : Charge multiblogs

Euhh sauf erreur, mais celui qui a "plusieurs dizaines de milliers de blogs" n'a surement pas non plus une infrastructure qui se limite à un serveur dédié ;-)

J'avais lu pas mal de trucs sur DC2 dont des commentaires des créateurs qui étaient très satisfaits des paramètres de leur création en terme d'empreinte mémoire et de charge par exemple ... ce qui m'avait d'ailleurs poussé à voir ce que je faisais moi à l'époque (une catastrophe ;-) ).
Bref, je pense que ça vaut le coup de se lancer et avec "plusieurs dizaines de milliers de blogs", il sera surement intéressant de pouvoir se payer une belle infrastructure pour faire tourner un DC2 ... même s'il était un peu gourmand :D

Hors ligne

#5 2011-08-17 06:54:07

Dsls
Modérateur couteau-suisse
Inscription : 2004-11-18
Site Web

Re : Charge multiblogs

Steph00 a écrit :

Salut,

A-t-on un recul sur la charge serveur avec dotclear 2 en multiblogs et plusieurs dizaines de milliers de blogs?... Je vois qu'il y a une seule table  pour les posts, la config etc. Dont des index sur du caractère (varchar) pour les ids des blogs par ex. Ca me parait un peu léger non?...

Un index reste un index, à mon avis. Varchar ou pas, c'est sur un hash qu'il se base in fine...

Si on veut jouer sur de très grosses fermes de blogs, il faut peut-être envisager de jouer plus finement sur les configurations des bases, en créant par exemple des partitions sur les tables à partir des ids de blogs, mais tous les hébergeurs de ne le proposent pas en natif, d'où l'absence de ces notions dans le core, de base.


Dyslexics have more fnu!

Hors ligne

#6 2011-08-17 09:11:46

Steph00
Membre
Inscription : 2011-08-15

Re : Charge multiblogs

Salut,
Merci pour vos réponses. Pour info si, plusieurs dizaines de milliers de blogs peuvent tourner sur un seul serveur dédié (qui en plus hébèrge plusieurs dizaines d'autres sites dont certains très fréquentés et donc très gourmands), j'en suis la preuve vivante. Je voulais proposer à mes bloggers et aux nouveaux inscrit de pouvoir choisir du DC2, mais avant de me retrouver dans une situation critique par rapport au serveur, je voulais m'assurer que ça tournerait bien.
Certe, j'ai dû faire des aménagements pour ma plateforme de blogs actuelle et justement un partitionnage des tables en fonction de l'id des blogs ;-)

Hors ligne

#7 2011-08-17 18:36:34

BertrandB
Membre
Inscription : 2006-07-08
Site Web

Re : Charge multiblogs

Tu dois avoir une belle machine tout de même non ? Ou alors c'est une optimisation de folie ! Il faut que je regarde cette chose que vous appelez "partitionnage de table", ça à l'air intéressant !

Hors ligne

#8 2011-08-18 09:53:20

Steph00
Membre
Inscription : 2011-08-15

Re : Charge multiblogs

Oui, c'est un bixeOn quadricoeur. Mais j'ai optimisé au maxi également.

Hors ligne

#9 2015-04-04 09:51:14

olc
Membre
Inscription : 2015-04-04

Re : Charge multiblogs

Hello,

Je déterre un très vieux post ...

Steph00 a écrit :

Certe, j'ai dû faire des aménagements pour ma plateforme de blogs actuelle et justement un partitionnage des tables en fonction de l'id des blogs ;-)

Je me demande si @Steph00 parle vraiment d'un partionnement des tables pour une base de données dotclear, ou s'il s'agit d'une autre plateforme de blogs.

Je gère une pf DC2 multiblogs qui contient à ce jour quelques 10k blogs. La table dc_posts grossit pas mal (300.000 lignes, 8 Go de data), et je dois prévoir une montée en charge à plusieurs dizaines de milliers de blogs d'ici un an ou deux... Or, compte tenu de la structure actuelle de la base, je ne vois pas comment partitionner, dumoins avec MySQL car les clés étrangères ne sont pas supportées (et il y a aussi un blocage lié aux clés uniques).

Peut-être que je me fais du soucis pour rien, que mysql gère sans broncher de tels volumes (le serveur sera dimensionné pour). Cela dit, j'aime assez peu gérer des tables de ~100 Go contenant des millions de lignes sans splitter un peu, ne serait que pour faciliter les opérations de maintenance (backups, réparations, etc.) ou éviter que le moindre traitement prenne des heures voire des jours ! :)

Bref, je serais intéressé par avoir des retours d'expériences, avoir connaissance de pièges, etc. D'avance, merci !

Hors ligne

#10 2015-04-07 14:50:30

Dsls
Modérateur couteau-suisse
Inscription : 2004-11-18
Site Web

Re : Charge multiblogs

tu peux essayer de faire un

ALTER TABLE dc_post 
    PARTITION BY HASH(blog_id)
    PARTITIONS 10

(à essayer sur un site de dev avant, hein)

En théorie cela ne change que les rouages internes de mysql, c'est censé être transparent pour l'appli...


Dyslexics have more fnu!

Hors ligne

#11 2015-04-09 08:23:53

olc
Membre
Inscription : 2015-04-04

Re : Charge multiblogs

Hello,

Merci pour ta suggestion @Dsls. La commande échoue :

> ALTER TABLE dc_post PARTITION BY HASH(blog_id) PARTITIONS 10;
ERROR 1217 (23000): Cannot delete or update a parent row: a foreign key constraint fails

C'est une limitation de mysql, http://dev.mysql.com/doc/refman/5.6/en/ … tions.html :

Foreign keys not supported for partitioned InnoDB tables

Par ailleurs, la structure de la table au niveau des clés uniques (et primaires) bloquerait aussi visiblement, http://dev.mysql.com/doc/refman/5.6/en/ … -keys.html

Dites, les big-guns, comment faites-vous ? Un bon gros serveur SQL gavé de CPU et de RAM épicétou ? :)

Hors ligne

#12 2015-04-09 20:01:59

nikrou
Membre
Inscription : 2007-10-02
Site Web

Re : Charge multiblogs

Il faut utiliser une vraie base de données.

p.s: Poussez pas, j'suis déjà plus là.


Je préfère être atteint de parkinson plutôt qu'alzheimer : je prefère renverser un peu de ma bière plutôt qu'oublier de la boire !

Présentez vos photos simplement avec Phyxo !

Hors ligne

#13 2015-04-09 20:32:13

olc
Membre
Inscription : 2015-04-04

Re : Charge multiblogs

nikrou a écrit :

Il faut utiliser une vraie base de données.

Mais encore ?

Hors ligne

#14 2015-04-10 06:07:55

nikrou
Membre
Inscription : 2007-10-02
Site Web

Re : Charge multiblogs

olc a écrit :
nikrou a écrit :

Il faut utiliser une vraie base de données.

Mais encore ?

C'était une blague toute pourrite. Personnellement dès que je peux j'utilise PostgreSQL en remplacement de Mysql même si je n'exploite pas au maximum les possibilités de PostgreSQL n'étant pas expert.


Je préfère être atteint de parkinson plutôt qu'alzheimer : je prefère renverser un peu de ma bière plutôt qu'oublier de la boire !

Présentez vos photos simplement avec Phyxo !

Hors ligne

Vous n'êtes pas identifié(e).

Pied de page des forums

Sites map