Discussion autour de Xenserver... (avis aux connaisseurs)

Bonjour à tous,

J’aurais quelques questions à vous poser à propos de Xen et plus exactement Xenserver.
Je souhaite monter mon propre serveur/nas from scratch en utilisant un hyperviseur bare-metal libre sur un SSD (sur lequel tourneront 2 ou 3 machines virtuelles Debian sans GUI) et utiliser 3 disques durs SATA3 pour faire du stockage en RAID 5 soft.

Critères de choix :

  • le plus important pour moi étant le stockage de mes données, le RAID 5 est obligatoire : la “perte” de l’install de l’hyperviseur et de ses MV étant moins grave car “relativement” facile à refaire au cas où. (je compte de toute façon sauvegarder les MV régulièrement par rsync ou je ne sais quoi…)
  • coté performances, je n’ai pas besoin d’un serveur/nas hyper puissant (mon serveur actuel est un Atom N270@1.6 GHz avec 1Go de ram, c’est pour vous dire…) mais je souhaiterais faire de la virtualisation bare-metal… (pour avoir quand même des performances un peu meilleures)

Suivant tout cela, je me suis dirigé vers XenServer (v6.5) car il a l’air de bien faire son job d’après ce que j’ai pu lire à droite et à gauche. (et j’ai aussi envie de mieux le connaître)

Cependant, j’ai cru comprendre que Citrix ne recommende pas le RAID soft avec Xenserver mais je n’ai pas réussi à avoir plus de détails à ce propos.
-> Est-ce que Xenserver n’aime pas être exécuté sur du RAID soft ou est-ce qu’il n’arrive pas à gérer/piloter correctement un stockage en RAID soft ? (ou est-ce qu’ils disent ça tout simplement parce que ça passe, mais que les performances s’en ressentent ?)
-> Quelqu’un a-t’il déjà expérimenté ce genre de config et si oui, quels en ont été les résultats ?

De même, je n’ai pas réussi à savoir exactement où Xenserver stockait ses MV.
-> Quelqu’un sur serverfault indiquait [mono]/var/run/sr-mount/[/mono] : est-ce que vous pouvez me le confirmer ?

S’il y a des personnes expérimentées sur la techno Xenserver (Clochette ?) pour bien vouloir m’aider, svp ?
Merci d’avance,
Eric

[quote=“Eric75”]Bonjour à tous,

J’aurais quelques questions à vous poser à propos de Xen et plus exactement Xenserver.
Je souhaite monter mon propre serveur/nas from scratch en utilisant un hyperviseur bare-metal libre sur un SSD (sur lequel tourneront 2 ou 3 machines virtuelles Debian sans GUI) et utiliser 3 disques durs SATA3 pour faire du stockage en RAID 5 soft.
[/quote]

un hyperviseur bare-metal ?

Xen qui équipé la distribution Xenserver (bvasé sur CentOS ua pssage :stuck_out_tongue:) est un hyperviseur permettant la virtualisation, la paravirtualisation et l’hybridage entre les deux.

Depuis maintenant quelques temps c’est la formule un des hyperviseur en terme de performance pure mais aussi celui qui demande à mon humble avis le plus de connaissances pour être pleinement utilisé à grand coup de Xapi.

Si tu pars sur le principe de monter un hôte avec un besoin de performance et de sécurité pour du stockage je me dirigerai vers du RAID 10 de SSD pour l’hôte et les Serveurs virtuels (DomO + DomU ) et un RAID 5 en plus pour le stockage des données et des backups.

Voir ce tableau pour le calcul du nerf de la guerre (les IOPs :whistle: ) :

thecloudcalculator.com/calcu … -iops.html

Maintenant ce n’est clairement pas le même prix mais il faut bien visualiser que si tu n’a plus accès à tes VM et à Ton DomO tu n’aura plus non plus accès à tes données.

[quote=“Eric75”]Critères de choix :

  • le plus important pour moi étant le stockage de mes données, le RAID 5 est obligatoire : la “perte” de l’install de l’hyperviseur et de ses MV étant moins grave car “relativement” facile à refaire au cas où. (je compte de toute façon sauvegarder les MV régulièrement par rsync ou je ne sais quoi…)
    [/quote]

Il est facile de prévoir le coup en montant un raid te permettant justement de palier à une perte matériel.
A défaut la mise en cluster à aussi un avantage à l’aide d’un simple DRDB pour dupliquer bloc par bloc et effectuer de la synchronisation multi hôte.
C’est le cas pour de la haute disponibilité

[quote=“Eric75”]- coté performances, je n’ai pas besoin d’un serveur/nas hyper puissant (mon serveur actuel est un Atom N270@1.6 GHz avec 1Go de ram, c’est pour vous dire…) mais je souhaiterais faire de la virtualisation bare-metal… (pour avoir quand même des performances un peu meilleures)
[/quote]

Effectivement il n’est pas nécessaire de posséder du matériel hors de prix mais si tu souhaite te lancer dans la virtualisation, il te faudra le processeur adéquat et la quantité de ram nécessaire pour ne pas écrouler tes performances.

Sur mon Freenas (non émuler je suis à 32Go de RAM pour 12 disque de 2To le processeur étant un modeste quadcore phenom largement suffisant pour faire tourner le ZFS (sans doute le système de fichiers le plus intéressant pour un nas à mon avis).

[quote=“Eric75”]Suivant tout cela, je me suis dirigé vers XenServer (v6.5) car il a l’air de bien faire son job d’après ce que j’ai pu lire à droite et à gauche. (et j’ai aussi envie de mieux le connaître)
[/quote]

KVM fais très bien son travail aussi et on le retrouve dans nombre de projet de cloud, son seul soucis étant l’interface pour l’administrer hors de la CLI, Ovirt, Opennebula, Openstack.
Pour ce qui ets de Xen tu peux aussi regarder du côté de XOA qui viennent de sortir un mise à jour important de leur solution, Opennebula qui ne nécessite finalement que d’utiliser une machine virtuelle pour administrer des nœuds (tout comme XOA mais eux ne se limite pas à Xen pour l’hyperviseur).

Xencenter nécessite quant à elle un poste sous Windows pour l’utiliser et administrer son Xenserver.

[quote=“Eric75”]Cependant, j’ai cru comprendre que Citrix ne recommende pas le RAID soft avec Xenserver mais je n’ai pas réussi à avoir plus de détails à ce propos.
-> Est-ce que Xenserver n’aime pas être exécuté sur du RAID soft ou est-ce qu’il n’arrive pas à gérer/piloter correctement un stockage en RAID soft ? (ou est-ce qu’ils disent ça tout simplement parce que ça passe, mais que les performances s’en ressentent ?)
[/quote]

Ouïe dire, le raid soft ne peux rivaliser dans le cadre de gros matériel avec des quantité de cache importante sur des systèmes martyrisés.

Nous sommes bien loin de ces cas de figures, et j’utilise du raid software via mdadm sans souci.

[quote=“Eric75”]-> Quelqu’un a-t’il déjà expérimenté ce genre de config et si oui, quels en ont été les résultats ?
[/quote]

Oui, mais pas au taff.

[quote=“Eric75”]De même, je n’ai pas réussi à savoir exactement où Xenserver stockait ses MV.
-> Quelqu’un sur serverfault indiquait [mono]/var/run/sr-mount/[/mono] : est-ce que vous pouvez me le confirmer ?
[/quote]

Ils seront la où tu demande qu’il soient stockés.

Attention à ne pas confondre le VDI ou VHD avec le XML formant justement la configuration de la machine virtuelle.
Dans des solutions tel que Openstack, le chargement du VDI se fait pour ma part sur le raid10 et le déchargement de celui-ci part sur le volume de stockage lors de l’extinction de la machine.

Sur mon ancien montage Debian/kernel xenifié, j’utilisais un répertoire pour les VHD de mon choix la machine était clairement à la peinne du fait du manque de performance des disque, du choix du raid et de tout un tas de petits trucs qui se sont depuis améliorés

S’il y a des personnes expérimentées sur la techno Xenserver (Clochette ?) pour bien vouloir m’aider, svp ?
Merci d’avance,
Eric[/quote]

Pour finir je serais toi je verrai du côté de OpenNebula, un projet solide te permettant d’administrer tes machines virtuelles assez simplement et de pouvoir rajouter d’autres nœuds au fur et à mesure que ton porte monnaie te le permettra.
Cela reste assez simple à mettre ne place, ne te privera pas de pouvoir tester du KVM ou autre à l’avenir, et te permettra d’unifier toute ta gestion de machine virtuelle.
XOA est un projet que je surveille car il propose de bonne chose, et promet d’être vraiment pas mal même si il est clairement orientée Xen.

Maintenant si ton but à terme est de pouvoir administrer un petit cloud privé à toi Openstack est clairement un bon choix mais bien plus couteux à mettre ne place de façon pérenne.

PS : Je ne vois nulle mention à Proxmox qui est pourtant clé en main et vraiment sympa avec sa gestion du ZFS et de KVM, la gestion des containers n’étant possible qu’avec un vieux kernel il est fort à parier qu’a terme LXC ou une révision d’OpenVZ verra le jour avec un kernel plus décent.

Un grand merci Clochette pour avoir répondu de façon si exhaustive ! :clap:

[quote=“Clochette”]un hyperviseur bare-metal ?[/quote]Je voulais parler d’un hyperviseur “Type 1” ou “natif” dixit la page wikipedia car je ne souhaite pas utiliser un hyperviseur qui s’exécute par-dessus un OS hôte.

[quote=“Clochette”]Si tu pars sur le principe de monter un hôte avec un besoin de performance et de sécurité pour du stockage je me dirigerai vers du RAID 10 de SSD pour l’hôte et les Serveurs virtuels (DomO + DomU ) et un RAID 5 en plus pour le stockage des données et des backups.[/quote]Le besoin de performance = pas forcément, par contre le besoin en sécurité du stockage = oui !

Ta proposition de RAID 10 pour la partie Xenserver et RAID 5 pour les données m’a obligé :smiley: à me rafraîchir un peu la mémoire concernant les différents RAID qui existent… c’est bien parce que j’en avais besoin :blush: mais du coup, je ne sais plus trop quoi choisir comme solution…
J’étais initialement parti sur 1 SSD (sans secours) pour accueillir Xenserver + ses MV, une grappe RAID 5 de 3 disques durs internes de 1To chacun pour toutes mes données, et enfin 1 disque dur externe de 2To en USB3 plugué une nuit par semaine pour effectuer un simple rsync.

Je m’étais dit que :

  • si le SSD lâche, mes données seront toujours accessible via mdadm sur un autre pc (moyennant interruption + manips bien-sur) et que je pourrais réinstaller Xenserver et refaire les MV “tranquillement”,
  • si c’est un des disques du RAID 5 qui lâche, normalement no souci,
  • s’il y a 2 disques du RAID 5 HS en même temps, j’aurais mon backup (vieux au max d’un semaine) sur le disque dur externe de 2To.

Après si 2 disques du RAID 5 + le 2To sont HS en même temps… (mais bon dans ce cas, faut aussi se protéger des surtensions, de l’incendie, du vol, des tremblements de Terre, des attaques extra-terrestres… -> dans le milieu pro ok, mais là pour un simple particulier…)

Mais je suis bien évidemment ouvert à toutes critiques et suggestions. :wink:

[quote=“Clochette”]mais il faut bien visualiser que si tu n’a plus accès à tes VM et à Ton DomO tu n’aura plus non plus accès à tes données.[/quote]Sauf si je plugue mon RAID 5 sur un autre Linux + mdadm, non ? (je perds les serveurs sur les MV par contre)

[quote=“Clochette”]mais si tu souhaite te lancer dans la virtualisation, il te faudra le processeur adéquat et la quantité de ram nécessaire pour ne pas écrouler tes performances.

Sur mon Freenas (non émuler je suis à 32Go de RAM pour 12 disque de 2To le processeur étant un modeste quadcore phenom largement suffisant pour faire tourner le ZFS (sans doute le système de fichiers le plus intéressant pour un nas à mon avis).[/quote]Je pensais utiliser un quadcore i5 4430 avec 16Go de RAM sur une CM avec 6 connecteurs SATA3 : ça devrait le faire, non ?
Par contre ZFS connaît pas du tout coté fiabilité, intérêt par rapport à ext4, toussa…

[quote=“Clochette”]j’utilise du raid software via mdadm sans souci[/quote]Aaah, là tu me rassures !
Si je comprends bien, tu as juste installé mdadm sur Dom0, créé ton RAID avec les outils mdadm, puis ajouté un SR pointant vers ce RAID, c’est bien ça ?

Enfin, pour ce qui de Ovirt, Opennebula, Openstack, XOA… ne connaissant aucun de ces outils, il faut que je potasse un peu avant de pouvoir en discuter et sûrement revenir vers toi pour quelques questions :wink:

J’avoue être devenu un gros fainéant côté maintenance et c’est pourquoi j’aime me facilité la tâche, si effectivement le besoin de performance n’est clairement pas l’objectif abandonne directement le raid 10 qui t’obligera à multiplier les SSD.

Par contre un raid 1 te permettra de voir venir en cas de crash d’un disque (attention ce n’est pas du backup mais une possibilité de résilience) le raid 5 quand à lui perds en performance d’écriture mais reste convenable en lecture et apporte comme tu le souligne aussi un peux tranquillité pour un crash d’un disque.

  • EDIT - Conseil au passage attention à ne pas monter sur une grappe de disque des disques provenant d’une même série, en cas de défaut sur une série c’est la meilleur voir pour voir son raid foutu.

Pour ce qui est de ‘bare metal’, effectivement j’ai plus l’habitude des solutions de backup tel que baccula … et j’ai pris le pas pour citer les hyperviseur par type.

J’ai un peu de mal sur les backup rsync, je leur préfère des solutions plus efficace comme baccula par exemple qui permettent un backup complet (système + base) tout en offrant du différentiel et de l’incrémental pour ne pas risquer de staurer trop vite l’espace de stockage.
Cela reste malgré tout une bonne solution du moment que ton script récupère tous ce qu’il te faut.

Attention il y a malgré tout une différence entre effectuer un rsync d’un VDI/VHD + conf et d’effectuer une sauvegarde à l’aide d’une interface web tel que XOA, Openstack, Opennebula.
L’objet n’est pas ré applicable tel quel et en générale demande une copie de celui-ci à froid (hormis pour Hyperv qui se sert de la copie over VSS.
Vmware je ne connais pas j’éviterai d’en parler et Xenserver propose une solution de backup mais intégré à leur Xencenter.
Proxmox lui aussi propose une solution de backup des objet.

Reste à étudier ce que tu préfère.

Ne te limite pas à l’aspect hyperviseur prends aussi en compte justement l’intérêt de bénéficier d’un interface te facilitant la maintenance/gestion sans ajouter trop de surcouches.

Pour ce qui est de ZFS, son penchant pour linux serait BTRFS mais il n’est pas considéré assez mature pour être utilisé en production.

ZFS permet une gestion du raid en natif, couplé à l’équivalent des snapshot (réalisable avec lvm par exemple) le tout avec un outil de compression efficace et de reconstruction suite à des erreurs ou des corruptions légères.
Le revers de la médaille c’est qu’il demande de la RAM pour être pleinement efficace et une excellente bande passante de communication pour les disques.

C’est un produits qui provient de Solaris, racheté par Oracle et utilisé de façon professionnelle.
C’est un produit mature et efficace mais méconnu par sa complexité à être utilisé sous Linux, d’un autre côté c’est un système de fichier utilisé depuis des lustres du côté des unix/like.

Encore une fois Proxmox est un très bon produits, très efficace, clé en main et permettant pas mal de chose tel que la clusterisation, la haute disponibilité, etc …
Opennebula est vraiment simple à mettre ne place pour du multi nœuds simple, et Openstack réellement attirant pour qui possède de sérieuse connaissance et souhaitant mettre ne place de l’IAAS chez lui Mais nécessite un peut de matos.

J’ai regardé un peu du coté de ZFS… (mais pas coté BTRFS car je savais déjà qu’il n’est toujours pas considéré comme mature)

Si j’ai bien compris, pour avoir ZFS sur Linux il existe 2 possibilités : l’utiliser via FUSE (mais toujours en Béta et n’a pas l’air vraiment recommandé) ou utiliser ZFS On Linux.
Installer ZFS sur une Debian semble simple d’après les instructions indiquées ici.
-> Par contre, quand est-il de l’install sur Xenserver car j’ai vraiment trouvé aucune info à ce sujet ? :open_mouth:

Sinon Clochette, j’ai retrouvé un de tes posts dans lequel tu confirmais la meilleure efficacité d’un RAID 10 par rapport à un RAID 5.
-> Est-ce qu’il ne serait pas intéressant alors (pour “seulement” une cinquantaine d’euros de plus) d’ajouter un quatrième disque et passer ainsi ma grappe de stockage en RAID 10 ? (j’aurais certes toujours la même capacité, mais j’aurais de meilleures performances et surtout plus de sécurité qu’avec un RAID 5)

-> Et du coup, toujours dans le même esprit, ZFS ayant sa propre gestion du RAID (RAID-Z), si j’en arrive à 4 disques durs pourquoi ne pas passer alors en RAID-Z2 ?
J’aurais cette fois encore la même capacité mais plus de sécurité/fiabilité que le RAID 10, non ?
Cependant, j’ai rien vu/lu en ce qui concerne les performances d’un RAID-Z2 par rapport à un RAID 10.

[quote=“Eric75”]J’ai regardé un peu du coté de ZFS… (mais pas coté BTRFS car je savais déjà qu’il n’est toujours pas considéré comme mature)

Si j’ai bien compris, pour avoir ZFS sur Linux il existe 2 possibilités : l’utiliser via FUSE (mais toujours en Béta et n’a pas l’air vraiment recommandé) ou utiliser ZFS On Linux.
Installer ZFS sur une Debian semble simple d’après les instructions indiquées ici.
-> Par contre, quand est-il de l’install sur Xenserver car j’ai vraiment trouvé aucune info à ce sujet ? :open_mouth:

Sinon Clochette, j’ai retrouvé un de tes posts dans lequel tu confirmais la meilleure efficacité d’un RAID 10 par rapport à un RAID 5.
-> Est-ce qu’il ne serait pas intéressant alors (pour “seulement” une cinquantaine d’euros de plus) d’ajouter un quatrième disque et passer ainsi ma grappe de stockage en RAID 10 ? (j’aurais certes toujours la même capacité, mais j’aurais de meilleures performances et surtout plus de sécurité qu’avec un RAID 5)

-> Et du coup, toujours dans le même esprit, ZFS ayant sa propre gestion du RAID (RAID-Z), si j’en arrive à 4 disques durs pourquoi ne pas passer alors en RAID-Z2 ?
J’aurais cette fois encore la même capacité mais plus de sécurité/fiabilité que le RAID 10, non ?
Cependant, j’ai rien vu/lu en ce qui concerne les performances d’un RAID-Z2 par rapport à un RAID 10.[/quote]

Mon approche personnelle est un poil différente que la tienne, j’utilise actuellement de l’Openstack avec deux hôtes en cluster Actif/actif, j’utilise une réplication bloc par bloc DRDB pour l’instant mais je me documente sur du système de fichier réparti.

Et suite à l’intervention de Pascal j’ai justement investit un peux de temps et modifié mon fusil d’apaule pour du raid10 pour le système couplé à un raid 5 pour le stockage en lieu et place d’un raid 5 unique.
Maintenant je t’invite à relire ses écrits qui sont intéressant sur l’utilisation de trois disque pour effectuer du raid 1 et du raid 5 à la fois, vue que le raid logicielle ne prends pas un disque en entier mais une partition.

Ton but est tout autre, tu souhaite te monter de ce que j’ai pu comprendre un hôte de virtualisation pour deux ou trois machine virtuelle.
Reste Simple pour l’instant le raid 6 apporte un poil plus de sécurité mais grève sérieusement les performances d’écriture, tant que c’est pour du stockage il n’y a pas de souci mais l’intérêt est moindre à mon avis.

Si par contre tu souhaite y stocker les VHD/VDI des serveur virtuels cela va poser un souci de performances (est-ce vraiment grave ?).

Les mode de raid de zfs sont les suivants :

n = capacité d’un disque de la grappes.

  • stripping classique n
  • mirroring classique n/2
  • z-raid, équivalent au raid 5 donc tu par sur du n-1 pour le calcul d’espace disponible
  • z-raid2 lui se rapproche du raid 6 donc du n-2

Ajoute à ce la la possibilité d’adjoindre un disque de cache pour ‘booster’ les performance (un petit SSD suffit tant qu’il est costaud) et je dirai que le raid 5 est amplement suffisant sans besoin de performance haute.
Ne pas oublier qu’il est possible aussi de gérer un disque de spare en surplus qui pourra prendre le relai et laisser le raid opérationnel en cas de crash disque.

Contrainte à penser sur l’utilisation du ZFS il faut que la carte contrôleur soit capable de laisser pleinement la main à ZFS ou permettre le ‘jbod’.
C’est aussi pourquoi on ne le retrouve pas à mon avis aussi souvent dans le monde professionnel.
On lui préfère la facilité du raid matériel au détriment de la souplesse.

En résumé si tu peux te permettre le raid 10 est vraiment nettement plus véloce mais handicap par son coup en rapport au stockage.
le raid 5 est un très bon compromis avec un disque de spare pour monter un nas, le raid 6 apportant un poil plus de sureté au détriment de la performance qui peut-être amélioré avec un disque de cache (mais paix à son âme car si tu écrit beaucoup il sera d’autant plus sollicité).