Une balade du coté de...

Gil Deluermoz, mars 2019

Contexte

Le Parc national des Ecrins disposait depuis 2014 de 2 hyperviseurs VMware ESXI 5.5 hébergés chez un hébergeur externe. Ces 2 machines accueillaient une quinzaine de serveurs linux sous forme de machines virtuelles.

Le choix de fonctionner avec une licence VMware gratuite présentait certaines limitations. Notamment l’impossibilité de sauvegarder ou de cloner à chaud les VM.
L’outil vSphere (5.5) permettant de gérer l’hyperviseur ne fonctionne que sous windows ; une difficulté supplémentaire pour notre petite équipe qui a fortement migré ses postes de travail sous Linux.

Virtualiser libre

A l’occasion du renouvellement de ces machines vieillissantes, nous nous sommes posé la question de rester sous ESXI ou de tenter une autre aventure.
Notre petite équipe n'ayant pas beaucoup de temps à consacrer aux serveurs, il fallait une solution éprouvée et nous permettant de remonter les VM existante tel que.
Migrer l’ensemble de notre architecture hébergée n'est pas une mince affaire.

La technologie Proxmox est mûre. Elle est libre (licence AGPLv3) et basée sur l’hyperviseur Linux KVM.
Elle propose également une solution de containers LXC qui était en cours d’évaluation sur nos postes de travail.
Alors pourquoi...

Proxmox propose une interface d'administration claire et complète :

• Monitoring
• Sauvegarde VM automatisée (jobs) et rapports par email
• Ressources réservées et ressources partagées
• Gestion des utilisateurs et des permissions
• ...

Evaluation et faisabilité

Avant une migration d’une telle ampleur, nous devions évaluer la faisabilité et les différentes possibilités techniques.

Les principales questions...

• Peut-on migrer sans trop de difficulté des VM ESXI dans Proxmox ?
• Quels sont les points clés concernant le matériel pour de bonnes performances ?
• 2 hyperviseurs ou tout sur une seule machine ?
• ZFS ou pas ZFS ?

...les principales réponses

Sur le Ouaib, ils disent qu'on peut migrer des disques vmdk (ESXI) vers Proxmox. Super ! Et que c'est plus facile si les VM sont des machines Linux. Parfait !
Sans trop entrer dans le détail, il est rapidement apparu que le point clé se situait au niveau de la performance des disques durs.
En effet les VM écrivent toutes sur le ou les mêmes disques physiques et le nombre d’IOPS peut rapidement devenir un goulet d’étranglement.
Donc SSD ou mieux NVMe.

Il fallait cependant suffisamment d’espace disque pour héberger un nombre important de VM et les disques SSD ou NVMe en offre généralement peu ! Beaucoup de VM veut aussi dire besoin de ressources en mémoire vive suffisantes et des ressources processeurs adaptées. Là où Vmware exige des machines avec une carte RAID (hard RAID), Proxmox peut fonctionner en RAID logiciel (soft RAID).

La machine retenue

Bon mais vu notre budget, on prend quelle(s) machine(s) ? Une ou deux comme avant ?
Nous avons fait le choix de tester avec d’une seule machine, solide. Un MG-128 chez l'hébergeur.

• 2 disques NVMe de 1,92To en RAID1
• un bi processeurs 2x Xeon E5-2630v3@ 2.40GHz, donc 2 X 8C/16T soit la possibilité de 32 vCPU
• 128Go de RAM

La machine est d'abord louée pour un mois afin de tester la faisabilité "Proxmox" en parallèle des 2 hyperviseurs ESXI.

Installation

L'hébergeur propose une installation de Proxmox VE avec ZFS.
ZFS est aussi une technologie mûre et louée par tous ceux qui l’utilisent. Donc pourquoi pas !
Mais attention, ZFS n'est pas un système de fichiers comme les autres ...
Après quelques clics dans le manager de l'hébergeur, la machine est disponible et un mail arrive avec une URL et un mot de passe pour se connecter à l’interface web d’administration. Ce même mot de passe permet de connecter la machine en SSH.

Quelques clics supplémentaires dans le manager et on active 500Go de backup FTP en NFS (c’est une options comprise avec la location de la machine).
Cet espace monté sur un point de montage de l’hyperviseur un petit tuto pour faire ça apparaît dans l’interface web Proxmox et va nous permettre de sauvegarder les VM et certains de leurs contenus.

Y’a pu qu’à migrer ! Banzaï !

Sur ce point, facile !
Je vous ai fait un petit article. Tout est expliqué là esxi2Proxmox

Bilan

• Avec quelques spécificités pour des OS anciens (Debian 7, Ubuntu 12.04), la migration de VM Linux de VMware vers Proxmox est relativement fluide et transparente.
• La création des VM et des conteneurs LXC en volumes ZFS permet des gains d’espace disques importants et rend donc l’usage de disques SSD ou NVMe compatibles avec un nombre important de serveurs virtualisés.
  Avec 17 VM et 6 conteneurs, ZFS permet d’utiliser moins de 600 GO d’espace disque alors que plus de 2500 Go leur sont alloués.
  Par contre si le besoin est de créer des serveurs de stockage, ce type de disques n’est évidement pas adapté.


• L’usage des conteneurs LXC (unprivileged de préférence) est d’une simplicité déconcertante.
• De nombreux templates de machines pré-montées sont proposés (nous n'avons testé que Debian et Ubuntu mais il en existe des tas : Drupal, Joomla, Nextcloud, Gitlab, OpenLDAP, PostgreSQL, MySQL, Redmine, Symfony, Django, …)
• La configuration réseau se fait intégralement en interface
  
• l'espace disque consommé est limitée
• les performances sont meilleures que celles des VM
• voir les avantages et les inconvénients ici
• Les snapshots ne font pas gonfler l'usage de l'espace disque comme sous ESXI. Les snapshots ZFS
• Les sauvegardes de VM à chaud sont un vrai confort (gros plus).
  
• La programmation de taches de sauvegardes est réellement simple et se fait depuis l’interface.
  

  On peut recevoir un mail en cas d’erreur seulement ou systématiquement.

  
  
• Au final, l’hyperviseur accueille toutes les VM des 2 anciens hyperviseurs et se porte à merveille.


• A priori, les CPU sont plutôt au chômage technique.
  La machine est un peu surdimensionnée sur ce point même si ZFS est décrit comme necessitant des ressources importantes et que les applications métiers peuvent fortement solliciter la machine lors de requêtes PostgreSQL lourdes.
• la RAM, dont une partie est réservée et l’autre partagée entre les VM semble bien dimensionnée et nous a permis d’allouer plus mémoire à certains serveurs qui en manquaient (PostgreSQL notamment)
• Toutes les VM et tous les conteneurs actifs sont sauvegardés en dehors de l’hyperviseur, sur l’espace de backup FTP.
• Les serveurs, nouveaux ou migrés fonctionne parfaitement et sont plus réactifs qu’avant.

Et après ?

Les 500 Go d’espace de backup FTP sont un peu juste. Couplé à un projet de mise à disposition de gros fichiers médias, nous envisageons la location d’une machine de sauvegarde.
Ceci permettrait aussi de sauvegarder plusieurs versions des VM et conteneurs mais aussi et surtout de monter un second nœud Proxmox afin d’envisager de la réplication.

TODO

Monitoring des VM et de l’hyperviseur (notamment de l’espace disque)
Ressources techniques :
Proxmox :
ZFS :
Un bon résumé de ZFS
Conteneurs LXC :
Travailler avec des conteneurs LXC dans son Ubuntu