Monter tout les disques dur sur /home

Support Debian
#1

Bonjour

J’ai un serveur dédié avec 12 disques dur de 10to chacun

J’ai 2 disques dur monté sur raid 0

J’aimerai pouvoir mettre tout mes disques dur sur raid 0 pour pouvoir profiter de tout l’espace disponible

J’ai essayer deux trois trucs mais impossible ( sdc )

root@srv60805:~# lsblkNAME    MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT

sda       8:0    0  9.1T  0 disk  
├─sda1    8:1    0  487M  0 part  /boot/efi
├─sda2    8:2    0  7.6G  0 part  
│ └─md0   9:0    0 15.3G  0 raid0 [SWAP]
├─sda3    8:3    0  977M  0 part  
│ └─md1   9:1    0  1.9G  0 raid0 /boot
└─sda4    8:4    0  9.1T  0 part  
  └─md2   9:2    0 18.2T  0 raid0 /

sdb       8:16   0  9.1T  0 disk  
├─sdb1    8:17   0  487M  0 part  
├─sdb2    8:18   0  7.6G  0 part  
│ └─md0   9:0    0 15.3G  0 raid0 [SWAP]
├─sdb3    8:19   0  977M  0 part  
│ └─md1   9:1    0  1.9G  0 raid0 /boot
└─sdb4    8:20   0  9.1T  0 part  
  └─md2   9:2    0 18.2T  0 raid0 /
sdc       8:32   0  9.1T  0 disk  
└─sdc1    8:33   0  9.1T  0 part  
sdd       8:48   0  9.1T  0 disk  
sde       8:64   1  9.1T  0 disk  
sdf       8:80   1  9.1T  0 disk  
sdg       8:96   1  9.1T  0 disk  
sdh       8:112  1  9.1T  0 disk  
sdi       8:128  1  9.1T  0 disk  
sdj       8:144  1  9.1T  0 disk  
sdk       8:160  1  9.1T  0 disk  
sdl       8:176  1  9.1T  0 disk  

root@srv60805:~# fdisk -l

Disk /dev/sdb: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: B0609933-D129-43BA-B039-BFF1ABB6DDD8

Device        Start         End     Sectors  Size Type
/dev/sdb1      2048      999423      997376  487M EFI Syste
/dev/sdb2    999424    17000447    16001024  7.6G Linux RAI
/dev/sdb3  17000448    19001343     2000896  977M Linux RAI
/dev/sdb4  19001344 19532871679 19513870336  9.1T Linux RAI

Disk /dev/sdc: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 1F7FC358-31E2-495E-9461-8E389CC6C0DA

Device     Start         End     Sectors  Size Type
/dev/sdc1   2048 19532873694 19532871647  9.1T Linux filesy

Disk /dev/sdd: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sda: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disklabel type: gpt
Disk identifier: CED1F3F6-7AB0-4FAB-A150-20C7174D1A79

Device        Start         End     Sectors  Size Type
/dev/sda1      2048      999423      997376  487M EFI Syste
/dev/sda2    999424    17000447    16001024  7.6G Linux RAI
/dev/sda3  17000448    19001343     2000896  977M Linux RAI
/dev/sda4  19001344 19532871679 19513870336  9.1T Linux RAI

Disk /dev/md0: 15.26 GiB, 16374562816 bytes, 31981568 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 1048576 bytes

Disk /dev/md1: 1.93 GiB, 2044723200 bytes, 3993600 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 1048576 bytes

Disk /dev/md2: 18.18 TiB, 19981932691456 bytes, 39027212288 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 1048576 bytes

Disk /dev/sde: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdg: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdf: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdj: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdi: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdh: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdl: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disk /dev/sdk: 9.1 TiB, 10000831348736 bytes, 19532873728 sectors
Disk model: ST10000NM001G-2M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

root@srv60805:~# cat /proc/mdstat
Personalities : [raid0] [linear] [multipath] [raid1] [raid6] [raid5] [raid4] [raid10] 

md2 : active raid0 sdb4[1] sda4[0]
      19513606144 blocks super 1.2 512k chunks
md1 : active raid0 sdb3[1] sda3[0]
      1996800 blocks super 1.2 512k chunks
md0 : active raid0 sdb2[1] sda2[0]
      15990784 blocks super 1.2 512k chunks
#2

Et risquer de tout perdre (120 To, une paille) si un disque tombe en panne ?
Pour quel usage, si ce n’est pas indiscret ?

PS: Je ne vois pas l’intérêt de mettre un /boot séparé en RAID0, c’est tendre le bâton pour se faire battre.

1 J'aime
#3

C’est juste pour du stockage de masse
Je n’utilise pas le serveur pour bidouiller sa me sert de stockage

#4

Uniquement des données sans importance que tu peux te permettre de perdre ou bien des données sauvegardées ailleurs, j’espère ?

#5

Oui si je perd tout c’est pas si grave que sa :+1:t3:

J’ai d’autre serveur de sauvegarde pour les données au cas où, un petit coup de rsync chaque jour :+1:t3:

#6

Si tu as la solution à mon problème sa serait vraiment cool de ta part je galère depuis 2j :sob:

#7

Je ne vois pas où est le problème, il s’agit simplement de définir ce que tu veux faire. Il y a plusieurs possibilités.

Sans réinstaller (si sda et sdb ne contiennent que le système, ça gaspille ~20 To) :

  • Créer une partition de type RAID sur chacun des 10 disques non utilisés /dev/sd[c-l]. Ce n’est pas indispensable mais c’est plus propre.
  • Créer un ensemble RAID0 /dev/md3 avec les 10 partitions /dev/sd[c-l]1.
  • Formater /dev/md3 avec le type de système de fichiers souhaité.
  • Monter /dev/md3 à l’emplacement souhaité, /home ou ailleurs.

En réinstallant :

  • Installer le système (EFI, /, swap) sans RAID dans une petite partie d’un disque.
  • Créer une partition de type RAID dans l’espace restant du disque et sur tous les autres disques.
  • Créer un ensemble RAID0 /dev/md0 avec les 12 partitions RAID.
  • Formater l’ensemble RAID avec le type de système de fichiers souhaité.
  • Monter l’ensemble RAID à l’emplacement souhaité, /home ou ailleurs.

Autres possibilités :

  • Installer le système (sauf la partition EFI) en RAID0 sur les 12 disques.
  • Utiliser LVM avec ou sans RAID0 pour agréger les disques.
#8

Si sa te dérange pas tu aurais la commande pour faire ceci ?

Je suis novice j’ai pas envie de me trompé …

« Formater /dev/md3 avec le type de système de fichiers souhaité. » je n’ai pas compris cette phrase …

J’aimerai que tout les disques soit sur /home/

Merci de ton aide :pray:

#9

Le soucis c’est que j’ai déjà 5to de donné sur sda et sdb

#10

Je ne vais pas détailler comment créer les partitions avec fdisk, gdisk, parted ou gparted, c’est la base de la base.
Consulter les pages de manuel des commandes concernées (man ).

Pour créer l’ensemble RAID avec les partitions, en supposant que les noms des disques sont tels que dans ton message initial :

mdadm --create /dev/md3 --level=raid0 --raid-devices=10 /dev/sd[c-l]1

Si tu ne sais pas ce qu’est le formatage ni un système de fichiers, on part de très loin… trop loin pour moi, je n’ai pas la patience d’expliquer des notions aussi basiques. Pour formater l’ensemble RAID en ext4 (le système de fichiers standard de Linux, il y en a d’autres comme btrfs ou xfs) :

mkfs.ext4 /dev/md3

Pour le monter sur /home :

mount /dev/md3 /home

Attention, le montage masque tout le contenu antérieur de /home. S’il doit rester accessible, il faut le transférer dans l’ensemble RAID (temporairement monté ailleurs évidemment).

Pour que le montage soit persistant au démarrage, ll faudra l’ajouter dans le fichier /etc/fstab. Il vaut mieux utiliser l’UUID (affiché par blkid) que le nom de périphérique /dev/md3, comme pour les autres ensembles RAID et partitions, car celui-ci est susceptible de varier.

Les données, ça se déplace. De toute façon tu as dit que tu avais des sauvegardes et que tu pouvais tout perdre.

#11

Sinon, tu fait une partition de demarrage et système et le rete en RAID 5

#12

Salut tout le monde!

Alors j’ai réussi à tout faire mais le problème je suis sur le côté reshape et c’est extrement lent +4500min c’est normal ?

root@srv60805:~# cat /proc/mdstat
Personalities : [raid0] [linear] [multipath] [raid1] [raid6] [raid5] [raid4] [raid10] 
md2 : active raid4 sdl1[12] sdk1[11] sdj1[10] sdi1[9] sdh1[8] sdg1[7] sdf1[6] sde1[5] sdd1[4] sdc1[3](S) sdb4[1] sda4[0]
      19513606144 blocks super 1.2 level 4, 512k chunk, algorithm 5 [11/10] [UU_UUUUUUUU]
      [>....................]  reshape =  0.5% (53313024/9756803072) finish=4886.1min speed=33098K/sec
      
md1 : active raid0 sdb3[1] sda3[0]
      1996800 blocks super 1.2 512k chunks
      
md0 : active raid0 sdb2[1] sda2[0]
      15990784 blocks super 1.2 512k chunks
      
unused devices: <none>
#13

Qu’est-ce que tu as fait exactement ? La création d’un ensemble RAID0 ne nécessite pas de reshape.
Apparemment tu n’as pas crée un nouvel ensemble RAID md3 mais agrandi /dev/md2 en y ajoutant les 10 autres disques. Cette opération nécessite un reshape (en passant par une conversion temporaire en RAID4 comme on peut le voir dans /proc/mdstat). A la vitesse où ça va et avec la taille des disques, effectivement ça va prendre 3 jours.

Extrait de man mdadm :

   From 2.6.35, the Linux Kernel is able to convert a RAID0 in to a RAID4 or RAID5. 
   mdadm uses this functionality and the ability to add devices to a
   RAID4  to  allow  devices  to be added to a RAID0.  When requested to do this,
   mdadm will convert the RAID0 to a RAID4, add the necessary disks and
   make the reshape happen, and then convert the RAID4 back to RAID0.
#14

J’ai aggrandi md2 comme tu as pu voir :+1:t3:

Vraiment très long

#15

Pas moyen d’accélérer le reshape par hasard ?

#16

Tu peux essayer d’augmenter la valeur de /proc/sys/dev/raid/speed_limit_max (en Kio/s, valeur par défaut 200000 soit 200 Mio/s).

#17

J’ai fais ceci :

sysctl -w dev.raid.speed_limit_max=500000

C’est pareil ?

#18

Ça devrait. Mais la vitesse de reshape effective dépend des disques. Le reshape est une opération lourde qui fait intervenir le temps d’accès du disque et pas seulement le débit séquentiel puisqu’il faut lire chaque bande à un endroit et la réécrire à un autre endroit. Si en plus les disques sont de type SMR et que les bandes ne sont pas alignées avec les zones, ça va provoquer des opérations de lecture-modification-écriture en interne, ce qui ralentit fortement l’écriture.

#19

J’ai réinstaller le serveur sans aucun raid je vais reprendre correctement en créant un raid0 avec tout les disques

#20

Note que le RAID0 est intéressant surtout pour le débit séquentiel. Si c’est seulement l’agrégation des disques qui t’intéresse et pas particulièrement les performances, il y a d’autres solutions plus souples comme le RAID « linear » ou LVM qui permettent d’ajouter des disques sans devoir faire de reshape.