Niveaux de stockage d'un serveur IA : modele, données, scratch, checkpoint

Il ya une συνομιλία qui revient sans cesse avec les acheteurs à propos du NVMe. Είναι απαιτητικό «και γρήγορα εφικτές» τεχνικές παραγγελίες 14 GB/s σε ένα δίσκο Gen5 και Qu'une 4090 στην Côté d'un Samsung 9100 PRO σε συνδυασμό με τη συλλογή. Puis nous demandons à quoi servirira la machine, la réponse est « surtout de l'inférence », και la configuration correcte s'avère comporter un seul disque au lieu de huit. Le stockage dans un serveur IA est la partie de la configuration où le surdimensionnement est facile, indolore pour le vendeur και presque totalement invisible pour la charge de travail.

Cet άρθρο couvre les quatre véritables niveaux de stockage d'un serveur IA, ce que chacun doit réellement faire, à quoi μοιάζει με le marché du NVMe en 2026, quand le Gen5 vaut son surcoût, pourquoi le RAID matériel' pourquoi le RAID matériel'a σχόλιο dimensionner chaque niveau sans gaspiller d'argent. Le choix du système de fichiers est une question distincte traitée dans L04 ; le stockage partagé de cluster (NFS, BeeGFS, Lustre, stockage objet) relève de K04. Ici, nous restons à l'intérieur du châssis.

Les quatre niveaux de stockage

Un serveur IA sérieux assume quatre roles de stockage distincts. Leurs profils de taille, de débit, d'endurance et de coût n'ont rien à voir les uns avec les autres. Les traiter comme un pool μοναδικό est la première erreur.

Επίπεδο Ρόλος Χρεωστική Αντοχή Τυπική τυπογραφία
μοντέλα Racine du système, bibliothèque de poids de modèles, images de conteneurs Surtout σε διάλεξη, σεμνά Faible (οιονεί αποκλειστικότητα στη διάλεξη) 1–4 TB
Σύνολα δεδομένων Données d'entraînement, corpus de fine-tuning Διάλεξη séquentielle, élevé Χαμηλό έως μεσαίο 10 TB – 200 TB
γρατσουνιά Débordement d'activations, cache de jeux de données, shards décodés Διάλεξη + écriture, très élevé Μικτή ένταση 2–8 TB
Σημεία ελέγχου État du modèle pendant l'entraînement, instantanés periodiques Écritures volumineuses par rafales Moyen (επιστολή γραφής) 5–20 TB

Un serveur d'inférence à 4 GPU n'a généralement besoin que du premier niveau, et peut-être d'un soupçon du deuxième. Une machine d'entraînement à 8 GPU a besoin des quatre, et ces quatre niveaux appellent des disques différents. Η ερώτηση «combien de TB de NVMe? » n'a aucun sens tant qu'on n'a pas choisi un niveau.

Η αποθήκη των μοντέλων

Le niveau « modèles » héberge votre bibliothèque de poids — chaque variante de Llama, Qwen, Mistral, Stable Diffusion, Flux ou Whisper que vous comptez charger un jour. C'est aussi là que vivent le system d'exploitation, les images de conteneurs, les environnements conda et les binaires du serveur d'inférence. Dans la plupart des configurations, tout cela se retrouve sur le disque de demarrage.

Le dimensionnement dépend du nombre de modèles que vous gardez residents. Παραδείγματα Quelques aux quantifications courantes:

  • Λάμα 3 70B Q4: ~40 GB
  • Λάμα 3 70B FP8: ~70 GB
  • Qwen2.5-VL 72B Q4 : ~45 GB, συν Quelques GB de tour visuelle
  • Mistral Large 2 (123B) Q4: ~70 GB
  • Llama 4 Maverick MoE FP8: ~250 GB
  • Une bibliothèque VLM modeste (8 μοντέλα, ποικιλίες ποσοτικοποίησης): 300–500 GB
  • Un laboratoire de recherche gardant 30 μοντέλα sous la main : 2–4 TB

Οιονεί αποκλειστικότητα στη διάλεξη. Le modèle se charge une fois au démarrage du processus et réside en VRAM pour le reste de la journée. Le disque subit une lecture séquentielle de 40 GB au lancement de vLLM, puis reste largement inactive. Un seul NVMe Gen4 από 2–4 TB — même un disque grand public comme un Samsung 990 PRO — encaisse cela sans προσπάθεια. Payez pour la capacité, pas pour le débit.

Le stockage des jeux de données

C'est ici que résident les corpus d'entraînement et le matériel de fine-tuning. C'est le niveau que les clients sous-dimensionnent chroniquement, parce que le jeu de données sur lequel ils travaillent aujourd'hui tient, et qu'ils oublient que le suivant ne tiendra pas.

Ordres de grandeur réalistes:

  • Corpus de fine-tuning μονοτομέας LoRA : 10–100 GB
  • Ensemble de fine-tuning multimodal (εικόνες + κείμενο) : 1–10 TB
  • Corpus de texte à l'échelle du pré-entraînement (sous-ensemble FineWeb, κ.λπ.) : 5–50 TB
  • Πριν από την εισαγωγή βίντεο ή σύνολο ρομποτικών επιδείξεων: 20–200 TB
  • Αρχείο génomique, scientifique ou issue du web : 100 TB – 1 PB+

Le schéma d'accès est une lecture séquentielle, répétée à chaque époque, répartie sur de nombreux working DataLoader en parallèle. Sensible au débit (parce que le GPU present), ανεκτικό à la latence. Le taux d'écriture est pratiquement nul une fois les données en place.

Au-delà de ~10 TB, la bonne réponse sort généralement du chassis — voyez K04 pour les schémas NFS, BeeGFS et stockage object. À l'intérieur du châssis, un niveau de jeux de données composé de disques durs en RAIDZ2 (bon marché, volumineux, lents mais suffisants une fois le cache de pages chaud) ou d'un RAID NVMe U.2 de milieu περιβάλλον.

γρατσουνιά

Le scratch est le héros méconnu. Il absorbe tout ce qui ne se range pas proprement alleurs : shards d'images décodées, activations intermédiaires déchargées par ZeRO-Offload, caches de jeux de données construits par webdataset/DALI, mélanges temporaires de jeux de données, artefacts de build de conteneurs et le dump d'un run qui a planté. Sollicité fortement en lecture et en écriture à la fois.

Διάσταση : 2–8 TB είναι η ιδανική ζώνη. Εν τω μεταξύ 2 TB, χωρίς να βελτιστοποιήσει τη λειτουργία του. Au-dessus de 8 TB, vous construisez en général un petit niveau « jeux de données » que vous appeles scratch — c'est très bien, mais assumez-le.

Ici, l'endurance compte comme nulle part ailleurs. Le scratch dévore les écritures : 5–20 TB écrits par jour n'a rien d'inhabituel sur une machine d'entraînement très sollicitée. Un disque professionnel 1 DWPD de 4 TB autorise 4 TB écrits par jour pendant cinq ans ; un scratch d'entraînement sérieux réclame 1–3 DWPD, και ποιοτικό μείγμα χρήσης.

Σημεία ελέγχου

Le niveau «σημεία ελέγχου» reçoit l'état de l'entraînement. Παρουσίαση : σιωπηλό κρεμαστό κόσμημα σε λεπτά, 50–500 GB κείμενα σε δευτερόλεπτα, νουβό σιωπή.

Το σημείο ελέγχου του μοντέλου 70B και το FP16 αντιπροσωπεύει ~140 GB poids. Avec FSDP, les gradients και l'état de l'optimiseur portent l'empreinte de chaque checkpoint à 400–700 GB. Avec DeepSpeed ​​ZeRO-3 και l'état complet de l'optimiseur (Adam : 8 octets par paramètre pour le maître FP32 + les moments d'ordre un et deux), un checkpoint 70B peut approcher 1 TB.

Η χρέωση του NVMe Gen5 είναι ~10–13 GB/s. Ένα σημείο ελέγχου από 700 GB s'écrit en une minute environ, dans le meilleur des cas — à condition que chaque rang écrive sur son propre disque. En mode synchrone, l'entraînement se bloque μενταγιόν toute cette minute. Le remède est le checkpointing asynchrone et shardé (voir plus bas).

NVMe Gen4 ή Gen5 — quand le surcoût se justifie

Le marché NVMe de 2026 se partage entre le Gen4 arrivé à maturité (5–7 GB/s) και Gen5 désormais généralisé (12–14 GB/s). Στο μεγάλο κοινό, το Samsung 9100 PRO λαμβάνει 14.8 GB/s σε σειρά διαλέξεων και 13.4 GB/s σε σειρά διαλέξεων. Le Gen5 professionnel évolue dans les mêmes eaux — Solidigm D7-PS1010 à 14.5 GB/s en lecture, Micron 9550 MAX à 14 GB/s en lecture, Kioxia CD8, SanDisk DC SN861 — tous 14 GB/s en lecture GB/s en écriture soutenue.

Le surcoût du Gen5 par rapport à un Gen4 de capacité συγκρίσιμο, à la mi-2026, είναι 30–50 % côté grand public και 20–35 % côté professionnel.

Το Quand le Gen5 είναι ενοικιαζόμενο:

  • Chargement de model à froid. Ένα μοντέλο MoE από 250 GB χρεώνει 18 δευτερόλεπτα στο Gen5, contre 36 δευτερόλεπτα στο Gen4. Cela compte si vous changez souvent de modele.
  • Entraînement limité par les E/S. Pipelines de vision décodant des JPEG bruts depuis le disque, jeux de données multimodaux où le pretraitement est le goulot d'étranglement.
  • Σημείο ελέγχου έναντι ασύγχρονων τοπικών προηγμένων αντιγράφων NVMe. Plus l'écriture locale est rapide, συν tôt l'entraînement reprend.
  • Serveur de stockage de cluster desservant 8 nœuds d'entraînement ou plus. La demande cumulée des clients dépasse le plafond du Gen4.

Quand le Gen4 suffit et où le Gen5 est de l'argent gaspillé :

  • Εξυπηρετητές συμπερασμάτων. Le modèle se charge une fois au démarrage ; le reste de la journée, le disque plafonne à quelques MB/s.
  • Racine du système et dépôt de conteneurs. Στο démarre une fois par mois, στο installe des paquets de temps en temps.
  • Niveau « jeux de données » avec des shards volumineux et pre-décodés. Un DataLoader PyTorch avec 8 εργαζομένων lisant des shards WebDataset sature autour από 4–6 GB/s αθροιστικά ; le Gen4 y αρκεί.

La version honnête : environ 70 % des configurations que nous livrons font uniquement de l'inférence, et pour celles-là, du NVMe Gen4 partout est le bon choix. Le Gen5 est une décision propre au niveau entraînement.

Μορφές — M.2, U.2/U.3, E3.S

Μορφή Τυπική χρήση Αλλαγή στο chaud Θερμικός φάκελος Μέγιστη χωρητικότητα Παρατηρήσεις
M.2 2280 μεγάλο δημόσιο διάβημα Δεν 8–10 W 8 TB Νύφη σε προσφορά Gen5
M.2 22110 Σταθμός εργασίας, εξυπηρετείται Δεν 12–15 W 16 TB Meilleure inertie thermique que le 2280
U.2 / U.3 Standard des centres de données Ναί 25 W 30 TB Ώριμο, συμβατό με μεγέθυνση
E1.Σ Υπερκλίμακα πυκνότητας Ναί 20 W 16 TB Μορφή «règle», dense en 1U
E3.Σ Center de données nouvelle génération Ναί 25–40 W 30+ TB Conçu pour les contraintes thermiques Gen5/Gen6

Le M.2 Gen5 va brider. Συντήρηση Samsung 9100 PRO με 2 TB με 13 GB/s και χωρίς πλαίσιο με 75 °C και επαναλαμβανόμενες συχνότητες. Les modèles équipés d'un dissipateur aident. Le M.2 convient au démarrage et aux charges modestes ; ce n'est pas le bon format pour un niveau scratch en écriture soutenue.

Le U.2 est la bête de somme. Chaque NVMe professionnel que Kentino livre dans un châssis Bone64c ou Supermicro est en U.2, οιονεί universellement εναλλάξιμα avec les fonds de panier U.3. Enveloppe thermique de 25 W, διπλή θύρα pour le multipath, échangeable à chaud ; les capacités de 7.68 TB et 15.36 TB se situent au meilleur rapport prix-densité.

Le E3.S est l'avenir, δανεισμός. Conçu de zero pour les contraintes thermiques Gen5/Gen6. Pour un serveur unique ou un petit cluster Kentino, le U.2/U.3 reste le choix pragmatique tout au long de 2026 ; le E3.S entre en jeu pour les cycles de renouvellement de 2027.

Évitez d'empiler des cartes porteuses M.2 dans un châssis chaud. Les adaptateurs PCIe qui accueillent quatre disques M.2 derrière une puce de commutation fonctionnent, mais dans un serveur 4U à huit GPU, le flux d'air au-dessus de ces cartes είναι μέτρια. Nous constatons un bridge thermique en moins de dix minutes de charge soutenue. S'il vous faut quatre NVMe dans un serveur, prenez du U.2.

Αντοχή — le DWPD comme critère d'achat

Κατηγορία DWPD Cas d'usage Surcoût vs Εντατική διδασκαλία
Εντατικές διαλέξεις 0.3-1 Démarrage, stockage de modèles, jeux de données, αρχεία αναφορά
Χρήση μικτή 1-3 Scratch d'entraînement, σημεία ελέγχου, cache chauds +30–60 %
Εντατική γραφή 3-10 + Journaux, κούτσουρα, βάσεις de données très sollicitées en écriture +100–200 %

Pour un serveur IA, η αλληλογραφία είναι απλή:

  • Επίπεδα μοντέλων: εντατική διδασκαλία, 0.3–1 DWPD.
  • Επίπεδο ντυμένων παιχνιδιών: εντατική διδασκαλία, 0.3–1 DWPD.
  • Ξυστό Niveau: μείγμα χρήσης, 1–3 DWPD. C'est le niveau qui δικαιολογεί son budget d' endurance.
  • Σημεία ελέγχου Niveau: μείγμα χρήσης, 1–3 DWPD. Les rafales d'écriture s'accumulent ; 1 DWPD sur un disque de 4 TB n'autorise que 4 TB par jour, ce qu'une cadence d'entraînement soutenue dépasse.

Η εντατική L'écriture (3+ DWPD) είναι η υπερβολική έκχυση προϋποθέσεων les charges de travail IA. Se tromper de classe d' endurance se rattrape par un replacement ; se tromper de classe de débit, souvent non. Visez juste sur le débit au moment de la configuration, et consideérez l'endurance comme quelque επέλεξε que vous pourrez faire évoluer.

RAID pour NVMe — le matériel est mort, la réponse est logicielle

Cela mérite une section à part, parce que les clients posent encore la question. Βιογραφικό : si votre configuration place un controlleur RAID matériel devant des disques NVMe en 2026, elle est mal conçue.

Les contrôleurs RAID υλικά (LSI/Broadcom MegaRAID, Microchip SmartRAID, HPE Smart Array, Dell PERC) ont été conçus pour le SAS/SATA. L'ASIC embarqué du contrôleur gère la parité, le cache et la mise en file d'attente des commandes, et à la bande passante du SAS (12 Gbit/s = 1.5 GB/s), il dispose de beaucoup de marge.

Un NVMe Gen5 à 14 GB/s par disque sature un controlleur RAID monocarte dès le deuxième disque. Huit disques derrière une carte RAID matérielle produisent plus de bande passante que le lien PCIe de la carte ne peut en écouler. Le contrôleur devient le goulot d'étranglement, puis le point de défaillance.

Les réponses pratiques sont logicielles :

  • mdadm (RAID logiciel Linux). Ώριμη, ολοκληρωμένη ή noyau, gère très bien le RAID0/1/10. Το RAID5/6 για το NVMe fonctionne, για τον υπολογισμό της παρτίδας της CPU. Pour 4 NVMe en miroir ou en agrégat : παρφέ.
  • ZFS RAIDZ2. Meilleure intégrité des données (sommes de contrôle de bout en bout), meilleur outillage pour les scrubs et les replacements, sémantique de snapshots et de clones. Plus gourmand και CPU que mdadm. Le bon choix pour les niveaux archives et jeux de données, où l'intégrité prime sur le débit maximal.
  • Replication par disque / codage d'effacement au niveau applicatif. Pour les très grandes baies, l'EC de MinIO/Ceph ou le striping BeeGFS sortent complètement la décision de redondance de la couche bloc.

Pour la plupart des configurations Kentino :

  • Εκκίνηση: 2× NVMe M.2 σε RAID1 mdadm.
  • Ξυστό: RAID0 sur 2–4 NVMe (les données sont régénérables).
  • Jeux de données / σημεία ελέγχου: RAID10 sous mdadm ή RAIDZ2 sous ZFS.

Le RAID matériel conserve exactement un cas d'usage dans un serveur IA : un petit miroir de demarrage derrière une carte Basique Broadcom/MegaRAID, sur un serveur où vous tenez absolument à une redondance amorçable avant. Et même là, un RAID1 mdadm avec EFI sur les deux disques fait très bien l'ffaire.

Stockage en réseau pour le niveau jeux de données

Διάγραμμα Δίκτυο Χρήσιμη διάλεξη Όταν είναι η καλή επιλογή
NFS στα 10 GbE 10 GbE ~1 GB/s Petit laboratoire, un seul entraînement
NFS στα 25 GbE με nconnect=8 25 GbE ~2.5 GB/s 1–2 συμμετοχές, débit de jeu de données modeste
NFS στα 100 GbE με nconnect=16 100 GbE 8–10 GB/s Entraînements multiples, jeux de données volumineux
BeeGFS στα 100 GbE, 2–3 καλώδια αποθήκευσης 100 GbE 30–60 GB/s Cluster d'entraînement de 4–8 nœuds
Stockage Objet (MinIO/Ceph) + τοπικές ρυθμίσεις mise en cache 25/100 GbE μεταβλητή Entraînement épisodique, grand lac de données

À retenir : au-delà de 10 TB, le niveau jeux de données a presque toujours sa place en dehors du serveur IA. Dans le châssis, vous voulez un scratch rapide, des checkpoints rapides et un stockage de modèles ; le jeu de données, lui, peut être distant.

Σχόλιο PyTorch charge réellement les données

Pour dimensionner le stockage, il est utile de suivre ce que fait le DataLoader de PyTorch. Με num_workers=8 et pin_memory=True :

  1. Huit processus εργαζόμενοι ouvrent chacun des fichiers du jeu de données en parallèle.
  2. Chaque Worker αναμμένο, αποκωδικοποίηση (JPEG, βίντεο εικόνων, ήχος rééchantillonnage) και μεταμόρφωση ενός échantillon en tenseur.
  3. Le tenseur décodé est placé en mémoire partagée.
  4. Ο κύριος επεξεργαστής για το αρχείο partagée, épingle en RAM hôte και αντιγραφή έναντι της GPU στο DMA.

Οι πρακτικές επιπτώσεις:

  • Un pipeline de vision est rarement limité par le stockage, sauf si le jeu de données est si volumineux que le cache de pages ne peut pas contenir un jeu de travail.
  • Un pipeline de pré-entraînement LLM lisant des shards pré-tokenisés est souvent limité par le stockage en Gen4. βοηθός Le Gen5. Placer le lot de shards actif sur un NVMe local plutôt que sur NFS aussi.
  • L' Inférence n'est pour ainsi dire jamais limitée par le stockage une fois le modelèle charge. Sur une machine de service, l'indicateur d'activité disque reste plat.

Το σφάλμα των σημείων ελέγχου

Το σημείο ελέγχου του μοντέλου 70B και το FP16 αντιπροσωπεύει 140 GB σε μέγεθος. Ajoutez l'état de l'optimiseur Adam (~8 octets par paramètre pour le maître FP32 + les moments d'ordre un et deux) : ~560 GB de plus. Ajoutez les gradients si vous prenez l'instantané en milieu d'étape : ~140 GB επιπλέον. Un checkpoint 70B «comlet» peut atteindre 800 GB à 1 TB selon ce que vous enregistrez.

Σημείο ελέγχου συγχρονισμένο, χωρίς να ακούγεται ηχητικό σήμα, σε σύγκριση με το μοναδικό NVMe Gen5 à 13 GB/s και την έξοδο : ~ 75 δευτερόλεπτα από το σημείο ελέγχου 1 TB. L'entraînement se bloque μενταγιόν toute la durée. Faire cela tous les 100 pas, quand chaque pas dure 5 seconds, revient à ralentir l'entraînement de 15%.

Deux remèdes, tous deux indispensables:

1. Le checkpointing shardé. Ο Chaque χτύπησε το FSDP écrit son propre shard sur son propre NVMe local. Avec 8 GPU και 8 disques locaux, l'écriture par rang tombe à 125 GB και les écritures se parallélisent. Οι θερμοκρασίες πέφτουν κατά ~10 δευτερόλεπτα.

2. Το ασύγχρονο σημείο ελέγχου. PyTorch DCP (torch.distributed.checkpoint) délègue l'écriture à un thread CPU. Le GPU marque une brève pause le temps de la copie de transit GPU→CPU (quelques secondes), puis l'entraînement reprend et l'écriture réelle sur le stockage se fait en arrière-plan.

La combinaison — ασύγχρονος et shardé — fait passer le stockage de checkpoints de « doit absorber 1 TB en quelques secondes » à « doit suivre une copie de fond régulière de quelques centaines de MB/s ». Presque n'importe quel niveau de stockage y parvient. L'erreur à éviter : des checkpoints synchrones, à état complet par rang, écrits directement sur NFS. C'était la norme en 2022. C'est une faute professionnelle en 2026.

Παραδείγματα concrets d'agencements de stockage chez Kentino

Serveur d'inférence à 4 GPU (σελ. π.χ. Kentino AI 192 Genoa, 4× RTX 5090 ή 4× RTX Pro 6000 Blackwell):

Démarrage + modèles :  1× NVMe M.2 Gen5 de 2 TB (grand public ou pro lecture intensive)
Scratch :              optionnel, souvent inutile en inférence pure
Jeux de données :      inutile sur la machine
Checkpoints :          inutile sur la machine

Total : 2 TB de NVMe. Coût : faible. Suffisant pour toute charge d'inférence.

Serveur d'entraînement à 8 GPU (σελ. π.χ. Kentino AI 256 Turin Dual, 8× RTX 5090 ή 8× RTX Pro 6000):

Démarrage :        2× NVMe M.2 de 480 GB, mdadm RAID1, ext4 → /
Stockage modèles : 2× NVMe U.2 Gen5 de 4 TB, mdadm RAID1, ext4 → /models
Scratch :          2× NVMe U.2 Gen5 de 8 TB, mdadm RAID0, XFS → /scratch
Checkpoints :      2× NVMe U.2 Gen5 de 8 TB, mdadm RAID10, XFS → /checkpoints
Jeux de données :  montage NFS depuis un serveur de stockage externe, 100 GbE

Total NVMe local : ~36 TB. Coût : significatif, mais proportionné à la dépense GPU.

Nœud de stockage partagé de cluster (διάκριτος υπολογισμός):

Démarrage :      2× NVMe M.2 de 960 GB, RAID1, ext4
Niveau chaud :   12× NVMe U.2 Gen5 de 7.68 TB, ZFS RAIDZ2 ou cible de stockage BeeGFS, XFS
Niveau froid :   8× disques durs SAS de 16 TB, ZFS RAIDZ2 → /archive
Réseau :         2× 100 GbE, compatible RoCE ou NVMe-oF

Dessert le niveau jeux de données du cluster. Voir K04 pour le choix du système de fichiers distribué.

Ο Deux επιλέγει à remarquer. Le serveur d'inférence n'a qu'un seul disque . Le serveur d'entraînement compte quatre niveaux, mais chaque disque est dimensionné pour son rôle, et non surdimensionné au μέγιστη διαθέσιμη. Le nœud de stockage de cluster est une entièrement machine distincte.

Notre avis franc — la plupart des clients surdimensionnent le stockage

Un schéma que nous voyons assez souvent pour le signaler : un client monte un serveur à 8 GPU « pour l'avenir », y met huit NVMe U.2 de 15.36 TB parce que les eplacements sont là, puis exéutencer'eint's charges 200 GB de fichiers de modèles et laissent le reste de la baie inactif à jamais. 25,000 € από NVMe qui dorment.

Les règles de dimensionnement honnêtes :

  • Inférence Pure, εξυπηρετητής μοναδικός: 2–4 TB από NVMe ή συνολικά. Un seul disque. Terminé.
  • Inférence plus short-tuning casenel : 4–8 TB au συνολικά. Démarrage + γρατσουνιά.
  • Entraînement sérieux, σερβίρεται μοναδικός: 16–40 TB répartis entre demarrage, models, scratch et checkpoints, avec le jeu de données à l'extérieur, sur un NAS ou un stockage object.
  • Συστάδα: les jeux de données et les checkpoints migrent vers le stockage partagé ; le NVMe local par nœud revient au profil d'inférence (2–8 TB) pour le démarrage, les modèles et le scratch en écriture différée.

Le stockage est le seul poste d'une configuration IA où l'instinct du « plus, c'est toujours mieux » se trompe systématiquement. Le bénéfice des GPU croît à peu près lineairement avec la dépense ; celui de la RAM de façon raisonnable ; celui du stockage, σουβέντ συν du tout une fois que vous en avez assez.

Αυτό που συμβαίνει

Les modes de défaillance que nous rencontrons sur le terrain, par ordre de fréquence:

  • Disque de demarrage M.2 grand public sans redondance. Le disque lâche au bout de 18 mois, le serveur ne démarre plus, les modèles restent à l'abri sur le RAID mais la remise in route prend une journée. Remède : 2× M.2 en RAID1 mdadm, même sur les machines d'inférence.
  • Le scratch se remplit en cours de run. Cache de jeux de données, shards décodés et fichiers temporaires du frame se liguent. Remède : surveillez, déclenchez une alert à 80 % de remplissage et dimensionnez à 1.5× le plus grand jeu de travail presentu.
  • Carte RAID matérielle devant des NVMe. Les performances sont divisées par deux, le contrôleur est un point de défaillance μοναδικό και son remplacement relève de l'exploit. Remède : retirez la carte, passez directement en mdadm ou ZFS.
  • Συγχρονισμός σημείου ελέγχου σε σχέση με το NFS, l'entraînement se Fig. Remède : checkpoint asynchrone et shardé, d'abord sur NVMe local, Puis copie asynchrone.
  • Bridage thermique d'un M.2 Gen5. Un disque annoncé à 14 GB/s tombe à 4 GB/s aprè 3 min d'écriture soutenue. Remède : dissipateur, meilleur flux d'air, ou passage en U.2.
  • Le jeu de données sature le Gen4 sur son niveau. Le pipeline d'entraînement vision est limité par le stockage 30 % du temps. Remède : scratch en Gen5, pré-décodage vers WebDataset, ou les deux.
  • Το L'ARC de ZFS dévore la RAM destinée à l'entraînement. Κατανομή του 50 % par défaut provoque un OOM du processus d'entraînement. Remède : plafonnez zfs_arc_max à 10–20 % της μνήμης RAM. Voir L04.

Ποιος έχει ιδιωτικό μπάνιο

Déroulé de dimensionnement avant de valider une configuration :

  1. Inférence, entraînement, ou les deux ? Inférence : passez directement à l'étape 5 avec un seul disque. Entraînement : συνέχειαz.
  2. Quel est le plus grand model que vous comptez entraîner ou affiner ? Multipliez le nombre de paramètres par le nombre d'octets par paramètre (FP16 : 2, FP8 : 1, BF16 + état de l'optimiseur : 16). C'est votre empreinte de checkpoint minimale par instantané.
  3. Quel est le plus grand jeu de données que vous traiterez dans les 12 prochains mois ? Jusqu'à ~ 10 TB, logez-le sur le NVMe local, au niveau jeux de données. Au-delà de 10 TB, sa place est sur un NAS ou un stockage objet — voir K04.
  4. Ferez-vous du checkpoint ασύγχρονη shardé ? Si oui (PyTorch DCP, NeMo, frames modernes), le stockage de checkpoints par nœud est divisé par 4 à 8. Si vous ne le pouvez pas, prévoyez que l'état complet atterrisse sur chaque nœud et dimensionnez en conséquence.
  5. Επιλέξτε τη μορφή. M.2 pour le demarrage. U.2/U.3 pour tout le reste dans un châssis serveur. E3.S μοναδικότητα si le châssis a été acheté pour cela.
  6. Επιλέξτε αντοχή. 1 εντατική διάλεξη DWPD pour les modèles et les jeux de données. 3 μίξη χρήσης DWPD pour le scratch et les checkpoints.
  7. Επιλογή της γενιάς. Gen5 là où le débit είναι προς ενοικίαση (γρατσουνιές, σημεία ελέγχου, αλλαγή μοντέλων μηχανών πολλαπλών θέσεων). Gen4 partout ailleurs.
  8. Décidez du RAID au niveau du system. mdadm pour les petites baies, ZFS là où les sommes de contrôle comptent, aucun contrôleur RAID matériel devant du NVMe.

Αναφορές κρουαζιέρας : W01 σε σχέση με τις διαστάσεις της μνήμης RAM και τη φόρτιση των μοντέλων αποθηκευμένων αποθεμάτων, W02 με τον προϋπολογισμό του lignes PCIe με την κατανάλωση και τις προσφορές αποθεμάτων.

Le stockage est la party de la configuration où la retenue est payante. La configuration la plus simple qui ne crée pas de goulot d'étranglement est presque toujours la bonne.


Cet άρθρο fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires και διορθώσεις bienvenus à info@kentino.com.