L'entraînement distribué en 2026 : DDP, FSDP2, DeepSpeed, Megatron et les cinq axes du parallélisme

Dès que vous avez plus d'un GPU dans une machine, un choix s'impose. Τετράγωνο στοίβες ανοικτού κώδικα κυρίαρχη aujourd'hui l'entraînement distribué — PyTorch DDP, PyTorch FSDP2, Microsoft DeepSpeed ​​και NVIDIA Megatron-Core — επανασυνδέεται στο TorchTitan, la nouvelle référence de l'entraînement PyTorch FSDP2. Chacun résout un problem différent. Se tromper coûte des semaines : soit le modèle ne tient pas et vous le découvrez au pas 30 avec un plantage memoire, soit vous avez sur-dimensionné votre αρχιτεκτονική pour une charge de travail que fo DDP aurait traitée avec diedix'.

Το άρθρο Cet υιοθετεί το σημείο de vue de l'acheteur et de l'architecte sur l'entraînement distribué. Il passe en revue les cinq axes de parallélisme, les quatre (désormais cinq) frames qui les combinationnt et les recettes qui fonctionnent réellement sur du matériel de classe Kentino — principalement 4× et 8× 090000 RTX5 Το Blackwell sur hôtes AMD EPYC, avec PCIe Gen5 και Ethernet standard ή InfiniBand entre les nœuds. La Construction honnête est donnée d'emblée, pour que le reste de l'article n'ait pas à la démontrer sans cesse : la plupart des clients Kentino font du fine-tuning, pas du pré-entraînement, et FSDP2 œ0 œ0 PU vre un seul besoins de fine-tuning. Megatron-Core et le parallélisme 3D ne se justifient que si vous pré-entraînez depuis zéro au-delà de l'échelle 30B, et ce club est bien plus restreint que le marketing ne le laisse croire.

Τα πέντε τσεκούρια

Tout frame moderne d'entraînement distribué συνδυάζει ένα sous-ensemble de ces cinq axes de parallélisme. Ce ne sont pas des alternatives — les recettes pour grands modèles en combinationnt trois ou quatre à la fois. Lisez la colonne επικοινωνία de haut en bas : tout se joue là.

Τσεκούρι Αυτό που αποσυνδέει Επικοινωνία par pas Γκουρμέ σε μπάντα; Παρατηρήσεις
Parallélisme de données (DP) Le batch — chaque rang détient le modèle complet Όλα-reduce des gradients une fois par pas μέτρια La base de référence ; DDP και FSDP sont tous deux DP
Parallélisme de tenseurs (TP) Le matmul de chaque couche réparti entre GPU Πλήρης μείωση καναπέ × 2 (προσοχή + FFN) Πολύ δυνατά Λατρεύω το NVLink ; σουφρέ sur PCIe
Parallélisme de pipeline (PP) Καναπέδες που κάνουν πάρτι σε στυλ πάρτι Ενεργοποιήσεις à la frontière d'étage Φως Ajoute de la latence de bulle, augmente le débit
Parallélisme de sequence/contexte (SP/CP) Η ακολουθία διαστάσεων répartie entre GPU Όλα συγκεντρώνονται en anneau des KV / ενεργοποιήσεις Μέτριο σε δυνατό Προσθέστε ένα εκατομμύριο μάρκες
Παραλληλισμός εμπειρογνωμόνων (EP) Εμπειρογνώμονες MoE répartis entre GPU Όλα σε όλους παρ καναπές MoE Lourd par rafales Μοναδικότητα Υπουργείου Παιδείας

DP crie une fois par pas. TP crie deux fois par couche . PP chuchote une fois par étage. SP/CP crie une fois par bloc d'attention, mais selon une autre διάσταση. Το EP ne fait d'all-to-all que sur les couches MoE actives. Cette seule colonne décide de l'endroit où vit chaque ax — à l'intérieur d'une machine rapide, ou à travers un réseau plus lent.

Le « parallélisme 3D » évoqué dans chaque billet de blog NVIDIA, c'est DP × TP × PP. Ajoutez SP et EP και cela devient 4D ou 5D, ce qui relève plus du jeu de notation que du changement d'architecture. Ce qui compte, c'est la disposition : TP à l'intérieur du nœud (où la bande passante est bon marché), PP entre les nœuds (où elle est chère), DP par-dessus pour monter en débit. SP se glisse à côté de TP ; EP ne concerne que les MoE.

Renvois : la bande passante intra-nœud du parallélisme de tenseurs est détaillée dans K07 , la pénalité NVLink contre PCIe dans N03 , et le réseau inter-nœuds dans N08.

DDP — quand le modèle tient et que vous voulez juste plus debit

Το PyTorch DDP (DistributedDataParallel) είναι η απόκριση συν την αρχαία, το συν το απλό και το valable quand le modèle tient sur un seul GPU. Chaque rang détient une copie complète du modèle et de l'état de l'optimiseur. À chaque pas, chaque rang effectue sa propre passe avant, sa passe arrière et son calcul de gradients sur son micro-batch. Αυτό είναι ένα μοναδικό που μειώνει όλες τις κλίσεις entre les rangs et tout le monde applique la même mise à jour.

DDP dans PyTorch 2.x est le même DDP qu'auparavant, avec deux améliorations à noter : un chemin static_graph=True συν robuste pour les graphes συμβατά avec le compilateur, et une intégration συν étroite avec torch.compile. Le schéma de communication est inchangé — un all-reduce par pas, recouvert par la passe arrière, et une montée en charge lineaire jusqu'à ce que l'all-reduce domine.

Quand DDP είναι μια καλή απάντηση:

  • Le modèle complet + les états de l'optimiseur + les activations tiennent sur un seul GPU. Pour les optimiseurs de type Adam avec des poids maîtres FP32, la règle empirique est d'environ 16 οκτάδες ανά παράμετρο de mémoire pour le seul état entraînable (4 octets de poids, 4 octets de gradients, 8 octets d'optimiseur), συν les activations. Un modèle 8B = 128 GB d'état, ce qui ne tient sur un seul RTX Pro 6000 Blackwell (96 GB) qu'avec de la precision mixte et des poids maîtres BF16. En dessous de 8B paramètres, DDP est à l'aise sur un seul 5090 ; au-delà, regardez du côté de FSDP2.
  • Vous visez le débit maximal, pas la taille maximale de modèle. DDP affiche le plus faible ratio επικοινωνία/calcul de toutes les approches data-parallel, car les gradients ne sont réduits une fois seule par pas, après tout le travail local de passe arrière.
  • Vous faites des rollouts d'apprentissage par renforcement, du LoRA, ou tout montage où chaque rang ne détient qu'un petit adaptateur entraînable par-dessus des poids de base gelés.

Quand DDP est le mauvais choix : le modèle ne tient pas. Η λύση δεν είναι «réduire le batch». Η λύση, είναι FSDP2.

torchrun --standalone --nproc-per-node=8 train.py

Voilà tout le lanceur. Το DDP είναι η επιλογή του προκαθορισμένου ennuyeuse que tout le monde oublie, et pour la bonne charge de travail c'est ce qui tourne le plus vite.

FSDP2 — la nouvelle référence pour tout ce que DDP ne peut pas gérer

FSDP (Fully Sharded Data Parallel) μοιράζει τις παραμέτρους του μοντέλου, τις διαβαθμίσεις και τις βελτιστοποιήσεις για την ομάδα δεδομένων-παράλληλο. Chaque GPU ne stocke que 1/N des paramètres. Pour une passe avant, le rang rassemble (όλα-μαζεύουμε) la couche dont il a besoin, effectue le calcul, puis jette les poids rassemblés. La mémoire chute d'environ un facteur N par rapport à DDP ; la επικοινωνία augmente, car chaque couche est rassemblée puis rassemblée à nouveau.

Η ιστορία του 2025, έτσι είναι FSDP2. Le FSDP d'origine (FSDP1) regroupait les paramètres dans un μοναδικό FlatParameter, ce qui rendait pénible — voire αδύνατο — tout raisonnement paramètre par paramètre : gel partiel, dtypes mixtes, réglages d'optimiseur par paramètre. FSDP2 a réécrit les entrailles au-dessus de DTensor : chaque tenseur reste un vrai torch.Tensor απλό ντεκουπέ le long de sa διάσταση 0 entre les rangs. Το L'API publique est passée de FSDP(model, ...) à fully_shard(model, ...).

Ce que FSDP2 apporte réellement par rapport à FSDP1, d'après les benchmarks publiés et nos propres essais :

  • ~7% μνήμης GPU σε λίγο sur Llama 2 7B à configuration identique, parce que FSDP2 évite le μοτίβο record_stream qui immobilisait la mémoire de façon pessimiste.
  • ~1.5 % χρέωσης συν à configure égale, και μάλιστα 50% χρεωστική και άνω σε συνδυασμό με torch.compile et torchao pour l'entraînement float8 sur du matériel de classe Hopper.
  • Des state dicts shardés qui se chargent vite et se re-shardent proprement entre différentes dispositions de parallélisme — le format de checkpoint de FSDP1 était réputé difficile à remodeler entre entraînement et inférence.
  • Le gel partiel de paramètres sans acrobaties, ce qui compte pour LoRA et l'entraînement d'adaptateurs.

FSDP1 est déprécié depuis PyTorch 2.11. Tout nouveau travail devrait utiliser fully_shardΤο αρχαίο περιτύλιγμα FullyShardedDataParallel existe encore par compatibilité, mais il est voué à disparaître.

Το FSDP2 εκθέτει aussi deux stratégies de sharding qui décident de l'endroit où vit le modele:

  • Πλήρες θραύσμα. Paramètres entièrement répartis sur tous les rangs (le défaut de FSDP1). Mémoire minimale, επικοινωνία μέγιστη.
  • Υβριδικό θραύσμα. Παράμετροι στα πλαίσια ένα νεόνυμφο και αντίγραφα entre les nœuds. À l'intérieur du nœud, la communication passe par PCIe/NVLink (rapide). Entre les nœuds, seul l'all-reduce des gradients traverse le réseau lent. C'est le point d'équilibre idéal pour 2 à 4 nœuds sur Ethernet/IB 100/200 Gbps.

Quand FSDP2 est la bonne réponse (le cas Kentino le plus courant):

  • Βελτιστοποίηση της GPU 8B à 70B πάνω σε nœud à 8. Full shard, BF16, gradient checkpoint activé, torch.compileΤερματισμός.
  • Βελτιστοποίηση των 70B à 405B σε 2 à 4 nœuds. Hybrid shard, avec full shard à l'intérieur de chaque nœud et réplication entre eux.
  • Tout ce qui touche à LoRA / QLoRA — la gestion partielle des paramètres de FSDP2 ξεπεράσει το δίκτυο FSDP1.
from torch.distributed.fsdp import fully_shard, MixedPrecisionPolicy

mp = MixedPrecisionPolicy(param_dtype=torch.bfloat16, reduce_dtype=torch.float32)
for block in model.transformer_blocks:
    fully_shard(block, mp_policy=mp)
fully_shard(model, mp_policy=mp)

Lancé de la même manière que DDP, μέσω torchrunΑλλαγή περιτυλίγματος.

DeepSpeed ​​et les niveaux ZeRO — toujours là, mais plus la référence

Το DeepSpeed ​​διανέμεται στη στοίβα εισαγωγής της Microsoft. Sa gloire, c'est ZeRO (Zero Redundancy Optimizer), arrivé des années avant FSDP and qui a défini l'approche moderne du «tout sharder».

Επίπεδο Αυτό που είναι θραυσμένο Αποκτήστε μνήμη έναντι DDP Επικοινωνία έναντι DDP
Μηδέν-1 Ώρες βελτιστοποίησης ~4× Απαράλλακτος
Μηδέν-2 États de l'optimiseur + κλίσεις ~8× Συνδρομή
Μηδέν-3 États de l'optimiseur + gradients + paramètres Γραμμή στο Β ~1.5× DDP

Το ZeRO-3 είναι ισοδύναμο αρχιτεκτονικού στοιχείου ή πλήρες θραύσμα FSDP. Les deux résolvent le même problème avec les mêmes primitives de επικοινωνίας.

Η πραγματικότητα το 2025–2026: Το FSDP2 είναι μια πρώτη θέση για το DeepSpeed ​​sur le cas d'usage des LLM denses. Natif PyTorch, sans paquet supplémentaire, intégré à torch.compile, et la même recette se porte sur Hugging Face Transformers, Accelerate και TorchTitan. Les benchmarks internes de Lightning et de Hugging Face montrent un full shard FSDP 2 à 5× plus rapide par itération que ZeRO-3 dans sures montages, même si DeepSpeed ​​reprend du terrain sur les très gros modèles (10B+Με φόρτωση, άπαξ, άπαξ) réeelement utilles.

DeepSpeed ​​reste bon à connaître pour trois raisons:

  1. Ξεφορτώστε το ZeRO-Infinity. Si vous devez absolument affiner un modèle qui ne tient pas du tout dans la mémoire GPU agrégée — disons une base 405B sur une μηχάνημα à 4× RTX Pro 6000 Blackwell — DeepSpeed ​​peut décharger les paramètres, vers la RAM) NVMe (encore moins cher, beaucoup plus lent). Το FSDP διαθέτει CPU εκφόρτωσης αυστραλούς, καθώς και το NVMe DeepSpeed ​​είναι ώριμη. Utile quand « j'ai une seule machine et un modèle têtu » ; pas la bonne réponse si vous pouvez louer ou acheter un second nœud.
  2. Le parallélisme de séquence DeepSpeed-Ulysses. Un schéma de parallélisme de séquence économe en επικοινωνία, qui utilize de l'all-to-all plutôt qu'un all-gather en anneau pour l'attention. Démontré jusqu'à des contextes de 1M de tokens sur 64 A100, et pour l'entraînement de Llama-8B avec 15M de tokens de contexte sur 32 H100 dans des travaux publiés en 2025. μακρύς, Ulysses garde une longueur d' avance sur l' implémentation context-parallel de Megatron pour surees formes.
  3. DeepSpeed-MoE. Entraînement de mixes d'experts avec parallélisme d'experts. Peu pertinent pour le fine-tuning, très pertinent si vous pré-entraînez un MoE.

Pour l'essentiel du fine-tuning chez les clients Kentino, le bon choix est FSDP2, sauf raison precise d'aller vers DeepSpeed ​​(πλαίσιο μακρύ, offload CPU/NVMe, pre-entraînement MoE). La dynamique de l'écosystème va sans ambiguïté vers FSDP2.

Megatron-LM, Megatron-Core, NeMo — là où vit l'artillerie lourde

Το Megatron est né de l'article NVIDIA sur le Transformer tensor-parallel το 2019. Aujourd'hui, la famille compte trois niveaux :

  • Megatron-LM — la base de code de recherche d'origine. Toujours utilisée, toujours mise à jour.
  • Megatron-Core — la version bibliothèque modulaire. Σύνθετες μπρικές ρίχνουν TP/PP/DP/EP/CP, μείγμα ακριβείας (FP16/BF16/FP8/FP4) και αρχιτεκτονικές μετασχηματιστών αναφοράς. C'est ce que vous intégrez réellement.
  • Nvidia NeMo — le frame de bout en bout bâti sur Megatron-Core. Recettes, pipelines de données, alignment, déploiement.

Το Megatron-Core est le frame qui l'emporte tout en haut de l'échelle, precisément parce qu'il implémente le parallélisme de tenseurs, de pipeline, de séquence, de contexte et d'experts dans un seul maillage composable. Quand vous entraînez un modèle dense de 405B sur plus 512 GPU, vous ne pouvez pas éviter d'en combinationr au moins trois, και Megatron-Core est la combinaison la plus déployée και la plus éprouvée.

Les recommandations de parallélisme Megatron pour 2026, tirées de la documentation NVIDIA elle-même, collent à la réalité matérielle :

Εξοπλισμός Βασικοί συνιστώμενοι άξονες
Νέο μοναδικό, NVLink TP jusqu'à 8 au sein du nœud
Plusieurs nœuds, InfiniBand NDR TP dans le nœud, PP entre les nœuds
Περιορισμένο δίκτυο (Ethernet) Minimiser TP, préférer PP pour l'inter-nœuds
μακρές ακολουθίες Ajouter CP ; activer SP partout où TP est actif

Ce tableau explique pourquoi Megatron existe. C'est le frame dont les auteurs vivent avec les calculs de bande passante décrits dans N03 et K07 , et ses recettes sont réglées pour cela.

Quand Megatron est excessif : tout fine-tuning sur un seul nœud, tout model qui tient dans une memoire compatible FSDP2, toute charge de travail sans besoin de TP. La mécanique TP de Megatron est effectment plus rapide qu'un TP maison sur PCIe, mais le TP sur PCIe reste lent — voyez les chiffres de K07. La force de Megatron s'exprime sur du matériel SXM, que Kentino ne construit pas.

Quand Megatron est la bonne réponse : pré-entraîner des modèles denses de 70B à 405B+ sur du matériel de classe NVLink loué ou possédé, ou bâtir une substruction d'entraînement de production pour un rechercheatoire. Si c'est votre cas, vous êtes probablement déjà dans l'écosystème NeMo.

TorchTitan — la nouvelle référence

Το TorchTitan est la référence d'entraînement à grande échelle en PyTorch natif signée Meta, αποδεκτό à ICLR 2025 και devenue l'exemple de fait pour répondre à « à quoi doit ressembler une PPP × 2 × TP recette ? ». Elle n'invente aucun parallélisme — elle compose les briques déjà livrées avec PyTorch (fully_shard, torch.distributed.tensor.parallel, pipelining, DTensor) en un script d'entraînement parallèle quadridimensionnel propre, avec checkpointing shardé asynchrone, torch.compileκαι επιπλέω8.

Pourquoi cela compte même si vous ne l'utilisez pas directement :

  • Είναι το παράδειγμα παρφέ de la façon dont FSDP2 se compose avec TP et PP sans frames tiers.
  • Les mêmes API sont livrées dans PyTorch standard. Il n'y a là rien de magique.
  • AMD a publié un fork TorchTitan optimisé pour ROCm fin 2025 ; le partenariat avec Lightning AI ανακοινώθηκε τον Οκτώβριο του 2025 rent les recettes TorchTitan εκτελέσιμα στο Lightning Studios.

Pour les clients de classe Kentino, TorchTitan est une référence à lire plus qu'un frame à déployer. Si vous faites du fine-tuning, Accelerate ou Axolotl au-dessus de FSDP2 sont plus ergonomiques. Si vous pré-entraînez à échelle modeste (8 à 64 GPU) sur du matériel standard, ο TorchTitan ανταγωνίζεται το avec NeMo pour bien moins de lourdeur opérationnelle.

Ο πίνακας των πλαισίων

Πλαίσιο Άξονες παραλληλισμού Συντήρηση; Ιδανικό για
PyTorch DDP DP Ναι, στάβλος Le model tient par GPU ; debit μέγιστο
PyTorch FSDP1 DP (σαρντέ) Απόσβεση στο 2.11 Δεν άρχεται εδώ
PyTorch FSDP2 DP (shardé), se compose avec TP/PP/CP Ναι, ενεργός La réponse de référence pour le fine-tuning το 2026
DeepSpeed ​​ZeRO DP (shardé), εκφόρτωση CPU/NVMe Ναι, ενεργός Offload intensif, contexte très long (Ulysses), MoE
Megatron-Core / NeMo ΤΠ, ΠΠ, ΣΠ, ΚΠ, ΕΠ, DP Ναι, πολύ ενεργό Pré-entraînement 70B+, clusters SXM/NVLink
TorchTitan FSDP2 + TP + PP + CP + float8 Ναι, αναφορά Pré-entraînement moderne sur stack PyTorch natif
Επιτάχυνση υψηλής συχνότητας Αυτόματο περιτύλιγμα DDP/FSDP/DS Ναι, ενεργός Lanceur απλό, abstrait le backend
αξολότλ Περιτύλιγμα Autour d'Accelerate/FSDP Ναι, ενεργός Fine-tuning, jeux de données, recettes LoRA/QLoRA

Accelerate et Axolotl ne sont pas des stratégies de parallélisme distinctes — ils encapsulent les backends ci-dessus. La plupart des clients Kentino qui font du fine-tuning finiront par utiliser Axolotl au-dessus de FSDP2 sans y penser, et c'est très bien ainsi.

Ο προϋπολογισμός της επικοινωνίας — pourquoi votre réseau limite le modèle

Renvoi : N08 détaille les calculs de RDMA et de lien montant ; voici la vue propre à l'entraînement.

Pour le parallélisme de données (DDP ou FSDP), la επικοινωνία inter-rangs par pas est à peu près proteinnelle au nombre de paramètres (gradients à réduire). Pour le parallélisme de tenseurs, elle est proteinnelle à la taille des activations × le nombre de couches — des ordres de grandeur de plus à chaque pas.

Volume de gradients, à la louche, pour un seul pas en BF16 :

Μέγεθος μοντέλου Οκτέτες διαβαθμίσεων/πα Μείωση θερμοκρασιών à 25 GB/s (κατηγορία NDR HDR) 12.5 GB/s (100 GbE)
8B 16 GB ~0.6 δευτ. ~1.3 δευτ.
70B 140 GB ~5.6 δευτ. ~11 δευτ.
405B 810 GB ~32 δευτ. ~65 δευτ.

Μείωση όλων των 70Β με ταχύτητα 5.6 δευτερολέπτων σε 200 Gbps. Si votre calcul avant+arrière sur un pas dure aussi 5 δευτερόλεπτα, vous êtes déjà limité à 50 % par la επικοινωνία ; για υπολογισμό διάρκειας 2 δευτερολέπτων, vous êtes inactif συν 70 % du temps à followre le réseau. C'est pourquoi le 100 GbE étrangle l'entraînement au-delà de 70B et qu'il vous faut du 400 GbE / NDR IB. Le calcul accélère sans cesse ; le réseau doit suivre, sinon les GPU follower.

FSDP2 en maske une partie par recouvrement (commencer à rassembler la couche suivante pendant le calcul de la courante). Le hybrid shard en maske davantage en gardant l'all-reduce des gradients dans le réseau intra-nœud rapide et en ne réduisant que les gradients répliqués entre les nœuds. Les chiffres ci-dessus sont le pire cas pour un FSDP full shard entre nœuds, sans recouvrement.

Pour le parallélisme de tenseurs, la communication par token évolue avec la taille cachée et le nombre de couches. Les chiffres de K07 le montrent : ~80 MB par token généré pendant le décodage, ~300 GB parréremplissage sur 70B en batch 32. C'est le régime où le PCIe (50 GB/s en pratique ×Lironnk est) (700+ GB/s en pratique), et où pre-entraîner un modèle dense de 70B+ sur PCIe ne fonctionne tout simplement pas à un rendement αποδεκτή.

Ρεζέτες σκυροδέματος

Βελτιστοποίηση d'un Llama 8B, un nœud à 8 GPU — FSDP2

Υλικό: 8 × RTX 5090 ή 8 × RTX Pro 6000 Blackwell, hôte EPYC, απαραίτητες διαστάσεις.

torchrun --standalone --nproc-per-node=8 \
  finetune.py \
    --model meta-llama/Llama-3.1-8B \
    --batch-size 1 --grad-accum 16 --seq-len 4096 \
    --bf16 --fsdp full_shard --fsdp-reshard-after-forward \
    --gradient-checkpointing --torch-compile

Συμμετοχή: ~2000 tok/s agrégés en BF16, avec de la marge pour les KV/activations ; le full shard FSDP2 sur PCIe Gen5 gère l'all-reduce des des gradients à l'intérieur de la machine. Το C'est aussi à quoi μοιάζει με 90 % des travaux de fine-tuning chez Kentino.

Βελτιστοποίηση d'un Llama 70B, 2× nœuds à 8 GPU — υβριδικό θραύσμα FSDP2

Υλικό: 2× 8× RTX Pro 6000 Blackwell, 200 Gbps IB ή 100 GbE RoCE σε νέα.

torchrun --nnodes=2 --nproc-per-node=8 \
  --rdzv-backend=c10d --rdzv-endpoint=node0:29500 \
  finetune.py \
    --model meta-llama/Llama-3.3-70B \
    --batch-size 1 --grad-accum 32 --seq-len 4096 \
    --bf16 --fsdp hybrid_shard \
    --gradient-checkpointing --torch-compile \
    --activation-cpu-offload

Le hybrid shard conserve le full shard à l'intérieur de chaque nœud à 8 GPU et réplique entre les les les 2 nouds. Le réseau inter-nœuds ne transporte que le small-scatter des gradients répliqués — Environ 70 GB/pas en BF16, soit ~3 s sur de l'IB 200 Gbps. Le recouvrement en maske l'essentiel. Με 100 GbE, le même pas coûte ~5–6 s et les GPU commencent à montrer du temps d'inactivité ; la recette fonctionne toujours, simplement plus lentement par époque.

Pre-entraînement d'un 405B, 8× nœuds à 8 GPU — Megatron-Core 3D

Υλικό: 8× nœuds à 8 GPU NVLink/SXM, 400 Gbps NDR IB. Non construit par Kentino — ρίξε πληροφορίες.

# Megatron-Core launcher (abbreviated)
torchrun --nnodes=8 --nproc-per-node=8 \
  pretrain_gpt.py \
    --tensor-model-parallel-size 8 \
    --pipeline-model-parallel-size 8 \
    --sequence-parallel \
    --context-parallel-size 1 \
    --num-layers 126 --hidden-size 16384 --num-attention-heads 128 \
    --seq-length 8192 --micro-batch-size 1 --global-batch-size 2048 \
    --bf16 --use-flash-attn --transformer-impl transformer_engine

TP=8 × PP=8 = 64 αντίγραφα πλήθους 8 nodes × 8 GPUs = 64 GPUs au total, soit exactement une réplique. Pour passer à plusieurs répliques et augmenter le débit, multipliez par DP. Το C'est là que Megatron δικαιολογεί την ύπαρξη γιου. Le même modèle sur FSDP2 seul passerait l'essentiel de son temps en επικοινωνία inter-rangs ; la disposition 3D place la επικοινωνία la plus lourde (TP) à l'intérieur du domaine NVLink.

Notre avis franc pour les clients Kentino

La plupart des clients Kentino ne pré-entraînent pas. Ils affinent des modèles de base à poids ouverts — Llama, Qwen, Mistral, parfois Gemma — sur leurs données métier, parfois en LoRA ή QLoRA, parfois en fine-tuning complet. Pour ce travail, le choix du frame est le suivant :

  • Un model qui tient sur un seul GPU en BF16, état de l'optimiseur compris. Χρησιμοποιήστε το DDP. Απαιτούνται αντίγραφα.
  • Un modèle qui ne tient pas sur un seul GPU mais tient en agrégé sur un nœud à 8 GPU. Χρησιμοποιήστε το πλήρες θραύσμα FSDP2. Cela couvre les fine-tunings de 8B à 70B.
  • Unmodele qui tient en agrégé sur deux nœuds à 8 GPU. Χρησιμοποιήστε το υβριδικό θραύσμα FSDP2. Μικρορυθμίσεις από 70B à 200B.
  • Un modèle συν gros que cela, ou un pré-entraînement depuis zero. C'est la talk où Megatron-Core, le matériel SXM et l'IB NDR ont leur place. Nous construisons le stockage et le plan de gestion, mais les GPU sont en général loués pour cette φάση.

Les 10 % των πελατών qui ont réelement besoin d'un entraînement multi-nœuds fortement couplé sont surtout des laboratoires de recherche dotés de programs de pre-entraînement financés, et ils savent ce qu'il leurme fauted'appeler. Les 90 % restants ne devraient pas se voir vendre un cluster — mais un seul nœud à 8 GPU bien spécifié, avec l'amorce réseau necessaire pour un second nœud plus tard, l'équipement réseau restant une ligne.

Ποιος έχει ιδιωτικό μπάνιο

Si vous dimensionnez un travail d'entraînement sans avoir encore choisi de frame, suivez ces étapes dans l'ordre :

  1. Calculez la mémoire par rang à la precision visée. Παράμετροι × 2 (BF16) + κλίσεις × 2 + βελτιστοποίηση × 8 (σε Adam FP32) + ενεργοποιήσεις. Για να διασφαλίσετε ότι η VRAM για τη ψηφοφορία GPU avec de la marge, το DDP είναι η ψηφοφορία.
  2. Si la mémoire ne suffit pas, demandez-vous : ai-je un nœud ou plusieurs ? Un seul nœud → πλήρες θραύσμα FSDP2, fin de la συζήτηση. Plusieurs nœuds → υβριδικό θραύσμα FSDP2.
  3. Faites un test de bon sens sur un seul pas. Observez le temps d'all-reduce avec NCCL_DEBUG=INFO. S'il domine le pas, le réseau est sous-dimensionné pour le modèle. Prendre un modelèle plus petit ou un réseau plus gros sont vos deux options ; régler le frame ne vous sauvera pas.
  4. Ne sortez Megatron-Core ou DeepSpeed ​​que lorsque FSDP2 ne peut pas faire ce dont vous avez besoin. « Ne peut pas » σηματοδοτεί : παράλληλος παράλληλος των μοντέλων συν gros que la memoire agrégée du nœud, besoin d'offload CPU/NVMe, besoin de parallélisme de sequence au-delà de ce que --context-parallel-size offfre dans PyTorch, ou pre-entraînement d'un MoE.
  5. Χρησιμοποιήστε το Axolotl ή το Accelerate comme lanceur. Écrire soi-même l'enrobage FSDP2 est un bon exercice d'apprentissage ; en παραγωγή, vous voulez le frame qui gère le jeu de données, le tokenizer, le format de checkpoint et la plomberie LoRA. Les deux reposent sur FSDP2.
  6. Κάνετε τα σημεία ελέγχου σας με torch.distributed.checkpoint (DCP) ou le checkpoint shardé asynchrone de NeMo. Les checkpoints synchrones non shardés écrits sur NFS sont un schéma de 2022 ; en 2026, c'est un blocage d'entraînement auto-infligé. Voir K06 pour la gestion des pannes qui en découle.
  7. Soyez honnête sur la taille du cluster dont vous avez vraiment besoin. Si votre travail tourne sur un nœud à 8 GPU en un temps raisonnable, ne payez pas un cluster de quatre nœuds pour le rendre 2.5× plus rapide sur le papier. Les calculs de montée en charge dans K07 montrent pourquoi « plus de nœuds » cesse vite d'aider sur du matériel standard.

Συμπληρωματικά άρθρα: le stockage et le checkpoint de l'entraînement distribué dans K04 , le clustering d'inférence dans K03 , la gestion des pannes dans K06 , le plafond de bande passante PCIe dans K07'arntreV et . Les calculs réseau sont dans N08.


Cet άρθρο fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires και διορθώσεις bienvenus à info@kentino.com.