Κατανεμημένη Εκπαίδευση το 2026: DDP, FSDP2, DeepSpeed, Megatron και οι Πέντε Άξονες του Παραλληλισμού
Μόλις έχετε περισσότερες από μία GPU σε ένα κουτί, έχετε μια επιλογή να κάνετε. Τέσσερα στοίβες ανοιχτού κώδικα κυριαρχούν στην κατανεμημένη εκπαίδευση σήμερα - PyTorch DDP, PyTorch FSDP2, Microsoft DeepSpeed και NVIDIA Megatron-Core - μαζί με το TorchTitan ως τη νέα αναφορά για εκπαίδευση μεγάλης κλίμακας με εγγενή PyTorch. Κάθε ένα λύνει ένα διαφορετικό πρόβλημα. Η επιλογή του λάθος μοντέλου σπαταλά εβδομάδες: είτε το μοντέλο δεν ταιριάζει και το ανακαλύπτετε στο βήμα 30 με σφάλμα εξάντλησης μνήμης, είτε έχετε υπερεκτιμήσει τον φόρτο εργασίας που θα είχε χειριστεί το DDP στο ένα δέκατο του χρόνου μηχανικής.
Αυτό το άρθρο αποτελεί την άποψη του αγοραστή και του αρχιτέκτονα για την κατανεμημένη εκπαίδευση. Περιηγείται στους πέντε άξονες παραλληλισμού, στα τέσσερα (τώρα πέντε) πλαίσια που τα συνδυάζουν και στις συνταγές που πραγματικά λειτουργούν σε υλικό κατηγορίας Kentino — κυρίως 4× και 8× RTX 5090, 4090 και RTX Pro 6000 Blackwell σε κεντρικούς υπολογιστές AMD EPYC, με PCIe Gen5 και commodity Ethernet ή InfiniBand μεταξύ των κόμβων. Η ειλικρινής ατάκα βρίσκεται στην κορυφή, οπότε το υπόλοιπο άρθρο δεν χρειάζεται να το αποδεικνύει συνεχώς: οι περισσότεροι πελάτες της Kentino κάνουν fine-tuning, όχι pre-training, και το FSDP2 σε έναν μόνο κόμβο 8-GPU χειρίζεται το 90% των αναγκών fine-tuning. Ο Megatron-Core και ο παραλληλισμός 3D κερδίζουν την αξία τους μόνο όταν κάνετε pre-training από την αρχή πάνω από την κλίμακα 30B, και αυτό είναι ένα πολύ μικρότερο κλαμπ από ό,τι υπονοεί το μάρκετινγκ.
Οι πέντε άξονες
Κάθε σύγχρονο πλαίσιο κατανεμημένης εκπαίδευσης συνθέτει κάποιο υποσύνολο των ίδιων πέντε αξόνων παραλληλισμού. Δεν είναι εναλλακτικές λύσεις — οι συνταγές μεγάλου μοντέλου συνδυάζουν τρεις ή τέσσερις ταυτόχρονα. Διαβάστε παρακάτω τη στήλη επικοινωνίας. Αυτό είναι όλο το παιχνίδι.
| Άξονας | Τι χωρίζει | Επικοινωνία ανά βήμα | Πεινασμένοι για εύρος ζώνης; | Σημειώσεις |
|---|---|---|---|---|
| Παράλληλη μετάδοση δεδομένων (DP) | Η παρτίδα — κάθε κατάταξη έχει πλήρες μοντέλο | Μείωση όλων των κλίσεων μία φορά ανά βήμα | Μέτρια | Η βασική γραμμή· DDP και FSDP, και τα δύο DP |
| Τενσορική παράλληλη (TP) | Το matmul κάθε στρώσης στις GPU | Μείωση όλων ανά στρώση × 2 (attn + FFN) | Πολύ βαρύ | Λατρεύει το NVLink, υποφέρει από το PCIe |
| Παράλληλος αγωγός (PP) | Τα επίπεδα χωρίζονται σε στάδια | Ενεργοποίηση στο όριο του σταδίου | φως | Προσθέτει καθυστέρηση φυσαλίδων, αυξάνει την απόδοση |
| Παράλληλη ακολουθία/πλαίσιο (SP/CP) | Διάσταση ακολουθίας σε όλες τις GPU | Συγκέντρωση δαχτυλιδιών KV / ενεργοποιήσεων | Μέτρια-βαριά | Ενεργοποιεί την εκπαίδευση με εκατομμύρια tokens |
| Παράλληλος εμπειρογνώμονα (EP) | Ειδικοί του Υπουργείου Παιδείας σε όλες τις GPU | Όλα προς όλα ανά επίπεδο MoE | Βαρύ, εκρηκτικό | Μόνο Υπουργείο Παιδείας |
Το DP φωνάζει μία φορά ανά βήμα. Το TP φωνάζει δύο φορές ανά στρώση . Το PP ψιθυρίζει μία φορά ανά στάδιο. Το SP/CP φωνάζει μία φορά ανά μπλοκ προσοχής αλλά σε διαφορετική διάσταση. Το EP κάνει "όλα προς όλα" μόνο στις στρώσεις που είναι ενεργές ως προς το MoE. Αυτή η μεμονωμένη στήλη αποφασίζει πού βρίσκεται κάθε άξονας — μέσα σε ένα γρήγορο κουτί ή κατά μήκος ενός πιο αργού υφάσματος.
Ο «τρισδιάστατος παραλληλισμός» που εμφανίζεται σε κάθε ιστολόγιο της NVIDIA είναι DP × TP × PPΠροσθέστε το SP και το EP και γίνεται 4D ή 5D, κάτι που είναι περισσότερο ένα παιχνίδι σημειογραφίας παρά μια αρχιτεκτονική αλλαγή. Αυτό που έχει σημασία είναι η διάταξη: TP μέσα στον κόμβο (όπου το εύρος ζώνης είναι φθηνό), PP μεταξύ των κόμβων (όπου το εύρος ζώνης είναι ακριβό), DP στην κορυφή για να κλιμακωθεί η απόδοση. Το SP τοποθετείται παράλληλα με το TP. Το EP ισχύει μόνο για MoE.
Διασταυρούμενες αναφορές: το εύρος ζώνης ενδοκόμβου παράλληλου τανυστήρα αποσυμπιέζεται στο K07 , η ποινή NVLink-versus-PCIe στο N03 και η δομή μεταξύ κόμβων στο N08.
DDP — όταν το μοντέλο ταιριάζει και θέλετε απλώς μεγαλύτερη απόδοση
Το PyTorch DDP (DistributedDataParallel) είναι η παλαιότερη, απλούστερη και εξακολουθεί να είναι η σωστή απάντηση όταν το μοντέλο ταιριάζει σε μία GPU. Κάθε κατάταξη περιέχει ένα πλήρες αντίγραφο του μοντέλου και της κατάστασης του βελτιστοποιητή. Κάθε βήμα, κάθε κατάταξη κάνει τον δικό της υπολογισμό προς τα εμπρός, προς τα πίσω και διαβάθμισης στη δική της μικρο-δέσμη. Στη συνέχεια, μια ενιαία εντολή all-reduce αθροίζει τις διαβαθμίσεις σε όλες τις τάξεις και όλοι εφαρμόζουν την ίδια ενημέρωση.
Το DDP στο PyTorch 2.x είναι το ίδιο DDP που ήταν πάντα, με δύο βελτιώσεις που αξίζει να σημειωθούν: ένα πιο ισχυρό static_graph=True διαδρομή για γραφήματα φιλικά προς τον μεταγλωττιστή και στενότερη ενσωμάτωση με torch.compileΤο μοτίβο επικοινωνίας παραμένει αμετάβλητο — μία μείωση όλων ανά βήμα, επικάλυψη με την αντίστροφη, γραμμική κλιμάκωση μέχρι να κυριαρχήσει η μείωση όλων.
Όταν το DDP είναι η σωστή απάντηση:
- Το πλήρες μοντέλο + οι καταστάσεις του βελτιστοποιητή + οι ενεργοποιήσεις χωράνε σε μία GPU. Για τους βελτιστοποιητές τύπου Adam σε κύρια βάρη FP32, ο εμπειρικός κανόνας είναι περίπου 16 byte ανά παράμετρο μνήμης μόνο για την εκπαιδεύσιμη κατάσταση (βάρη 4 bytes, διαβαθμίσεις 4 bytes, βελτιστοποιητής 8 bytes) συν ενεργοποιήσεις. Ένα μοντέλο 8B = 128 GB κατάστασης, το οποίο ταιριάζει μόνο σε μία RTX Pro 6000 Blackwell (96 GB) με μικτή ακρίβεια και βάρη master BF16. Κάτω από παραμέτρους 8B, το DDP είναι άνετο σε μία μόνο 5090. πάνω από αυτήν, δείτε το FSDP2.
- Θέλετε μέγιστη απόδοση, όχι μέγιστο μέγεθος μοντέλου. Το DDP έχει τη χαμηλότερη αναλογία επικοινωνίας προς υπολογισμό από οποιαδήποτε παράλληλη προσέγγιση δεδομένων, επειδή οι διαβαθμίσεις μειώνονται. μια φορά ανά βήμα, μετά από όλη την τοπική εργασία προς τα πίσω.
- Κάνετε εφαρμογές ενισχυτικής μάθησης, LoRA ή οποιαδήποτε ρύθμιση όπου κάθε βαθμός περιέχει έναν μικρό εκπαιδεύσιμο προσαρμογέα πάνω από παγωμένα βασικά βάρη.
Όταν το DDP είναι λάθος: το μοντέλο δεν ταιριάζει. Η διόρθωση δεν είναι "μικρότερη παρτίδα". Η διόρθωση είναι το FSDP2.
torchrun --standalone --nproc-per-node=8 train.py
Αυτή είναι όλη η διαδικασία εκκίνησης. Το DDP είναι η βαρετή προεπιλογή που όλοι ξεχνούν, και για το σωστό φόρτο εργασίας είναι το πιο γρήγορο πράγμα που μπορείτε να εκτελέσετε.
FSDP2 — η νέα προεπιλογή για όλα όσα δεν μπορεί να χειριστεί το DDP
Το FSDP (Fully Sharded Data Parallel - Πλήρως Κατακερματισμένη Παράλληλη Διασύνδεση Δεδομένων) κατακερματίζει τις παραμέτρους του μοντέλου, τις διαβαθμίσεις και τις καταστάσεις του βελτιστοποιητή σε όλη την ομάδα παράλληλων δεδομένων. Κάθε GPU αποθηκεύει 1/N των παραμέτρων. Για να κάνει μια προώθηση, η κατάταξη συγκεντρώνει όλα τα επίπεδα που χρειάζεται αυτήν τη στιγμή, εκτελεί τον υπολογισμό και απορρίπτει τα βάρη που έχουν συλλεχθεί. Η μνήμη μειώνεται περίπου Ν φορές σε σύγκριση με το DDP. Η επικοινωνία αυξάνεται επειδή κάθε επίπεδο συγκεντρώνεται και συγκεντρώνεται ξανά.
Η ιστορία του 2025 είναι FSDP2Το αρχικό FSDP (FSDP1) περιέκλειε ομάδες παραμέτρων σε ένα ενιαίο FlatParameter, γεγονός που έκανε την συλλογιστική σχετικά με τη συμπεριφορά ανά παράμετρο — μερικό πάγωμα, μικτοί τύποι d, ρυθμίσεις βελτιστοποίησης ανά παράμετρο — επώδυνη ή αδύνατη. Το FSDP2 ξαναέγραψε τα εσωτερικά πάνω από το DTensor: κάθε τανυστής παραμένει πραγματικός torch.Tensor που τυχαίνει να είναι κατακερματισμένο κατά μήκος του dim-0 σε όλες τις βαθμίδες. Το API που απευθύνεται στον χρήστη άλλαξε από FSDP(model, ...) προς την fully_shard(model, ...).
Τι προσφέρει στην πραγματικότητα το FSDP2 σε σχέση με το FSDP1, από τα δημοσιευμένα benchmarks και τις δικές μας δοκιμές:
-
~7% χαμηλότερη μνήμη GPU στο Llama 2 7B στην ίδια διαμόρφωση, επειδή το FSDP2 αποφεύγει το
record_streamένα μοτίβο που καρφίτσωνε τη μνήμη απαισιόδοξα. -
~1.5% αύξηση απόδοσης σε ισοτιμίακαι έως 50% επιτάχυνση απόδοσης όταν συνδυάζεται με
torch.compileκαιtorchaoΕκπαίδευση float8 σε υλικό κλάσης Hopper. - Ψηφία σε κατάσταση θραύσης που φορτώνουν γρήγορα και επαναθραύονται καθαρά σε διαφορετικές διατάξεις παραλληλισμού — η μορφή του σημείου ελέγχου FSDP1 ήταν γνωστά δύσκολη στην αναδιαμόρφωση μεταξύ εκπαίδευσης και συμπερασμού.
- Μερική κατάψυξη παραμέτρων χωρίς ακροβατικά, το οποίο έχει σημασία για το LoRA και την εκπαίδευση προσαρμογέων.
Το FSDP1 είναι έχει καταργηθεί από την έκδοση 2.11 του PyTorch. Η νέα εργασία θα πρέπει να χρησιμοποιεί fully_shardΤο παλιό FullyShardedDataParallel Το περιτύλιγμα εξακολουθεί να υπάρχει για λόγους συμβατότητας, αλλά βρίσκεται σε τροχιά κατάργησης.
Το FSDP2 παρουσιάζει επίσης δύο στρατηγικές sharding που καθορίζουν πού βρίσκεται το μοντέλο:
- Πλήρες θραύσμα. Οι παράμετροι είναι πλήρως κατανεμημένες σε όλες τις βαθμίδες (η προεπιλογή FSDP1). Χαμηλότερη μνήμη, υψηλότερη επικοινωνία.
- Υβριδικό θραύσμα. Παράμετροι που έχουν θραυστεί εντός ένας κόμβος και επαναλαμβάνεται μεταξύ κόμβων. Μέσα σε έναν κόμβο, η επικοινωνία γίνεται μέσω PCIe/NVLink (γρήγορη). Μεταξύ των κόμβων, μόνο η διαβάθμιση all-reduce διασχίζει το αργό δίκτυο. Αυτό είναι το ιδανικό σημείο για 2–4 κόμβους σε 100/200 Gbps Ethernet/IB.
Όταν το FSDP2 είναι η σωστή απάντηση (η περίπτωση του modal Kentino):
- Βελτιστοποίηση 8B–70B σε έναν κόμβο 8 GPU. Πλήρες shard, BF16, έλεγχος διαβάθμισης σε,
torch.compile. Εγινε. - 70B–405B βελτιστοποίηση σε 2–4 κόμβους. Υβριδικό θραύσμα με πλήρες θραύσμα μέσα σε κάθε κόμβο, αναπαραγόμενο σε όλο το μήκος του.
- Οτιδήποτε LoRA / QLoRA — Ο χειρισμός μερικών παραμέτρων του FSDP2 ξεπερνά κατά πολύ τον FSDP1 εδώ.
from torch.distributed.fsdp import fully_shard, MixedPrecisionPolicy
mp = MixedPrecisionPolicy(param_dtype=torch.bfloat16, reduce_dtype=torch.float32)
for block in model.transformer_blocks:
fully_shard(block, mp_policy=mp)
fully_shard(model, mp_policy=mp)
Ξεκίνησε με τον ίδιο τρόπο όπως το DDP, μέσω torchrunΤο περιτύλιγμα είναι το μόνο πράγμα που αλλάζει.
Τα DeepSpeed και τα επίπεδα ZeRO — ακόμα διαθέσιμα, όχι πλέον τα προεπιλεγμένα
Το DeepSpeed είναι το κατανεμημένο training stack της Microsoft. Η φήμη του οφείλεται στο ZeRO (Zero Redundancy Optimizer), το οποίο εμφανίστηκε χρόνια πριν από το FSDP και όρισε τη σύγχρονη προσέγγιση shard-everything.
| Επίπεδο | Τι είναι τεμαχισμένο | Εξοικονόμηση μνήμης έναντι DDP | Επικοινωνία έναντι DDP |
|---|---|---|---|
| Μηδέν-1 | Καταστάσεις Optimizer | ~4× | Ίδιο |
| Μηδέν-2 | Καταστάσεις βελτιστοποίησης + διαβαθμίσεις | ~8× | Ελαφρώς περισσότερο |
| Μηδέν-3 | Καταστάσεις βελτιστοποίησης + διαβαθμίσεις + παράμετροι | Γραμμικό σε N | ~1.5× DDP |
Το ZeRO-3 είναι αρχιτεκτονικά ισοδύναμο με το FSDP full-shard. Λύνουν το ίδιο πρόβλημα με τα ίδια πρωτόγονα επικοινωνίας.
Η πραγματικότητα το 2025-2026: Το FSDP2 έχει φάει το μεσημεριανό γεύμα του DeepSpeed στην περίπτωση χρήσης dense-LLM. Εγγενές PyTorch, χωρίς επιπλέον πακέτο, ενσωματωμένο με torch.compile, οι ίδιες θύρες συνταγής στα Hugging Face Transformers, Accelerate και TorchTitan. Τα εσωτερικά benchmarks από τα Lightning και Hugging Face δείχνουν ότι το FSDP full-shard τρέχει 2–5 φορές πιο γρήγορα ανά επανάληψη από το ZeRO-3 σε ορισμένες ρυθμίσεις, αν και το DeepSpeed ανακτά σε πολύ μεγάλα μοντέλα (10B+) όπου οι διαδρομές CPU-offload και NVMe-offload εξακολουθούν να είναι πραγματικά χρήσιμες.
Το DeepSpeed αξίζει να το γνωρίζετε για τρεις λόγους:
- Αποφόρτιση ZeRO-Infinity. Αν πρέπει να βελτιώσετε ένα μοντέλο που δεν ταιριάζει καθόλου στη συνολική μνήμη GPU — ας πούμε μια βάση 405B σε ένα κουτί 4× RTX Pro 6000 Blackwell — το DeepSpeed μπορεί να εκφορτώσει παραμέτρους στη μνήμη RAM της CPU (φθηνή, αργή) και στο NVMe (φθηνότερη, πολύ πιο αργή). Το FSDP έχει επίσης εκφορτώσεις CPU, αλλά η διαδρομή NVMe του DeepSpeed είναι πιο ώριμη. Χρήσιμο για το "Έχω ένα μηχάνημα και ένα πεισματάρικο μοντέλο". Δεν είναι η σωστή απάντηση αν μπορείτε να νοικιάσετε ή να αγοράσετε έναν δεύτερο κόμβο.
- Παραλληλισμός ακολουθίας DeepSpeed-Ulysses. Ένα επικοινωνιακά αποδοτικό σχήμα παράλληλης ακολουθίας που χρησιμοποιεί την προσέγγιση "όλα προς όλα" αντί για την προσέγγιση "συλλογή όλων" για την προσέλκυση προσοχής. Έχει επιδείξει έως και 1 εκατομμύριο συμβολικά πλαίσια σε 64 A100 και έχει εκπαιδεύσει τον Llama-8B σε 15 εκατομμύρια συμβολικά πλαίσια σε 32 H100 σε δημοσιευμένη εργασία του 2025. Αν επιδιώκετε συγκεκριμένα πολύ μεγάλη εκπαίδευση πλαισίου, το Ulysses εξακολουθεί να προηγείται της υλοποίησης παράλληλης εφαρμογής πλαισίου Megatron για ορισμένα σχήματα.
- DeepSpeed-MoE. Μεικτή εκπαίδευση ειδικών με παράλληλη εκπαίδευση ειδικών. Λιγότερο σχετικό με την τελειοποίηση, πολύ σχετικό εάν κάνετε προεκπαίδευση στο MoE.
Για το μεγαλύτερο μέρος των βελτιώσεων που κάνουν οι πελάτες του Kentino, η σωστή επιλογή είναι το FSDP2, εκτός αν έχετε συγκεκριμένο λόγο να επιλέξετε το DeepSpeed (long context, μείωση φόρτου CPU/NVMe, προεκπαίδευση MoE). Η ορμή του οικοσυστήματος είναι αναμφισβήτητα προς το FSDP2.
Megatron-LM, Megatron-Core, NeMo — όπου ζει ο βαρύς σίδηρος
Το Megatron ξεκίνησε ως το έγγραφο tensor-parallel Transformer της NVIDIA το 2019. Σήμερα, η οικογένεια έχει τρία επίπεδα:
- Megatron-LM — η αρχική βάση κώδικα έρευνας. Χρησιμοποιείται ακόμα· ενημερώνεται ακόμα.
- Megatron-Core — η έκδοση αρθρωτής βιβλιοθήκης. Σύνθετα δομικά στοιχεία για αρχιτεκτονικές μετασχηματιστών TP/PP/DP/EP/CP, μικτής ακρίβειας (FP16/BF16/FP8/FP4) και αναφοράς. Αυτό που πραγματικά ενσωματώνετε.
- Nvidia NeMo — το ολοκληρωμένο πλαίσιο που βασίζεται στο Megatron-Core. Συνταγές, αγωγοί δεδομένων, ευθυγράμμιση, ανάπτυξη.
Το Megatron-Core είναι το framework που κερδίζει στην κορυφή, ειδικά επειδή εφαρμόζει παραλληλισμό τενσόρων, παραλληλισμό αγωγών, παραλληλισμό ακολουθιών, παραλληλισμό περιβάλλοντος και παραλληλισμό ειδικών σε ένα σύνθετο πλέγμα. Όταν εκπαιδεύετε ένα πυκνό μοντέλο 405B σε 512+ GPU, δεν μπορείτε να αποφύγετε τον συνδυασμό τουλάχιστον τριών από αυτά, και το Megatron-Core είναι ο πιο αναπτυγμένος και δοκιμασμένος συνδυασμός.
Η καθοδήγηση παραλληλισμού Megatron για το 2026, από την τεκμηρίωση της ίδιας της NVIDIA, ευθυγραμμίζεται με την πραγματικότητα του υλικού:
| υλικού | Συνιστώμενοι κύριοι άξονες |
|---|---|
| Μονός κόμβος, NVLink | TP έως 8 εντός του κόμβου |
| Πολλαπλοί κόμβοι, InfiniBand NDR | TP εντός κόμβου, PP μεταξύ κόμβων |
| Περιορισμένο δίκτυο (Ethernet) | Ελαχιστοποίηση TP, προτίμηση PP για διασταυρούμενους κόμβους |
| Μεγάλες ακολουθίες | Προσθήκη CP. Ενεργοποίηση SP όπου είναι ενεργοποιημένο το TP |
Αυτός ο πίνακας σας εξηγεί γιατί υπάρχει το Megatron. Είναι το πλαίσιο του οποίου οι συγγραφείς ζουν με τα μαθηματικά εύρους ζώνης που περιγράφουμε στα N03 και K07 , και οι συνταγές του είναι προσαρμοσμένες για αυτό.
Όπου το Megatron είναι υπερβολικό: οποιαδήποτε βελτιστοποίηση ενός κόμβου, οποιοδήποτε μοντέλο που ταιριάζει σε μνήμη φιλική προς το FSDP2, οποιοδήποτε φόρτο εργασίας όπου δεν χρειάζεστε TP. Ο μηχανισμός TP της Megatron είναι πραγματικά ταχύτερος από τον DIY TP σε PCIe, αλλά ο TP σε PCIe είναι ακόμα αργός — δείτε τους αριθμούς K07. Η δύναμη του Megatron έγκειται στο υλικό SXM που δεν κατασκευάζει η Kentino.
Όπου το Megatron είναι η σωστή απάντηση: προεκπαίδευση 70B–405B+ πυκνών μοντέλων σε ενοικιασμένο ή ιδιόκτητο υλικό κατηγορίας NVLink ή κατασκευή υποδομής εκπαίδευσης παραγωγής για ένα ερευνητικό εργαστήριο. Αν αυτό ισχύει για εσάς, πιθανότατα βρίσκεστε ήδη στο οικοσύστημα NeMo.
TorchTitan — η νέα αναφορά
Το TorchTitan είναι η αναφορά εκπαίδευσης μεγάλης κλίμακας της Meta, η οποία βασίζεται στο PyTorch, έγινε δεκτό στο ICLR 2025 και τώρα αποτελεί το de facto παράδειγμα για το "πώς θα πρέπει να μοιάζει μια συνταγή TP × PP × FSDP2 × CP το 2026;" Δεν εφευρίσκει νέο παραλληλισμό — συνθέτει τα δομικά στοιχεία που ήδη διαθέτει το PyTorch (fully_shard, torch.distributed.tensor.parallel, pipelining, DTensor) σε ένα καθαρό, τετραδιάστατο παράλληλο σενάριο εκπαίδευσης με ασύγχρονα sharded checkpointing, torch.compile, και float8.
Γιατί έχει σημασία ακόμα κι αν δεν το χρησιμοποιείτε απευθείας:
- Είναι η κανονικό παράδειγμα για το πώς συντίθεται το FSDP2 με TP και PP χωρίς πλαίσιο τρίτου μέρους.
- Τα ίδια API διατίθενται σε απόθεμα στο PyTorch. Δεν υπάρχει τίποτα μαγικό.
- Η AMD κυκλοφόρησε ένα βελτιστοποιημένο fork TorchTitan για το ROCm στα τέλη του 2025. Η συνεργασία με την Lightning AI που ανακοινώθηκε τον Οκτώβριο του 2025 καθιστά τις συνταγές TorchTitan εκτελέσιμες στα Lightning Studios.
Για τους πελάτες κατηγορίας Kentino, το TorchTitan είναι περισσότερο ένα σημείο αναφοράς παρά ένα πλαίσιο για ανάπτυξη. Εάν κάνετε μικρορύθμιση, το Accelerate ή το Axolotl μέσω FSDP2 είναι πιο εργονομικό. Εάν κάνετε προεκπαίδευση σε μέτρια κλίμακα (8–64 GPU) σε συμβατικό υλικό, το TorchTitan είναι ανταγωνιστικό του NeMo και πολύ λιγότερο λειτουργικό.
Ο πίνακας πλαισίου
| Πλαίσιο | Άξονες παραλληλισμού | Συντηρείται; | Το καλύτερο για |
|---|---|---|---|
| PyTorch DDP | DP | Ναι, σταθερό | Το μοντέλο ταιριάζει ανά GPU. Μέγιστη απόδοση |
| PyTorch FSDP1 | DP (θραυσμένο) | Καταργήθηκε 2.11 | Μην ξεκινάς από εδώ |
| PyTorch FSDP2 | DP (θραυσμένο), σύνθεση με TP/PP/CP | Ναι, ενεργό | Απάντηση για την βελτιστοποίηση των τρόπων λειτουργίας το 2026 |
| DeepSpeed ZeRO | DP (θραυσμένο), μείωση φόρτου CPU/NVMe | Ναι, ενεργό | Πολύ μεγάλο, με πολύ μεγάλο περιεχόμενο (Οδυσσέας), MoE |
| Megatron-Core / NeMo | ΤΠ, ΠΠ, ΣΠ, ΚΠ, ΕΠ, DP | Ναι, πολύ δραστήριος | 70+ προεκπαίδευση, συστάδες SXM/NVLink |
| TorchTitan | FSDP2 + TP + PP + CP + float8 | Ναι, αναφορά | Σύγχρονη προεκπαίδευση σε στοίβα PyTorch-native |
| Επιτάχυνση υψηλής συχνότητας | Περιτύλιγμα γύρω από DDP/FSDP/DS | Ναι, ενεργό | Εύκολο πρόγραμμα εκκίνησης, περιλήψεις του backend |
| αξολότλ | Περιτύλιγμα γύρω από το Accelerate/FSDP | Ναι, ενεργό | Βελτιστοποίηση, σύνολα δεδομένων, συνταγές για LoRA/QLoRA |
Το Accelerate και το Axolotl δεν είναι ξεχωριστές στρατηγικές παραλληλισμού — τυλίγουν τα backends από πάνω. Οι περισσότεροι πελάτες του Kentino που κάνουν fine tuning θα καταλήξουν να χρησιμοποιούν το Axolotl αντί για το FSDP2 χωρίς να το σκεφτούν, και αυτό είναι σωστό.
Ο προϋπολογισμός επικοινωνίας — γιατί το δίκτυό σας περιορίζει το μοντέλο
Διασταυρούμενη αναφορά: Το N08 περιγράφει τα μαθηματικά του RDMA και της ανοδικής ζεύξης. Αυτή είναι η προβολή που αφορά συγκεκριμένα την εκπαίδευση.
Για παράλληλα δεδομένα (DDP ή FSDP), η επικοινωνία μεταξύ των βαθμίδων ανά βήμα είναι περίπου ανάλογη με τον αριθμό των παραμέτρων (κλίσεις προς μείωση). Για παράλληλα τανυστικά, είναι ανάλογη με το μέγεθος ενεργοποίησης × τον αριθμό των στρώσεων — τάξεις μεγέθους μεγαλύτερες ανά βήμα.
Εμπειρικός κανόνας όγκου κλίσης για ένα μόνο βήμα στο BF16:
| Μέγεθος μοντέλου | Διαβάθμιση byte/βήμα | Χρόνος πλήρους μείωσης στα 25 GB/s (κατηγορία NDR HDR) | Στα 12.5 GB/s (100 GbE) |
|---|---|---|---|
| 8B | 16 GB | ~0.6 δευτ. | ~1.3 δευτ. |
| 70B | 140 GB | ~5.6 δευτ. | ~11 δευτ. |
| 405B | 810 GB | ~32 δευτ. | ~65 δευτ. |
Μόνο η μείωση των 70B είναι 5.6 δευτερόλεπτα σε ένα fabric 200 Gbps. Εάν ο χρόνος υπολογισμού προς τα εμπρός+προς τα πίσω σε ένα βήμα είναι επίσης 5 δευτερόλεπτα, είστε ήδη 50% δεσμευμένοι στην επικοινωνία. Εάν ο υπολογισμός είναι 2 δευτερόλεπτα, είστε 70%+ σε αδράνεια στο δίκτυο. Αυτός είναι ο λόγος για τον οποίο τα 100 GbE περιορίζουν την εκπαίδευση των 70+ B και χρειάζεστε 400 GbE / NDR IB. Ο υπολογισμός συνεχίζει να γίνεται ταχύτερος. Το δίκτυο πρέπει να συμβαδίζει ή οι GPU είναι σε αδράνεια.
Το FSDP2 αποκρύπτει μέρος αυτού με επικάλυψη (ξεκινήστε να συλλέγετε το επόμενο επίπεδο ενώ υπολογίζετε το τρέχον). Το υβριδικό θραύσμα αποκρύπτει περισσότερα διατηρώντας την πλήρη μείωση της διαβάθμισης μέσα στο γρήγορο ενδοκόμβο και μειώνοντας μόνο τις αναπαραγόμενες διαβαθμίσεις σε όλους τους κόμβους. Οι παραπάνω αριθμοί είναι η χειρότερη περίπτωση για FSDP πλήρους θραύσματος σε όλους τους κόμβους χωρίς επικάλυψη.
Για την παράλληλη επικοινωνία τανυστήρα, η επικοινωνία ανά διακριτικό κλιμακώνεται με το κρυφό μέγεθος και τον αριθμό των επιπέδων. Οι αριθμοί στο K07 δείχνουν γιατί: ~80 MB ανά δημιουργημένο διακριτικό κατά την αποκωδικοποίηση, ~300 GB ανά προπλήρωση σε 70B στην παρτίδα 32. Αυτό είναι το καθεστώς όπου το PCIe (50 GB/s ρεαλιστικά) είναι περίπου 14 φορές πιο αργό από το NVLink (700+ GB/s ρεαλιστικά) και όπου η προεκπαίδευση ενός πυκνού μοντέλου 70B+ σε PCIe απλά δεν λειτουργεί με αποδεκτή απόδοση.
Πραγματικές συνταγές
8B Μικρορύθμιση Llama, ένας κόμβος 8 GPU — FSDP2
Υλικό: 8× RTX 5090 ή 8× RTX Pro 6000 Blackwell, EPYC host, δεν απαιτείται inter-node fabric.
torchrun --standalone --nproc-per-node=8 \
finetune.py \
--model meta-llama/Llama-3.1-8B \
--batch-size 1 --grad-accum 16 --seq-len 4096 \
--bf16 --fsdp full_shard --fsdp-reshard-after-forward \
--gradient-checkpointing --torch-compile
Αναμενόμενο: ~2000 tok/s σύνολο στο BF16, ταιριάζει άνετα με KV/ενεργοποιήσεις, το full-shard FSDP2 μέσω PCIe Gen5 χειρίζεται την πλήρη μείωση της κλίσης μέσα στο κουτί. Έτσι μοιάζουν επίσης το 90% των εργασιών βελτιστοποίησης του Kentino.
70B Llama fine-tune, 2× 8-GPU nodes — FSDP2 hybrid shard
Υλικό: 2× 8× RTX Pro 6000 Blackwell, 200 Gbps IB ή 100 GbE RoCE μεταξύ κόμβων.
torchrun --nnodes=2 --nproc-per-node=8 \
--rdzv-backend=c10d --rdzv-endpoint=node0:29500 \
finetune.py \
--model meta-llama/Llama-3.3-70B \
--batch-size 1 --grad-accum 32 --seq-len 4096 \
--bf16 --fsdp hybrid_shard \
--gradient-checkpointing --torch-compile \
--activation-cpu-offload
Το υβριδικό shard διατηρεί το πλήρες shard μέσα σε κάθε κόμβο 8 GPU και αναπαράγεται στους 2 κόμβους. Το inter-node fabric μεταφέρει μόνο τη μειωμένη σκέδαση των αναπαραγόμενων διαβαθμίσεων — περίπου 70 GB/βήμα στο BF16, ~3 s σε 200 Gbps IB. Η επικάλυψη αποκρύπτει το μεγαλύτερο μέρος της. Στα 100 GbE το ίδιο βήμα κοστίζει ~5–6 s και οι GPU αρχίζουν να εμφανίζουν χρόνο αδράνειας. Η συνταγή εξακολουθεί να λειτουργεί, απλώς πιο αργά ανά εποχή.
Προεκπαίδευση 405B, 8× κόμβοι 8-GPU — Megatron-Core 3D
Υλικό: 8× κόμβοι NVLink/SXM 8-GPU, 400 Gbps NDR IB. Δεν είναι κατασκευασμένο από την Kentino — για λόγους πληρότητας.
# Megatron-Core launcher (abbreviated)
torchrun --nnodes=8 --nproc-per-node=8 \
pretrain_gpt.py \
--tensor-model-parallel-size 8 \
--pipeline-model-parallel-size 8 \
--sequence-parallel \
--context-parallel-size 1 \
--num-layers 126 --hidden-size 16384 --num-attention-heads 128 \
--seq-length 8192 --micro-batch-size 1 --global-batch-size 2048 \
--bf16 --use-flash-attn --transformer-impl transformer_engine
TP=8 × PP=8 = 64 τάξεις ανά αντίγραφο· 8 nodes × 8 GPUs = 64 GPUs συνολικά, ακριβώς ένα αντίγραφο. Για κλιμάκωση σε πολλαπλά αντίγραφα για υψηλότερη απόδοση, πολλαπλασιάστε με DPΕδώ είναι που ο Megatron κερδίζει την αξία του. Το ίδιο μοντέλο μόνο του στο FSDP2 θα αφιέρωνε τον περισσότερο χρόνο του στην επικοινωνία μεταξύ βαθμίδων. Η τρισδιάστατη διάταξη τοποθετεί την πιο βαριά επικοινωνία (TP) εντός του τομέα NVLink.
Ειλικρινής άποψη για τους πελάτες του Kentino
Οι περισσότεροι πελάτες του Kentino δεν κάνουν προεκπαίδευση. Πραγματοποιούν λεπτορυθμίσεις σε βασικά μοντέλα ανοιχτού βάρους — Llama, Qwen, Mistral, μερικές φορές Gemma — στα δεδομένα τομέα τους, περιστασιακά με LoRA ή QLoRA, περιστασιακά με πλήρεις λεπτορυθμίσεις. Για αυτήν την εργασία, η επιλογή πλαισίου είναι:
- Ένα μοντέλο που ταιριάζει σε μία GPU στο BF16, με κατάσταση βελτιστοποίησης. Χρησιμοποιήστε DDP. Αντιγράψτε αντίγραφα για απόδοση.
- Ένα μοντέλο που δεν ταιριάζει σε μία GPU αλλά ταιριάζει συνολικά σε έναν κόμβο 8 GPU. Χρησιμοποιήστε το πλήρες θραύσμα FSDP2. Αυτό καλύπτει τις μικρορυθμίσεις 8B–70B.
- Ένα μοντέλο που ταιριάζει συνολικά σε δύο κόμβους 8 GPU. Χρησιμοποιήστε υβριδικό θραύσμα FSDP2. Μικρορυθμίσεις 70B–200B.
- Ένα μοντέλο μεγαλύτερο από αυτό, ή προεκπαίδευση από την αρχή. Αυτή είναι η συζήτηση στην οποία ανήκουν ο Megatron-Core, το υλικό SXM και το NDR IB. Θα κατασκευάσουμε τον χώρο αποθήκευσης και το επίπεδο διαχείρισης, αλλά οι GPU συνήθως ενοικιάζονται για αυτή τη φάση.
Το 10% των πελατών που πραγματικά χρειάζονται εκπαίδευση πολλαπλών κόμβων, στενά συνδεδεμένη, είναι ως επί το πλείστον ερευνητικά εργαστήρια με χρηματοδοτούμενα προγράμματα προ-εκπαίδευσης και γνωρίζουν τι χρειάζονται πριν καλέσουν. Στο άλλο 90% δεν θα πρέπει να πουληθεί ένα σύμπλεγμα — θα πρέπει να τους πουληθεί ένας καλά εξοπλισμένος κόμβος 8 GPU με το σωστό stub fabric για έναν μελλοντικό δεύτερο κόμβο και ο εξοπλισμός δικτύου να παραμείνει ως στοιχείο γραμμής P2.
Τι να κάνω μετά
Αν σχεδιάζετε να δημιουργήσετε μια εκπαιδευτική εργασία και δεν έχετε επιλέξει ακόμη ένα πλαίσιο, ακολουθήστε τα παρακάτω με τη σειρά:
- Υπολογίστε τη μνήμη ανά τάξη με την ακρίβεια-στόχο σας. Παράμετροι × 2 (BF16) + διαβαθμίσεις × 2 + βελτιστοποιητής × 8 (καταστάσεις Adam FP32) + ενεργοποιήσεις. Αν αυτό ταιριάζει στην VRAM της GPU σας με headroom, το DDP είναι η λύση.
- Αν η μνήμη δεν χωράει, ρωτήστε: έχω έναν κόμβο ή πολλούς; Ένας κόμβος → πλήρες θραύσμα FSDP2, τέλος συνομιλίας. Πολλοί κόμβοι → υβριδικό θραύσμα FSDP2.
-
Εκτελέστε έναν έλεγχο ψυχικής υγείας σε ένα μόνο βήμα. Παρακολουθήστε τον χρόνο πλήρους μείωσης
NCCL_DEBUG=INFOΑν κυριαρχεί στο σκαλοπάτι, το δίκτυο είναι μικρότερο από το μοντέλο. Οι δύο επιλογές σας είναι να επιλέξετε ένα μικρότερο μοντέλο ή ένα μεγαλύτερο ύφασμα. Η ρύθμιση του πλαισίου δεν θα σας σώσει. -
Χρησιμοποιήστε Megatron-Core ή DeepSpeed μόνο όταν το FSDP2 δεν μπορεί να κάνει αυτό που χρειάζεστε. «Δεν μπορώ» σημαίνει: χρειάζεται παράλληλη τανυστική σύνδεση για ένα μοντέλο μεγαλύτερο από τη συνολική μνήμη κόμβου σας, χρειάζεται εκφόρτωση CPU/NVMe, χρειάζεται παράλληλη ακολουθία πάνω από αυτό
--context-parallel-sizeστο PyTorch σας δίνει ή προεκπαιδεύετε το MoE. - Χρησιμοποιήστε το Axolotl ή το Accelerate για τον εκτοξευτή. Η χειροκίνητη περιτύλιξη του FSDP2 είναι μια μαθησιακή άσκηση. Στην παραγωγή χρειάζεστε το πλαίσιο που χειρίζεται το σύνολο δεδομένων, τον tokenizer, τη μορφή του σημείου ελέγχου και την υδραυλική εγκατάσταση LoRA. Και τα δύο βασίζονται στο FSDP2 από κάτω.
-
Σημείο ελέγχου με
torch.distributed.checkpoint(DCP) ή το ασύγχρονο σημείο ελέγχου θραυσμάτων του NeMo. Τα σύγχρονα μη θραυσμένα σημεία ελέγχου που γράφονται στο NFS είναι ένα μοτίβο του 2022. Το 2026 είναι μια αυτοπροκαλούμενη καθυστέρηση εκπαίδευσης. Δείτε K06 για τον χειρισμό σφαλμάτων που κρέμεται από αυτό. - Να είστε ειλικρινείς σχετικά με το μέγεθος του cluster που πραγματικά χρειάζεστε. Εάν η εργασία σας εκτελείται σε έναν κόμβο 8 GPU σε ένα λογικό ρολόι τοίχου, μην πληρώσετε για ένα σύμπλεγμα τεσσάρων κόμβων για να το κάνετε 2.5 φορές πιο γρήγορο σε χαρτί. Τα μαθηματικά κλιμάκωσης στο K07 δείχνει γιατί η φράση "περισσότεροι κόμβοι" σταματά να βοηθάει νωρίς σε εμπορεύσιμο υλικό.
Συνοδευτικά άρθρα: κατανεμημένη αποθήκευση εκπαίδευσης και σημεία ελέγχου στο K04 , ομαδοποίηση συμπερασμάτων στο K03 , χειρισμός σφαλμάτων στο K06 , το ανώτατο όριο εύρους ζώνης PCIe στο K07 και η αντιστάθμιση NVLink έναντι PCIe στο N03 . Τα μαθηματικά δικτύωσης βρίσκονται στο N08.
Αυτό είναι μέρος του Kentino Wiki, μιας σειράς αναφοράς για την υπολογιστική Τεχνητή Νοημοσύνη, τη ρομποτική και τα συστήματα που τα συνδέουν. Σχόλια και διορθώσεις είναι ευπρόσδεκτα στο info@kentino.com.