Τοπολογίες χωρίς διακόπτη: Πλέγμα, Δακτύλιος και Άμεση Σύνδεση για Μικρά Συστήματα Τεχνητής Νοημοσύνης

Ένας διακόπτης 400 GbE 32 θυρών με τα οπτικά, τα breakouts και τα δικαιώματα λογισμικού για την πραγματική χρήση του κοστίζει κάπου μεταξύ 40 και 80 ευρώ στα μέσα του 2026, ενώ ένας διακόπτης NDR InfiniBand 64 θυρών είναι χειρότερος. Για έναν πελάτη που κατασκευάζει μια πλατφόρμα εκπαίδευσης δύο έως τεσσάρων κόμβων, ο διακόπτης μπορεί να κοστίσει περισσότερο από τις GPU σε έναν από τους κόμβους. Προσθέτει επίσης ένα άλμα καθυστέρησης, ένα μοναδικό σημείο αποτυχίας, έναν ξεχωριστό κύκλο ζωής υλικολογισμικού και ένα μικρό έργο PFC/ECN tuning, εάν εκτελείτε RoCE.

Το γεγονός για το οποίο σχεδόν κανείς δεν μιλάει είναι ότι κάτω από περίπου οκτώ κόμβους δεν χρειάζεστε καθόλου διακόπτη . Μπορείτε να συνδέσετε τις κάρτες δικτύου μεταξύ τους απευθείας, να παραλείψετε εντελώς τον διακόπτη και να καταλήξετε σε κάτι απλούστερο, φθηνότερο και λίγο πιο γρήγορο. Το γεγονός ότι σχεδόν κανείς δεν παραδέχεται είναι ότι πάνω από περίπου οκτώ κόμβους, ο διακόπτης χωρίς διακόπτη πέφτει από έναν γκρεμό και η καλωδίωση, ο αριθμός των θυρών και η λειτουργική ιστορία παύουν να είναι υπερασπίσιμα. Αυτό το άρθρο χαρτογραφεί αυτό το εύρος με ειλικρίνεια.

Είναι το συνοδευτικό του N04 (τοπολογίες μεταγωγής). Διαβάστε το N06 για τα μαθηματικά της καθυστέρησης στα οποία βασίζεται η νίκη χωρίς μεταγωγή και το K07 για το πώς μοιάζει ένας ενιαίος βασικός κόμβος — το δομικό στοιχείο που συνδέει αυτό το άρθρο.

Η περίπτωση του switchless

Τέσσερα πράγματα που παίρνετε δωρεάν αφαιρώντας τον διακόπτη:

  1. Μηδενική καθυστέρηση διακόπτη. Ένας σύγχρονος διακόπτης τεχνητής νοημοσύνης Ethernet cut-through καταναλώνει 400–600 ns ανά άλμα. Ένας διακόπτης NDR InfiniBand καταναλώνει λιγότερο από 100 ns. Ένα καλώδιο απευθείας σύνδεσης NIC-to-NIC προσθέτει καθυστέρηση καλωδίου (~5 ns/m σε χαλκό, το ίδιο στην οπτική ίνα) και τίποτα άλλο. Σε ένα πινγκ-πονγκ δύο κόμβων, αυτό μειώνει την μονόδρομη καθυστέρηση από ~2 µs σε ~1.2–1.5 µs.
  2. Μηδενικό κόστος αλλαγής. Μια άμεση σύνδεση δύο κόμβων σημαίνει δύο κάρτες δικτύου (NIC) και ένα DAC. Ένα τρίγωνο τριών κόμβων σημαίνει τρεις κάρτες δικτύου (NIC) και τρεις DAC. Η εξοικονόμηση κεφαλαιουχικών εξόδων σε σύγκριση ακόμη και με έναν μικρό διακόπτη 100 GbE με οπτικά QSFP28 είναι πραγματικά αξιοσημείωτη σε μια μικρή κατασκευή — 10–30 ευρώ που δαπανώνται για GPU.
  3. Δεν υπάρχουν πονοκέφαλοι PFC/ECN. Μια άμεση σύνδεση NIC-to-NIC είναι από σημείο σε σημείο — ο έλεγχος ροής είναι μια συνομιλία δύο μερών, το PFC εκφυλίζεται σε "πείτε στον ομότιμο να σταματήσει". Δεν υπάρχει παθολογία διάδοσης παύσης σε ολόκληρο το fabric επειδή δεν υπάρχει fabric.
  4. Μία κλάση συσκευής για εντοπισμό σφαλμάτων. Όταν κάτι χαλάσει σε ένα fabric χωρίς διακόπτη, η ύποπτη λίστα είναι δύο κάρτες δικτύου (NIC), ένα καλώδιο και οι οδηγοί πυρήνα και στα δύο άκρα. Αυτός είναι ένας μικρός, πεπερασμένος χώρος αναζήτησης.

Η περίπτωση των δύο κόμβων: απλώς συνδέστε τους μεταξύ τους

Αυτή είναι η πιο καθαρή δυνατή ρύθμιση συμπλέγματος AI και αυτή όπου η λειτουργία χωρίς διακόπτη είναι αναμφισβήτητα σωστή.

Κόμβος Α — Kentino AI 256
  • 8× RTX 5090
  • ConnectX-7 OSFP (400 Gb/s)
⇄ 400G DAC (παθητικό, ≤3 m)
Κόμβος Β — Kentino AI 256
  • 8× RTX 5090
  • ConnectX-7 OSFP (400 Gb/s)

Άμεση σύνδεση δύο κόμβων: ένας παθητικός OSFP DAC, χωρίς διακόπτη, καθυστέρηση RDMA ~0.8–1.2 µs, ~50 GB/s αξιοποιήσιμη απόδοση ανά κατεύθυνση.

Ένα μόνο OSFP DAC μεταξύ δύο ConnectX-7 NICs στα 400 Gb/s. Αυτό είναι ολόκληρο το inter-node fabric. Οι ίδιες NICs που θα ήταν στραμμένες προς έναν διακόπτη σε μια μεγαλύτερη έκδοση είναι στραμμένες η μία προς την άλλη. Τα ρήματα RDMA λειτουργούν, το NCCL τα εντοπίζει αυτόματα, το GPUDirect RDMA εκτελείται αμετάβλητο.

Τι λαμβάνετε: ~50 GB/s ανά κατεύθυνση αξιοποιήσιμο, ακατέργαστη καθυστέρηση RDMA υπομικροδευτερολέπτου (ib_send_lat προσγειώνεται περίπου 0.8–1.2 µs), ένα καλώδιο. Δεν υπάρχει πρόβλημα συσσωμάτωσης επειδή δεν υπάρχει τίποτα προς συσσώρευση. Δεν υπάρχει υπερκάλυψη επειδή δεν υπάρχει σημείο fan-out.

Για ένα ζεύγος εκπαίδευσης δύο κόμβων — η πιο συνηθισμένη έκδοση τύπου "Έχω ξεπεράσει ένα κουτί" στην πελατειακή μας βάση — αυτή είναι η σωστή απάντηση. Παραλείψτε την αλλαγή. Συνδέστε τα μεταξύ τους. Ξοδέψτε τα χρήματα που εξοικονομήσατε σε ένα μεγαλύτερο επίπεδο NVMe ή σε μια δεύτερη θύρα NIC για πλεονασμό.

Μια πρακτική βελτίωση: χρησιμοποιήστε ένα διπλής θύρας Συνδέστε το X-7 και εκτελέστε δύο παράλληλα DAC 200 Gb/s μεταξύ των κουτιών, με το NCCL να έχει ρυθμιστεί να χρησιμοποιεί και τα δύο HCA (NCCL_IB_HCA=mlx5_0,mlx5_1). Χάνετε λίγο από την κορυφή ανά ροή, αλλά έχετε πλεονασμό διαδρομής και ελαφρώς καλύτερη συμπεριφορά μικρών μηνυμάτων από παράλληλα ζεύγη ουρών. Αυτό το ορίζουμε ως προεπιλογή σε δομές δύο κόμβων.

Τρεις και τέσσερις κόμβοι: τρίγωνο και K₄

Τρεις κόμβοι είναι η μικρότερη περίπτωση όπου η τοπολογία αρχίζει να έχει σημασία. Οι επιλογές είναι:

  • Γραμμική αλυσίδα (ABC). Δύο καλώδια. Διάμετρος 2. Ο κόμβος Β είναι ένα hotspot — όλη η κίνηση από A σε C τον διασχίζει. Αποφύγετε.
  • Τρίγωνο (πλήρες πλέγμα). Τρία καλώδια. Διάμετρος 1. Κάθε κόμβος έχει δύο θύρες. Κάθε ροή είναι ένα άλμα. Αυτή είναι η σωστή απάντηση.
Τρίγωνο (3 κόμβοι, K₃) A B C 3 σύνδεσμοι · 2 θύρες/κόμβος · διάμετρος 1 Πλήρες πλέγμα K₄ (4 κόμβοι) A B D C 6 σύνδεσμοι · 3 θύρες/κόμβος · διάμετρος 1

Αριστερά: τρίγωνο (K₃) — 3 κόμβοι, 3 καλώδια, διάμετρος 1. Δεξιά: K₄ πλήρες πλέγμα — 4 κόμβοι, 6 καλώδια, διάμετρος 1. Κάθε ζεύγος συνδέεται απευθείας.

Τέσσερις κόμβοι είναι το σημείο που αποκτά ενδιαφέρον. Το πλήρες πλέγμα — το πλήρες γράφημα K₄ — έχει συνολικά έξι συνδέσμους, τρεις θύρες ανά κόμβο και διάμετρο 1. Κάθε κόμβος φτάνει σε κάθε άλλον σε ακριβώς ένα άλμα. Τα μαθηματικά της καλωδίωσης:

Nodes Σύνδεσμοι πλήρους πλέγματος Θύρες ανά κόμβο Διάμετρος
2 1 1 1
3 3 2 1
4 6 3 1
5 10 4 1
6 15 5 1
7 21 6 1
8 28 7 1

Οι πλήρεις θύρες πλέγματος ανά κόμβο είναι N-1, γι' αυτό και αυτή η προσέγγιση καταρρέει γρήγορα. Με οκτώ κόμβους χρειάζεστε επτά θύρες ανά κουτί, που είναι το τέλος της πρακτικής διαδρομής σε μία μόνο υποδοχή PCIe Gen5 x16.

Πότε ένα πλήρες πλέγμα τεσσάρων κόμβων υπερτερεί ενός μικρού διακόπτη; Συγκεκριμένα, όταν έχετε 4 κόμβους Kentino AI 128 για συμπερασματολογία και τους θέλετε στενά συνδεδεμένους, εκτελείτε RoCE και δεν θέλετε PFC σε έναν διακόπτη, και το οριακό κόστος των 15–25 € ενός διακόπτη 100 GbE με οπτικά είναι σημαντικό για τον προϋπολογισμό.

Πότε ένας μικρός διακόπτης κερδίζει ακόμα και με τέσσερις κόμβους; Πότε μπορεί να προσθέσετε έναν πέμπτο κόμβο το επόμενο τρίμηνο. Η προσθήκη ενός κόμβου σε ένα πλέγμα K₄ απαιτεί την επανασύνδεση κάθε υπάρχοντος κόμβου για την προσθήκη των νέων θυρών. Ένας διακόπτης έχει εφεδρικές θύρες. Απλώς συνδέετε.

Η περίπτωση των 8 κόμβων: υπερκύβος, με αστερίσκο

Ο 3-κύβος (Q₃) — ένας υπερκύβος διάστασης 3 — είναι η διάταξη χωρίς διακόπτη που χρησιμοποιείται στα εγχειρίδια για οκτώ κόμβους. Κάθε κόμβος βρίσκεται σε μία γωνία ενός κύβου. Κάθε άκρη του κύβου είναι ένας άμεσος σύνδεσμος. Τρεις θύρες ανά κόμβο, συνολικά δώδεκα σύνδεσμοι, διάμετρος 3.

000 001 010 011 100 101 110 111 3-κύβοι Q₃: 8 κόμβοι · 12 σύνδεσμοι · 3 θύρες/κόμβος · διάμετρος 3 Ετικέτες γκρι κώδικα — κάθε ακμή διαφέρει ακριβώς κατά ένα bit
Ιδιοκτησία αξία
Nodes 8
Συνδέσμοι 12
Θύρες ανά κόμβο 3
Διάμετρος 3
Εύρος ζώνης διχοτόμησης 4 στα αριστερά

Η ειλικρινής άποψη: αυτό είναι σπάνιο στην παραγωγή. Λειτουργεί, η χειρότερη περίπτωση διαμέτρου-3 είναι αποδεκτή για τις περισσότερες ομάδες, αλλά το διάγραμμα καλωδίωσης είναι πραγματικά μπερδεμένο σε όποιον δεν το κατασκεύασε, ​​η αντιμετώπιση προβλημάτων απαιτεί την κατανόηση της ετικέτας Gray-code και ένας μικρός διακόπτης 200 GbE 16 θυρών βρίσκεται πλέον στην ίδια τιμολογιακή κατηγορία με τις επιπλέον θύρες και τα καλώδια NIC. Ο υπερκύβος 8 κόμβων είναι πιο ενδιαφέρον ως παράδειγμα διδασκαλίας παρά ως κάτι που διαθέτουμε. Με οκτώ κόμβους, η προεπιλεγμένη σύστασή μας είναι ένας διακόπτης.

Το δαχτυλίδι: χαζό, απλό και εκπληκτικά σχετικό

Ξεχάστε την ελαχιστοποίηση της διαμέτρου. Ο δακτύλιος συνδέει κάθε κόμβο μόνο με τους δύο γείτονές του: ABCD-...-A. Δύο θύρες ανά κόμβο ανεξάρτητα από το μέγεθος του cluster. N συνδέσεις συνολικά. Διάμετρος N/2.

A B C D H G F E → → → ← ← ← Δακτύλιος 8 κόμβων: 8 σύνδεσμοι · 2 θύρες/κόμβος · διάμετρος 4 · Δακτύλιος NCCL - αντιστοιχίζει απευθείας όλα τα περιθώρια μείωσης

Αυτό ακούγεται απαίσιο — διάμετρος 4 σε 8 κόμβους, διάμετρος 16 σε 32 κόμβους. Γιατί δεν είναι πάντα λάθος;

Επειδή Ο δακτύλιος allreduce του NCCL αντιστοιχίζεται ακριβώς σε έναν φυσικό δακτύλιοΟ αλγόριθμος στέλνει κάθε κομμάτι δεδομένων μία φορά γύρω από τον δακτύλιο ανά φάση. Εάν η φυσική τοπολογία είναι ήδη δακτύλιος, ο αλγόριθμος εκτελείται με ρυθμό γραμμής μίας μόνο σύνδεσης, χωρίς σπατάλη εύρους ζώνης. Η προεπιλογή του NCCL για μηνύματα μεσαίου έως μεγάλου μεγέθους είναι ο δακτύλιος και όχι το δέντρο, επειδή ο δακτύλιος επιτυγχάνει το βέλτιστο όριο εύρους ζώνης: 2(N-1)/N × link bandwidth για allreduce. Η διάμετρος της φυσικής τοπολογίας δεν έχει σημασία σε μεγάλα μεγέθη μηνυμάτων — αυτό που έχει σημασία είναι ότι κάθε σύνδεσμος χρησιμοποιείται παράλληλα και ο δακτύλιος το κάνει αυτό τέλεια.

Η ρεαλιστική άποψη όπου ένας φυσικός δακτύλιος είναι η σωστή απάντηση χωρίς διακόπτη είναι σε συστήματα εκπαίδευσης 4–8 κόμβων όπου κάθε κόμβος έχει ήδη ακριβώς δύο θύρες RDMA . Το πρόβλημα: ο δακτύλιος δεν έχει πλεονασμό διαδρομής. Ένα κατεστραμμένο καλώδιο χωρίζει το σύμπλεγμα σε δύο κομμάτια.

Όταν ο διακόπτης χωρίς διακόπτη κερδίζει έναν μικρό διακόπτη, σε αριθμούς

τοπολογία Nodes Συνδέσμοι Θύρες/κόμβος Διάμετρος Διχοτόμηση (σύνδεσμοι)
Direct Connect 2 1 1 1 1
Τρίγωνο (K₃) 3 3 2 1 2
K₄ πλήρες πλέγμα 4 6 3 1 4
Δακτύλιος 4 κόμβων 4 4 2 2 2
Δακτύλιος 8 κόμβων 8 8 2 4 2
κύβος Q₃ 8 κόμβων 8 12 3 3 4
16-κόμβων Q₄ 16 32 4 4 8
Αστέρας 8 κόμβων (με εναλλαγή) 8 8 1 2 εξαρτάται από τον διακόπτη

Προσεγγιστική σύγκριση τιμών για μια κατασκευή υφάσματος 8 κόμβων, μέσα 2026 (EUR χωρίς ΦΠΑ):

Προσέγγιση Απαιτούνται κάρτες δικτύου (NIC) Καλώδια διακόπτης Συνολική ζώνη
8-κόμβων, μονού διακόπτη 200 GbE αστέρα 8× μίας θύρας 200 GbE 8× Ψηφιακός μετατροπέας συχνότητας (DAC) ~€18–28 €25–35
Δακτύλιος 8 κόμβων, χωρίς διακόπτη 8× διπλής θύρας 200 GbE 8× Ψηφιακός μετατροπέας συχνότητας (DAC) κανένας €15–22
Κύβος Q₃ 8 κόμβων, χωρίς διακόπτη 8× ισοδύναμο τριπλής θύρας 12× Ψηφιακός μετατροπέας συχνότητας (DAC) κανένας €18–26
Πλέγμα K₄ 4 κόμβων, χωρίς διακόπτη 4× ισοδύναμο τριπλής θύρας 6× Ψηφιακός μετατροπέας συχνότητας (DAC) κανένας €9–13
Μικρός διακόπτης 100 GbE 4 κόμβων 4× μίας θύρας 100 GbE 4× Ψηφιακός μετατροπέας συχνότητας (DAC) ~€8–12 €11–16
2-κόμβος άμεσο 2× μίας θύρας 400 GbE 1× Ψηφιακός μετατροπέας συχνότητας (DAC) κανένας €3–5

Το crossover όπου ο διακόπτης αποδίδει είναι περίπου 6-8 κόμβοι, ανάλογα με το επίπεδο εύρους ζώνης και αν σκοπεύετε να αναπτυχθείτε.

Uplink: το κομμάτι που ξεχνούν οι άνθρωποι

Ένα μη διακοπτόμενο δίκτυο δεδομένων είναι εσωτερικά αυτόνομο. Δεν είναι, από μόνο του, συνδεδεμένο με τίποτα. Το σύμπλεγμα χρειάζεται ακόμα μια ανοδική ζεύξη για λήψεις συνόλων δεδομένων και μοντέλων από την εταιρική αποθήκευση, SSH από σταθμούς εργασίας προγραμματιστών, τηλεμετρία προς Prometheus/Grafana, διαχείριση IPMI/BMC και κίνηση μητρώου κοντέινερ.

Μοτίβο Α — κάθε κόμβος έχει μια ξεχωριστή κάρτα δικτύου διαχείρισης. Κάθε κόμβος μεταφέρει μια μικρή θύρα 25 GbE (ή ακόμα και 10 GbE) σε έναν φθηνό διακόπτη διαχείρισης, εντελώς ανεξάρτητο από το fabric RDMA. Αυτή είναι η σωστή απάντηση σχεδόν πάντα. Το fabric RDMA είναι ένα αποστειρωμένο, χωρίς απώλειες, συντονισμένο περιβάλλον. το επίπεδο διαχείρισης είναι ένα κανονικό δίκτυο Ethernet με κανονική κίνηση. Αν τα αναμίξετε, η κίνηση διαχείρισης διαταράσσει τις συλλογικότητες σας.

Μοτίβο Β — αποκλειστικός κόμβος ανοδικής ζεύξης. Ένας κόμβος στο σύμπλεγμα έχει μια επιπλέον θύρα που συνδέεται. Άλλοι κόμβοι φτάνουν στον έξω κόσμο δρομολογώντας μέσω αυτού του κόμβου. Λειτουργεί για περιορισμένους προϋπολογισμούς και μικρές εγκαταστάσεις εργαστηρίου, αλλά ο κόμβος ανοδικής ζεύξης γίνεται σημείο συμφόρησης για τις αναγνώσεις συνόλων δεδομένων και ένα μοναδικό σημείο αποτυχίας για την πρόσβαση διαχείρισης.

Το σκληρό τοίχωμα σε ~16 κόμβους

Η λειτουργία Switchless πεθαίνει πάνω από 16 κόμβους για τρεις ανεξάρτητους λόγους, καθένας από τους οποίους είναι επαρκής:

  1. Αριθμός θυρών ανά κόμβο. Πλήρες πλέγμα επιθυμεί N-1 θύρες ανά κόμβο. Ο υπερκύβος θέλει log₂(N)Ακόμα και η κλιμάκωση καταγραφής σημαίνει ότι 16 κόμβοι χρειάζονται 4 θύρες ανά κόμβο, η οποία βρίσκεται στο όριο της πρακτικής πυκνότητας NIC σε μία μόνο υποδοχή PCIe Gen5 x16. 32 κόμβοι χρειάζονται 5 θύρες ανά κόμβο — πολλαπλές υποδοχές, πολλαπλές τοποθετήσεις NUMA για διαχείριση.
  2. Συνδυαστική καλωδίωση. Ένα πλήρες πλέγμα K₄ 16 κόμβων έχει 120 καλώδια. Ένας υπερκύβος Q₄ 16 κόμβων έχει 32. Σε κάθε περίπτωση, η επισήμανση, η τεκμηρίωση και η φυσική πρόσβαση σε κάθε καλώδιο έχουν σημασία. Ένα λανθασμένα καλωδιωμένο καλώδιο σε έναν υπερκύβο 32 καλωδίων χρειάζεται ώρες για να βρεθεί.
  3. Επιχειρησιακή ιστορία. Η αντικατάσταση μιας ελαττωματικής κάρτας δικτύου (NIC) σε ένα fabric χωρίς διακόπτη απαιτεί τον εντοπισμό των καλωδίων N-1 (ή log N) που τη συνέδεαν, αναδρομολογώντας το καθένα σε μια συγκεκριμένη θύρα στην αντικατάσταση. Η διαφορά MTTR έναντι της switched είναι πραγματική.

Η ειλικρινής περίληψη: το switchless είναι κατάλληλο για 2 έως 4 αποκλειστικούς κόμβους , υπερασπίσιμο για 5 έως 8 κόμβους με σαφή δέσμευση "δεν θα αναπτυχθούμε" και λάθος για 9 ή περισσότερους κόμβους . Στα 9+, αγοράστε ένα switch.

Δύο κατασκευές από σκυρόδεμα που αξίζει να περιγραφούν

2× Kentino AI 256 Turin Dual, απευθείας συνδεδεμένα, 400G. Δύο κόμβοι EPYC Turin 8-GPU (5090 ή RTX Pro 6000 Blackwell), ο καθένας με ConnectX-7 400 GbE / NDR μίας θύρας, ένα παθητικό DAC OSFP 3 m μεταξύ τους. Συνολικό κόστος υλικού μεταξύ κόμβων: ~€4. NCCL allreduce busbw σε μεγάλα μηνύματα: ~45 GB/s. Κατάλληλο για αμφίδρομη παράλληλη τανυστική συμπερασματολογία ενός πυκνού μοντέλου 405B (διαχωρισμός στρώσεων στα δύο κουτιά) ή για βελτιστοποίηση ενός 70B που δεν ταιριάζει απόλυτα σε ένα κουτί. Έχουμε στείλει παραλλαγές αυτής της έκδοσης αρκετές φορές. Είναι βαρετό, λειτουργεί, κοστίζει μια τάξη μεγέθους λιγότερο από την αντίστοιχη εγκατάσταση με διακόπτη.

4× Kentino AI 128 σε K₄ full mesh, 100G. Τέσσερις κόμβοι EPYC μίας υποδοχής με 4× RTX Pro 6000 Blackwell ο καθένας. Κάθε κόμβος φέρει διάταξη NIC ισοδύναμη με τρεις θύρες (μία διπλή θύρα συν μία μονή θύρα ή μία τετραπλή θύρα με μία θύρα αχρησιμοποίητη), δομή DAC 100 GbE. Έξι καλώδια συνολικά. Εύρος ζώνης διχοτόμησης 400 Gb/s. Χρησιμοποιείται για παράλληλη εξαγωγή δεδομένων τανυστήρα ενός μοντέλου κλάσης 70B με διαχωρισμό 4 κατευθύνσεων και πλήρη ενεργοποίηση που διέρχεται μεταξύ κάθε ζεύγους. Εξαλείφει τον διακόπτη ως μοναδικό σημείο αποτυχίας για την υπηρεσία εξαγωγής δεδομένων και ο προϋπολογισμός του πελάτη πήγε σε GPU αντί για εξοπλισμό μεταγωγής. Συμβιβασμός: κλειδωμένος σε τέσσερις κόμβους. Η ανάπτυξη απαιτεί επανασχεδιασμό της αρχιτεκτονικής.

Όταν κερδίζει το switchless

  • 2 κόμβοι — πάντα χωρίς διακόπτη. Δεν υπάρχει ουσιαστικό επιχείρημα υπέρ της αλλαγής.
  • 3 κόμβοι — τρίγωνο χωρίς διακόπτη. Τρία καλώδια, κάθε κόμβος ένα άλμα μακριά. Ασήμαντο.
  • 4 κόμβοι — χωρίς διακόπτη K₄ αν δεν αναπτυχθείτε, διαφορετικά ένας μικρός διακόπτης. Και τα δύο είναι υπερασπίσιμα· η υπόθεση της ανάπτυξης είναι ο καθοριστικός παράγοντας.
  • 5 έως 8 κόμβοι — συνήθως με εναλλαγή. Το Ring είναι εύλογο για εργασία που περιορίζεται σε εύρος ζώνης, ενώ το Hypercube για όσους είναι πραγματικά αφοσιωμένοι. Και τα δύο είναι πιο δύσκολο να υπερασπιστεί κανείς από το να αγοράσει απλώς ένα switch 16 θυρών.
  • 9 ή περισσότεροι κόμβοι — εναλλαγή. Πάντα. Η μη διακοπή λειτουργίας πέρα ​​από αυτό το σημείο είναι ένα λάθος που μεταμφιέζεται σε εξοικονόμηση.

Εάν υπολογίζετε το μέγεθος ενός μικρού συμπλέγματος AI και το στοιχείο γραμμής εναλλαγής προκαλεί βλάβη στο BOM:

  1. Μετρήστε τους κόμβους που πραγματικά χρειάζεστε. Όχι «για τα επόμενα πέντε χρόνια». Φέτος και του χρόνου. Αν η ειλικρινής απάντηση είναι 2–4, η διαδρομή χωρίς εναλλαγή είναι πραγματική και αξίζει να την κοστολογήσουμε.
  2. Αντιστοιχίστε τη διάταξη της κάρτας δικτύου (NIC). Το ConnectX-7 διπλής θύρας 200 Gb/s QSFP112 είναι το πιο συνηθισμένο εξάρτημα άμεσης σύνδεσης στις εκδόσεις του 2026. Το SFP56 τετραπλής θύρας είναι η επιλογή για μεγαλύτερο αριθμό κόμβων με χαμηλότερη ταχύτητα ανά θύρα.
  3. Αποφασίστε για τη στάση ανάπτυξης. Αν υπάρχει κάποια ουσιαστική πιθανότητα να ξεπεράσετε τους 8 κόμβους, απλώς αγοράστε τον μικρό διακόπτη τώρα. Η επανασύνδεση ενός πλέγματος αργότερα είναι πραγματικά επώδυνη.
  4. Σχεδιάστε το επίπεδο διαχείρισης ξεχωριστά. Ασύρματη δομή δεδομένων, επίπεδο διαχείρισης μεταγωγής σε φθηνά 10 GbE. Μην τα συμπτύξετε σε ένα σετ καλωδίων.
  5. τρέξιμο nccl-tests στην τοπολογία όπως έχει κατασκευαστεί πριν ανακηρύξει τη νίκη. The NCCL_DEBUG=INFO Η έξοδος σάς λέει ποιους φυσικούς συνδέσμους χρησιμοποιεί στην πραγματικότητα το NCCL. Διασταυρώστε το με το διάγραμμα.
  6. Καταγράψτε την καλωδίωση. Φωτογραφίες, ετικέτες θυρών, ένα μονοσέλιδο διάγραμμα στο rack. Την πρώτη φορά που μια κάρτα δικτύου παρουσιάζει βλάβη στις 02:00, θα είστε χαρούμενοι.

Τα επόμενα άρθρα που πρέπει να διαβάσετε: N04 για την εναλλακτική λύση με μεταγωγή, N06 για την ανάλυση της καθυστέρησης που δικαιολογεί τη νίκη χωρίς μεταγωγή, N02 για την κλήση InfiniBand vs RoCE που επηρεάζει τις κάρτες δικτύου που αγοράζετε και K07 για τον βασικό κόμβο που συνδέει όλα αυτά.


Αυτό είναι μέρος του Kentino Wiki, μιας σειράς αναφοράς για την υπολογιστική Τεχνητή Νοημοσύνη, τη ρομποτική και τα συστήματα που τα συνδέουν. Σχόλια και διορθώσεις είναι ευπρόσδεκτα στο info@kentino.com.