Πολυπλοκότητα Δρομολόγησης σε Δίκτυα Τεχνητής Νοημοσύνης: ECMP, Προσαρμοστική Δρομολόγηση, DCQCN και Γιατί οι Άνθρωποι που Χρησιμοποιούν Υψηλή Πίεση (HPC) έχουν Εμμονή με αυτήν

Προηγούμενα άρθρα περιέγραψαν τα καλώδια, τις κάρτες δικτύου (NIC), τους διακόπτες (switches), τις τοπολογίες. Αυτό το άρθρο αφορά το τι συμβαίνει παραπάνω: πώς τα πακέτα βρίσκουν μια διαδρομή μέσα από ένα πλέγμα πολλαπλών διακοπτών και τι εμποδίζει το πλέγμα να καταρρεύσει όταν δέκα χιλιάδες GPU αποφασίσουν να συρρικνωθούν ταυτόχρονα.

Η κίνηση δεδομένων μέσω τεχνητής νοημοσύνης φαίνεται θεμελιωδώς διαφορετική από ένα κανονικό κέντρο δεδομένων. Ένα web frontend στέλνει εκατομμύρια μικρές συνδέσεις TCP. Μια εκτέλεση εκπαίδευσης μέσω τεχνητής νοημοσύνης στέλνει μερικές τεράστιες, τέλεια συγχρονισμένες ροές σε γνωστούς συνομηλίκους και όλοι περιμένουν την πιο αργή. Οι τεχνικές που λειτουργούν για την πρώτη περίπτωση καταρρέουν για τη δεύτερη.

Προειδοποίηση εκ των προτέρων: οι περισσότεροι πελάτες του Kentino εκτελούν συμπλέγματα 1–4 κόμβων. Σε αυτή την κλίμακα, κανένα από αυτά τα προβλήματα δεν επηρεάζει την πραγματικότητα. Συνδέστε τέσσερις κόμβους με έναν μόνο διακόπτη 100 GbE (ή καθόλου διακόπτη — βλ. N05 ), εκτελέστε απλό RoCE με προεπιλογές και μην σκεφτείτε ποτέ το ECMP ή το DCQCN. Το γράφουμε αυτό ούτως ή άλλως επειδή (α) είναι χρήσιμο υπόβαθρο για αποφάσεις μεγέθους και (β) την ημέρα που θα πάτε από τέσσερις κόμβους σε δεκαέξι, όλα ξαφνικά έχουν σημασία.

Τι είναι το ECMP και γιατί ήταν αρκετά καλό μέχρι την Τεχνητή Νοημοσύνη

Το ECMP — Equal-Cost Multi-Path — είναι το κόλπο δρομολόγησης που κάνει τα υφάσματα leaf-spine και fat-tree να λειτουργούν. Όταν υπάρχουν πολλά μονοπάτια ίσου κόστους από το φύλλο A στο φύλλο B (μέσω των spines S1..S4), ο διακόπτης κατακερματίζει τα πεδία πακέτων και χρησιμοποιεί το hash για να επιλέξει μια spine. Το κλασικό hash 5-tuple είναι (src IP, dst IP, src port, dst port, protocol).

Για τα παραδοσιακά φόρτα εργασίας cloud — εκατομμύρια βραχύβιες συνδέσεις TCP — το ECMP λειτουργεί άψογα. Ο νόμος των μεγάλων αριθμών κάνει την εξισορρόπηση φορτίου για εσάς. Με 10,000 ροές και 8 σπονδυλικές στήλες (spine), επιτυγχάνετε τέλεια ισορροπία σε απόσταση λίγων εκατοστών.

Διαδικτυακή κίνηση — Το ECMP λειτουργεί
  • 10.000+ βραχύβιες ροές TCP
  • Ο νόμος των μεγάλων αριθμών ισορροπεί τις σπονδυλικές στήλες
  • Σχεδόν τέλεια κατανομή φορτίου
  • Σύγκρουση κατακερματισμού ECMP: σπάνια
Εκπαίδευση Τεχνητής Νοημοσύνης — Το ECMP αποτυγχάνει
  • 8 ροές ελεφάντων, όλες ταυτόχρονα
  • Το hash 5-tuple αντιστοιχίζει πολλές ροές στην ίδια σπονδυλική στήλη
  • Ζεστή σπονδυλική στήλη = μισή ταχύτητα allreduce
  • Πιθανότητα σύγκρουσης: ~97% σε 8 ροές/8 ακίδες

Το ECMP σχεδιάστηκε για πολλές μικρές ροές. Η εκπαίδευση στην τεχνητή νοημοσύνη στέλνει μερικές τεράστιες συγχρονισμένες ροές — η στατιστική ισορροπία διαταράσσεται.

Το πρόβλημα της ροής των ελεφάντων

Η εκπαίδευση στην τεχνητή νοημοσύνη είναι το αντίθετο της διαδικτυακής κίνησης. Ένα βήμα εκπαίδευσης: κάθε GPU υπολογίζει μια διαβάθμιση, κάθε GPU στέλνει τη διαβάθμισή της σε όλες τις άλλες (allreduce), όλες περιμένουν την πιο αργή μεταφορά, επαναλάβετε.

Το Allreduce είναι ένας μικρός αριθμός πολύ μεγάλων ροών. Το Ring-allreduce σε 8 κόμβους με κάρτες δικτύου 200 Gbps είναι 8 ταυτόχρονες ροές, η καθεμία πολλαπλά gigabyte, όλες με ρυθμό γραμμής, όλες ξεκινώντας την ίδια στιγμή. Η εργασία RoCE-at-scale του Meta το τεκμηρίωσε με σαφήνεια: σε clusters AI, ένας μικρός αριθμός ροών "elephant" αντιπροσωπεύουν σχεδόν όλα τα byte και όλες θέλουν το δίκτυο ταυτόχρονα.

Το hash 5-tuple του ECMP το απεχθάνεται αυτό. Με N ροές ελεφάντων σε S μονοπάτια, η πιθανότητα μηδενικής σύγκρουσης είναι S! / ((S-N)! · S^N)Για 8 ροές σε 8 ράχες: περίπου 2.4%Ακόμα και 32 ράχες για 8 ροές πετυχαίνουν μόνο ~33%. Η προσθήκη ράχων δεν αλλάζει το ρίξιμο του νομίσματος — σας δίνει περισσότερους κενούς συνδέσμους ενώ δύο ροές μάχονται για μία.

Μια σύγκρουση υπερκαλύπτει τον σύνδεσμο spine 2:1, οι επηρεαζόμενες ροές εκτελούνται με τη μισή ταχύτητα και επειδή το βήμα περιμένει την πιο αργή ροή, η επανάληψη εκτελείται με τη μισή ταχύτητα. Οι μετρήσεις συμπλέγματος παραγωγής αναφέρουν συγκρούσεις ECMP που προκαλούν απώλεια απόδοσης έως και 40% στο allreduce.

Λύσεις: βελτιωμένος κατακερματισμός, εξισορρόπηση φόρτου σε επίπεδο πακέτων, προσαρμοστική δρομολόγηση

Τέσσερις πραγματικές απαντήσεις, κατά αύξουσα σειρά διαταραχής προς ανάπτυξη:

1. Καλύτερος κατακερματισμός (E-ECMP, QP-aware). Η φθηνότερη λύση. Ο τυπικός κατακερματισμός 5 πλειάδων συμπτύσσει την κίνηση RDMA σε μία πλειάδα ανά ζεύγος QP — μια μεμονωμένη ροή allreduce είναι στην πραγματικότητα ένας κάδος ECMP. Κατακερματίστε επίσης τον αριθμό QP προορισμού RoCE και η εφαρμογή κατανέμει την κίνηση σε πολλά QP ("QP scaling"). Οι αριθμοί του Meta: έως και 40% καλύτερο allreduce. Ακόμα στατιστικά στοιχεία — οι συγκρούσεις είναι σπανιότερες, δεν εξαλείφονται.

2. Εναλλαγή ροής. Εντοπισμός κενού αδράνειας, επανάληψη κατακερματισμού από εκεί. Λειτουργεί για TCP, όχι καλά για back-to-back RoCE.

3. Εξισορρόπηση φόρτου σε επίπεδο πακέτων / ψεκασμός πακέτων. Κατακερματισμός ανά πακέτο, αποδοχή αναδιάταξης, αφήστε την κάρτα δικτύου να επανασυναρμολογηθεί. Εξαλείφει το πρόβλημα της ροής ελέφαντα, αλλά απαιτεί συνεργασία κάρτας δικτύου και διακόπτη. Αυτό ακριβώς κάνει η NVIDIA Spectrum-X — ψεκασμός ανά πακέτο με αναδιάταξη υλικού στην SuperNIC.

4. Προσαρμοστική δρομολόγηση. Ο διακόπτης παρακολουθεί τη συμφόρηση ανά θύρα και επιλέγει τη διαδρομή με το λιγότερο φορτίο και το ίδιο κόστος κατά τη στιγμή της μεταγωγής αντί να κάνει τυφλό hashing. Σε συνδυασμό με το packet spraying, αυτό είναι που έχει η InfiniBand εδώ και δεκαπέντε χρόνια. Η εισαγωγή του στο Ethernet είναι το κύριο χαρακτηριστικό των NVIDIA Spectrum-X (Spectrum-4/5 ASIC + BlueField ή ConnectX-8 SuperNICs), Cisco Silicon One G200/P200 και Broadcom Tomahawk 5 / Jericho 3-AI με προγραμματισμένη δομή βασισμένη σε κυψέλες.

Για συστοιχίες 1–8 κόμβων, η προσαρμοστική δρομολόγηση είναι υπερβολική. Για 64+ εργασίες GPU που κλιμακώνονται σε 1,000 GPU, είναι η διαφορά μεταξύ του "το δίκτυο είναι το σημείο συμφόρησης" και του "οι GPU είναι το σημείο συμφόρησης". Αυτός είναι ο λόγος για τον οποίο κάθε σοβαρός προμηθευτής Ethernet με τεχνητή νοημοσύνη έχει κατασκευάσει ή έχει χορηγήσει άδεια χρήσης για προσαρμοστική δρομολόγηση πυριτίου την περίοδο 2024–2026.

Έλεγχος συμφόρησης: γιατί η επιλογή "απλώς μην ρίχνετε πακέτα" δεν είναι δωρεάν

Το άλλο μισό της πολυπλοκότητας δρομολόγησης είναι αυτό που συμβαίνει όταν υπερβολική κίνηση φτάνει σε μία θύρα μεταγωγής ταυτόχρονα. Δύο επιλογές: ένα δίκτυο με απώλειες απορρίπτει πακέτα και τα τελικά σημεία απενεργοποιούνται (το ανοιχτό Διαδίκτυο). Ένα δίκτυο χωρίς απώλειες ωθεί πίσω τον μεταγωγέα ανόδου για παύση — δεν υπάρχουν διακοπές, αλλά η συμφόρηση διαδίδεται προς τα πίσω.

Το RoCE ιστορικά απαιτούσε ένα fabric χωρίς απώλειες. Οι κάρτες δικτύου RDMA χειρίζονται την απώλεια πακέτων με άσχημα αποτελέσματα — ένα μόνο πακέτο που χάνεται ενεργοποιεί την αναμετάδοση ολόκληρου του μηνύματος με go-back-N, κάτι που σε 100 GbE σημαίνει εκ νέου αποστολή megabyte. Το RoCEv2 με go-back-N είναι ουσιαστικά άχρηστο σε ένα δίκτυο με απώλειες σε υψηλή χρήση.

PFC — Ο Έλεγχος Ροής Προτεραιότητας (IEEE 802.1Qbb) είναι αυτός που κάνει το Ethernet να συμπεριφέρεται χωρίς απώλειες. Όταν η ουρά εξόδου ανά προτεραιότητα ενός διακόπτη υπερβαίνει ένα όριο, στέλνει ένα πλαίσιο PAUSE ανοδικά ζητώντας από τον αποστολέα να σταματήσει τη μετάδοση αυτής της προτεραιότητας. Οκτώ προτεραιότητες, οκτώ ανεξάρτητα σήματα διακοπής/εκκίνησης.

Αποκλεισμός κεφαλής γραμμής και ροές θυμάτων

Οι παύσεις PFC είναι χονδρικές. Μια παύση λέει "διακοπή αποστολής προτεραιότητας 3 σε αυτόν τον σύνδεσμο" — δεν γνωρίζει ποια ροή προκάλεσε συμφόρηση. Εάν δέκα ροές μοιράζονται την προτεραιότητα 3 και μία είναι συμφορημένη κατάντη, το PFC διακόπτει και τις δέκα . Οι άλλες εννέα "ροές-θύματα" τιμωρούνται για το πρόβλημα κάποιου άλλου. Αυτό είναι το μπλοκάρισμα κεφαλής γραμμής, το κεντρικό πρόβλημα του Ethernet χωρίς απώλειες σε κλίμακα.

A B C Φύλλο 1 Παύση PFC ← πορτ-μπαγκάζ Φύλλο 2 X συνωστισμός Y τέλος A→X βαριά ροή Το PFC διακόπτει προσωρινά ΟΛΟ το prio 3 B,C → Y επίσης μπλοκαρισμένο

Μπλοκάρισμα κεφαλής γραμμής: A→X προκαλεί PFC στον κορμό. Οι B και C που επικοινωνούν με τον Y (κάτι που είναι εντάξει) επίσης παύονται — ροές θυμάτων.

Αδιέξοδο PFC : εάν η τοπολογία και η κίνηση σχηματίζουν μια κυκλική εξάρτηση συνδέσμων σε παύση — το A περιμένει το B, το B το C, το C το A — ολόκληρο το fabric κλειδώνει. Παρατηρήθηκε στην παραγωγή. Οι σύγχρονοι διακόπτες διαθέτουν ανίχνευση αδιεξόδου. Οι σύγχρονες τοπολογίες Clos είναι κατασκευαστικά απαλλαγμένες από αδιέξοδο. Αλλά κάθε σοβαρή ανάπτυξη RoCE έχει ούτως ή άλλως ένα σχέδιο αποκατάστασης.

Το νόημα του σύγχρονου ελέγχου συμφόρησης με τεχνητή νοημοσύνη είναι να διατηρεί τα buffer αρκετά μικρά ώστε το PFC να μην ενεργοποιείται ποτέ σε σταθερή κατάσταση. Το PFC παραμένει οπλισμένο ως δίχτυ ασφαλείας για γνήσιες μικροεκρήξεις. Ο μηχανισμός που το εμποδίζει να ενεργοποιηθεί είναι το DCQCN.

DCQCN — ο τυπικός έλεγχος συμφόρησης για το RoCEv2

Το DCQCN (DataCenter Quantized Congestion Notification) είναι ο αλγόριθμος στον οποίο έχει συγκλίνει το RoCE χωρίς απώλειες. Αναπτύχθηκε από τη Microsoft και την Mellanox (SIGCOMM 2015). Από το 2025–2026, είναι αυτό που εκτελούν οι κάρτες δικτύου ConnectX/BlueField της NVIDIA από προεπιλογή και αυτό που το Azure αναφέρει ως πρότυπο παραγωγής σε "~85% της κυκλοφορίας Azure, RDMA, σε όλες τις δημόσιες περιοχές".

Το DCQCN έχει τρεις ρόλους: το CP (Σημείο Συμφόρησης) είναι ο διακόπτης, που σημειώνει τα πακέτα με ECN όταν το βάθος της ουράς εξόδου διασχίσει ένα όριο (πιθανοτική τιμή από 0% στο Kmin έως Pmax στο Kmax). το NP (Σημείο Ειδοποίησης) είναι η κάρτα δικτύου (NIC) του δέκτη, που δημιουργεί ένα CNP (Πακέτο Ειδοποίησης Συμφόρησης) πίσω στον αποστολέα σε σημάδια ECN (περιορισμένης ταχύτητας, συνήθως ένα ανά 50 µs ανά ροή). το RP (Σημείο Αντίδρασης) είναι η κάρτα δικτύου του αποστολέα, που μειώνει πολλαπλασιαστικά τον ρυθμό του QP στο CNP και αυξάνει αθροιστικά (και στη συνέχεια υπεραθροιστικά) την απουσία τους.

Τυπική διαμόρφωση διακόπτη για DCQCN σε 100 GbE:

# NVIDIA Cumulus-style ECN profile on the lossless RoCE priority (priority 3)
interface swp1..swp32
  qos remark dscp-to-tc 26 to 3       # DSCP 26 → TC 3
  qos congestion-mark ecn priority 3
  qos ecn-kmin       5KB              # start marking
  qos ecn-kmax     200KB              # mark at Pmax
  qos ecn-pmax       1%
  qos pfc priority 3
  qos pfc xoff     400KB              # PFC pause (well above Kmax)
  qos pfc xon      300KB

Το Kmin/Kmax/Pmax είναι η πιο συντονισμένη τριάδα στο RoCE. Το Kmin είναι μικρό (λίγα πακέτα) επομένως το ECN ενεργοποιείται πριν εξαντληθεί η buffer. Το Kmax είναι πολύ μεγαλύτερο, επομένως οι κλίσεις σήμανσης είναι βαθμιαίες. Το όριο παύσης PFC είναι πολύ πάνω από το Kmax, επομένως το PFC ενεργοποιείται μόνο εάν το DCQCN ήταν πολύ αργό. Η αρχική ανάπτυξη της Microsoft: Kmin = 5 KB, Kmax = 200 KB, Pmax = 1%.

Γνωστές αδυναμίες του DCQCN: κατάρρευση incast (100 αποστολείς χτυπούν έναν δέκτη, η ουρά γεμίζει πιο γρήγορα από ό,τι τα CNP διαδίδονται πίσω, ενεργοποιείται το PFC — το DCQCN+ το αντιμετωπίζει αυτό). αδικία μακράς ουράς (οι ροές που ξεκινούν αργά περιορίζονται για περισσότερο χρόνο). ευαισθησία παραμέτρων (το Kmin που έχει ρυθμιστεί για 4 κόμβους δεν γενικεύεται σε 64). Ειλικρινής περίληψη: Το DCQCN είναι το προεπιλεγμένο επειδή λειτουργεί τις περισσότερες φορές. Τα HPCC, Swift, EQDS, το αναβιωμένο TIMELY υπάρχουν ως προτεινόμενες αντικαταστάσεις, αλλά κανένα δεν το έχει αντικαταστήσει από το 2026.

ECN, DCTCP και όπου χωράει το καθαρό TCP

Καθαρός διαχωρισμός επειδή αυτά συγχέονται:

  • ECN — Μηχανισμός επιπέδου IP (RFC 3168) όπου οι διακόπτες σημειώνουν αντί να εγκαταλείπουν. A σήμα, τίποτα δεν αντιδρά από μόνο του.
  • DCQCN — το τελικό σημείο RDMA αντίδρασηΔιαβάζει ECN μέσω CNP, προσαρμόζει τον ρυθμό.
  • DCTCP — το τελικό σημείο TCP αντίδρασηΔιαβάζει ECN σε ACK, κλιμακώνει το παράθυρο κατά το κλάσμα των σημειωμένων πακέτων. Microsoft + Stanford, SIGCOMM 2010, διατίθεται σε Windows Server και Linux.
Επισκεψιμότητα Πρωτόκολλο Έλεγχος συμφόρησης
Διαβάθμιση GPU-προς-GPU (allreduce, NCCL μέσω RoCE) RoCEv2 DCQCN (ECN + CNP + συντελεστής)
Αποθήκευση (NFS/RDMA, BeeGFS μέσω RDMA) RoCEv2 DCQCN
Αποθήκευση (NFS μέσω TCP, S3 σε χώρο αποθήκευσης αντικειμένων) TCP DCTCP (ή BBR, ή CUBIC)
Kubernetes / ενορχήστρωση / επίπεδο ελέγχου TCP CUBIC προεπιλογή, DCTCP εάν είναι συντονισμένο
Τηλεμετρία / Προμηθέας / SSH TCP ΚΥΒΙΚΟΣ

Εάν εκτελείτε ένα καθαρό RoCE fabric, εκτελείτε DCQCN — γνωρίζετε τις προεπιλογές σας. Εάν έχετε επίσης αποθήκευση/έλεγχο TCP στο ίδιο καλώδιο, αξίζει να ενεργοποιήσετε το DCTCP (net.ipv4.tcp_ecn = 1 συν διακόπτες με επίγνωση ECN).

Γιατί η κίνηση στην τεχνητή νοημοσύνη (AI) τα επιβαρύνει όλα αυτά περισσότερο από τα παραδοσιακά κέντρα δεδομένων

Τρεις ιδιότητες για τις οποίες δεν σχεδιάστηκε ο κλασικός έλεγχος συμφόρησης:

  1. Συγχρονισμένες εκρήξεις. Όλες οι GPU ξεκινούν μειώνονται στο ίδιο νανοδευτερόλεπτο. Αξιοποίηση από μηδέν έως 100% σε μικροδευτερόλεπτα. Δεν απαιτείται προθέρμανση για αργή εκκίνηση για να βρεθεί ο ρυθμός. Το DCQCN ξεκινά με ρυθμό γραμμής ακριβώς για αυτόν τον λόγο.
  2. Λίγες, μεγάλες ροές. Ο νόμος των μεγάλων αριθμών δεν σε σώζει. 8 ροές → συνήθεις συγκρούσεις ECMP· 8 δέκτες → σοβαρό μπλοκάρισμα PFC HoL.
  3. Η κρίσιμη διαδρομή είναι ο πιο αργός κρίκος. Μείωση χρόνου βήματος = μέγιστος χρόνος ολοκλήρωσης ροής. Δεν υπάρχει "μέση περίπτωση". Πιθανότητα 1% κακής σύγκρουσης σε όλους τους μήνες εκπαίδευσης.

Αυτός είναι ο λόγος για τον οποίο οι άνθρωποι της HPC και της Τεχνητής Νοημοσύνης ασχολούνται με τη δικτύωση με τρόπο που ιστορικά δεν το έχουν κάνει οι χειριστές διαδικτυακής κλίμακας. Ο ιστός είναι ελαστικός — τα αργά αιτήματα χρειάζονται λίγο περισσότερο χρόνο για ορισμένους χρήστες. Η εκπαίδευση στην Τεχνητή Νοημοσύνη δεν είναι — ολόκληρη η εργασία εκτελείται με την ταχύτητα του πιο αργού συγχρονισμένου στοιχείου της.

Η πολυπλοκότητα χωρίς εναλλαγή (προεπισκόπηση του N05)

Το N05 καλύπτει τοπολογίες χωρίς διακόπτη — άμεση σύνδεση, πλέγμα, δακτύλιος, 2D/3D torus, tesseract — για μικρά clusters όπου η αγορά ενός διακόπτη 100 GbE είναι υπερβολική. Όταν αφαιρείτε τον διακόπτη, κάθε κόμβος γίνεται δρομολογητής: πολλαπλές κάρτες δικτύου (NIC), πολλαπλές διαδρομές, κάτι πρέπει να επιλέξει το επόμενο hop.

Η τυπική απάντηση το 2026 είναι το FRR (FRRouting) σε κάθε κόμβο, διαμορφωμένο για BGP unnumbered . Το BGP unnumbered χρησιμοποιεί διευθύνσεις IPv6 link-local για peering, επομένως δεν αντιστοιχίζετε διευθύνσεις IPv4 σε κάθε σύνδεσμο. Κάθε κόμβος ανακοινώνει το loopback του, μαθαίνει τα loopback των peers, και ο πίνακας δρομολόγησης Linux επιλέγει το επόμενο σωστό hop.

# Minimal FRR config for a node in a switchless mesh:
router bgp 65001
  bgp router-id 10.0.0.1
  neighbor enp1s0 interface remote-as external
  neighbor enp2s0 interface remote-as external
  neighbor enp3s0 interface remote-as external
  address-family ipv4 unicast
    network 10.0.0.1/32         # this node's loopback
    redistribute connected
  exit-address-family

Δώδεκα γραμμές ανά κόμβο, ECMP σε όσα ζεύγη NIC έχει ο κόμβος — με τις ίδιες προειδοποιήσεις όπως και για το ECMP του διακόπτη. Για ένα πλέγμα 4 κόμβων, οι συγκρούσεις ECMP εμφανίζονται και στην πλευρά του κεντρικού υπολογιστή. Μετριάστε με περισσότερα QP ή αποδεχτείτε την απώλεια (μικρή στους 4 κόμβους). Το "Χωρίς διακόπτη" δεν σημαίνει "χωρίς πολυπλοκότητα δρομολόγησης" — την μεταφέρει στους κεντρικούς υπολογιστές.

Όταν αυτό έχει σημασία για εσάς

Οι περισσότεροι αναγνώστες δεν θα χρειαστεί να κάνουν τίποτα από αυτά.

  • 1–4 κόμβοι, ένας μόνο διακόπτης, RoCE για αποθήκευση και περιστασιακή εκπαίδευση πολλαπλών GPU: Αφήστε τον διακόπτη στις προεπιλογές. Τα όρια DCQCN και ECN μετοχών είναι εντάξει. Αν το PFC είναι ενεργοποιημένο, πιθανότατα δεν θα το δείτε ποτέ να κάνει παύση. Οι συγκρούσεις ECMP είναι πραγματικές, αλλά η επίδραση σε μια εκτέλεση 4 κόμβων είναι μονοψήφιο ποσοστό.
  • 4–16 κόμβοι, αποκλειστικό σύμπλεγμα εκπαίδευσης: Ενεργοποιήστε ρητά το DCQCN, ορίστε το Kmin/Kmax/Pmax σε 5 KB / 200 KB / 1% (γραμμή βάσης Azure), ενεργοποιήστε την κλιμάκωση QP στο NCCL, παρακολουθήστε τους μετρητές παύσης PFC και τους ρυθμούς CNP. Εάν οι παύσεις PFC αυξάνονται, το DCQCN δεν είναι αρκετά επιθετικό — μειώστε το Kmin.
  • 16+ κόμβοι ή 1,000+ GPU: Η προσαρμοστική δρομολόγηση αποδίδει τον εαυτό της. Αγοράστε το Spectrum-X με αντίστοιχες SuperNIC ή το InfiniBand και σταματήστε να ανησυχείτε για το ECMP ή συνεργαστείτε με κάποιον που έχει εκτελέσει ένα fabric σε αυτή την κλίμακα. Το κόστος του να κάνετε λάθος είναι μήνες χρόνου εκπαίδευσης.
  • Σύμπλεγμα χωρίς διακόπτη, οποιουδήποτε μεγέθους: FRR + BGP χωρίς αρίθμηση. 1–2 ημέρες διαμόρφωσης και δοκιμών ανά διπλασιασμός αριθμού κόμβων. Το μεγάλο πρόβλημα είναι ότι ξεχνάμε το ECMP από την πλευρά του πυρήνα (net.ipv4.fib_multipath_hash_policy = 1 για κατακερματισμό L4).

Το ένστικτο «θα αγοράσω περισσότερο εύρος ζώνης για να μην υπάρξει ποτέ συμφόρηση» είναι λανθασμένο. Η συγχρονισμένη κίνηση μέσω τεχνητής νοημοσύνης δημιουργεί στιγμιαία ζήτηση με ρυθμό γραμμής σε κάθε διαδρομή, ανεξάρτητα από το πόσες σπονδυλικές στήλες υπάρχουν. Το εύρος ζώνης λύνει προβλήματα ρυθμού, όχι προβλήματα συντονισμού.

Τι να κάνω μετά

Αν κάτι από αυτά μπορεί να τσιμπήσει το σύμπλεγμά σας:

  1. Καταγράψτε την επισκεψιμότητά σας. RoCE; TCP; Ποιες συνδέσεις μεταφέρουν και τα δύο; Δεν μπορείτε να συντονίσετε το DCQCN χωρίς να γνωρίζετε ποιες ροές ωφελούνται.
  2. Διαβάστε τις πραγματικές προεπιλογές DCQCN/ECN/PFC του διακόπτη σας. Τα προφίλ "βελτιστοποιημένων με τεχνητή νοημοσύνη" των προμηθευτών ποικίλλουν σημαντικά. Ορισμένα αποστέλλονται με απενεργοποιημένο το PFC. Κάποια χρησιμοποιούν Kmin = ταχύτητα θύρας × 5 µs — λογική ευρετική, όχι πάντα σωστή.
  3. Ενεργοποιήστε τους μετρητές. Παύση PFC RX/TX, CNP RX/TX, δείκτες ECN, χρήση ECMP ανά σύνδεσμο. Χωρίς αυτά, δεν μπορείτε να ξέρετε εάν το ύφασμά σας είναι υγιές υπό φορτίο.
  4. Μετρήστε με πραγματικό φόρτο εργασίας. nccl-tests/all_reduce_perf σου λέει περισσότερα σε πέντε λεπτά από μια εβδομάδα συνθετικού iperf.
  5. Αποφασίστε εάν έχετε πρόβλημα σύγκρουσης ECMP πριν ξοδέψετε χρήματα σε προσαρμοστική δρομολόγηση. Τα περισσότερα συμπλέγματα 1–16 κόμβων δεν το κάνουν. Τα περισσότερα συμπλέγματα 64+ κόμβων το κάνουν.

N08 καλύπτει την πραγματική ρύθμιση RDMA — δείκτες GID, MTU, μεταβλητές περιβάλλοντος NCCL, ανά NIC mlx5_core ρύθμιση που μετατρέπει έναν λειτουργικό σύνδεσμο RoCE σε γρήγορο. Εκεί ακριβώς η θεωρία μετατρέπεται σε εντολές που πληκτρολογείτε.


Αυτό είναι μέρος του Kentino Wiki, μιας σειράς αναφοράς για την υπολογιστική Τεχνητή Νοημοσύνη, τη ρομποτική και τα συστήματα που τα συνδέουν. Σχόλια και διορθώσεις είναι ευπρόσδεκτα στο info@kentino.com.