Topologies sans switch : maillage, anneau et connexion directe pour petits clusters IA

Un switch 400 GbE à 32 ports, avec les optiques, les câbles breakout et les Licenses logicielles nécessaires pour vraiment l'exploiter, se situe entre 40 k€ et 80 k€ à la mi-2026 àB 64 switch àB, πειρατής. Pour un client qui monte un rig d'entraînement de deux à quatre nœuds, le switch peut coûter plus cher que les GPU de l'un des nœuds. Il ajoute aussi un saut de latence, un point de défaillance μοναδικό, un cycle de vie de firmware distinct et, si vous êtes en RoCE, l'équivalent d'un petit projet de réglage PFC/ECN.

Ce dont presque personne ne parle, c'est qu' en dessous d'environ huit nœuds, vous n'avez absolument pas besoin de switch . Vous pouvez câbler les cartes réseau directement entre elles, supprimer complètement le switch et obtenir quelque chose de plus simple, de moins cher et d'un peu plus rapide. Ce que presque personne n'admet, c'est qu' au-delà d'environ huit nœuds, le sans-switch s'effondre : le câblage, le nombre de ports et l'exploitation cessent d'être défendables. Cet άρθρο cartographie honnêtement cette plage.

Ολοκληρωμένο άρθρο Cet N04 (τοπολογίες commutées). Lisez N06 pour les calculs de latence sur lesquels repose l'avantage du sans-switch, et K07 pour voir à quoi μοιάζουν με ένα nœud de base — la brique que cet article relie.

Les arguments en faveur du sans-switch

Quatre benéfices προσφέρει δωρεάν την καταστολή του διακόπτη:

  1. Μηδενική καθυστέρηση διακόπτη. Un switch Ethernet IA moderne en cut-through consomme 400–600 ns par saut. Ανοίξτε το διακόπτη InfiniBand NDR reste sous les 100 ns. Un câble direct de carte à carte n'ajoute que le délai de propagation (~5 ns/m sur cuivre, autant sur fibre), et rien d'autre. Sur un ping-pong entre deux nœuds, la latence unidirectionnelle passe από ~2 μs à ~1.2–1.5 μs.
  2. Μηδενική ταχύτητα διακόπτη. Une liaison directe entre deux nœuds, c'est deux cartes réseau et un câable DAC. Un triangle à trois nœuds, c'est trois cartes et trois DAC. L'économie en capex, même face à un petit switch 100 GbE avec optiques QSFP28, représente une vraie somme sur une petite configuration — 10 k€ à 30 k€ réinjectés dans les GPU.
  3. Aucun casse-tête PFC/ECN. Une liaison directe de carte à carte est point à point : le contrôle de flux se resume à une συνομιλία entre deux party et le PFC se réduit à « dire au pair de s'arrêter ». Aucune pathologie de propagation de pauses à l'échelle du ύφασμα, puisqu'il n'y a pas de ύφασμα.
  4. Une seule classe d'équipement à déboguer. Quand quelque επέλεξε casse sur un text sans switch, la list des suspects se limite à deux cartes réseau, un câble et les pilotes noyau des deux côtés. Un espace de recherche petit et fini.

Le cas à deux nœuds : branchez-les l'un à l'autre

C'est la configuration de cluster IA la plus propre qui soit, et celle où le sans-switch est sans ambiguïté le bon choix.

Nœud A — Kentino AI 256
  • 8× RTX 5090
  • ConnectX-7 OSFP (400 Gb/s)
⇄ DAC 400G (παθητική, ≤3 m)
Nœud B — Kentino AI 256
  • 8× RTX 5090
  • ConnectX-7 OSFP (400 Gb/s)

Liaison Directe entre deux nœuds : un DAC OSFP passif, pass de switch, ~0.8–1.2 μs delatence RDMA, ~50 GB/s debit utile par κατεύθυνση.

Ένα μόνο DAC OSFP entre deux cartes ConnectX-7 στα 400 Gb/s. Voilà tout le ύφασμα inter-nœuds. Les mêmes cartes qui feraient face à un switch dans une configuration plus grande se font simplement face. Les verbs RDMA fonctionnent, NCCL les détecte automatiquement, GPUDirect RDMA tourne sans modification.

Από την άλλη πλευρά : ~50 GB/s χρησιμοποιεί την κατεύθυνση, une latence RDMA brute inférieure à la microseconde (ib_send_lat tourne autour de 0.8–1.2 µs), un seul câble. Aucun problème d'agrégation, puisqu'il n'y a rien à agréger. Aucune sursouscription, puisqu'il n'y a pas de point de fan-out.

Pour une paire d'entraînement à deux nœuds — la configuration « j'ai dépassé la capacité d'une seule machine » la plus fréquente chez nos clients — c'est la bonne reponse. Διακόπτης Oubliez le. Σύνολο Branchez-les. Investissez l'économie dans un étage NVMe plus généreux ou dans un second port réseau pour la redondance.

Un raffinement Pratique : χρησιμοποιήστε το ConnectX-7 σε δύο θύρες et faites passer deux DAC 200 Gb/s en parallèle entre les machines, avec NCCL configuré pour exploiter les deux HCA (NCCL_IB_HCA=mlx5_0,mlx5_1). Vous perdez un peu de pic par flux, mais vous gagnez une redondance de chemin et un comportement légèrement meilleur sur les les petits μηνύματα grâce aux paires de files parallèles. Βεβαιωθείτε ότι η ρύθμιση παραμέτρων είναι defaut sur les montages à deux nœuds.

Trois et quatre nœuds : τρίγωνο και K4

Trois nœuds, c'est le plus petit cas où la topologie commence à compter. Λιγότερες επιλογές:

  • Γραμμική αλυσίδα (ABC). Καλώδια Deux. Diamètre 2. Le nœud B devient un point chaud : tout le trafic de A vers C le traverse. À éviter.
  • Τρίγωνο (ολοκληρωμένη αποστολή). Καλώδια Trois. Diamètre 1. Chaque nœud dispose de deux ports. Chaque flux ne fait qu'un saut. C'est la bonne reponse.
Τρίγωνο (3 νευρώσεις, K₃) A B C 3 βάρη · 2 θύρες/nœud · διάμετρος 1 Maillage complet K₄ (4 nœuds) A B D C 6 βάρη · 3 θύρες/nœud · διάμετρος 1

À gauche : τρίγωνο (K3) — 3 nœuds, 3 câbles, diamètre 1. À droite : maillage complet K₄ — 4 nœuds, 6 cables, diamètre 1. Chaque paire est directement connectée.

C'est à quatre nœuds que cela devient intéressant. Le mailage complet — le graphe complet K₄ — compte six liens au total, trois ports par nœud et un diamètre de 1. Chaque nœud atteint tous les autres en exactement un saut. Le calcul du câblage:

Κόμβοι Πλήρης εμπράγματη ασφάλεια μέσω αλληλογραφίας Λιμάνια par nœud Διάμετρος
2 1 1 1
3 3 2 1
4 6 3 1
5 10 4 1
6 15 5 1
7 21 6 1
8 28 7 1

En mailage complet, le nombre de ports par nœud vaut N-1, ce qui explique pourquoi cette approche επιβάλλει rapidement. À huit nœuds, il faut sept ports par machine : c'est la fin du chemin Praticable sur un μοναδικό slot PCIe Gen5 x16.

Quand un maillage complet à quatre nœuds l'emporte-t-il sur un petit switch ? Précisément lorsque vous disposez de 4× nœuds Kentino AI 128 pour l'inférence et que vous les voulez étroitement couplés, que vous êtes en RoCE et ne voulez pas de PFC à travers un switch, à 25 Συμπληρωματικοί διακόπτες 100 GbE avec optiques pèsent dans le budget.

Quand un petit switch l'emporte-t-il, même à quatre nœuds ? Lorsque vous pourriez ajouter un cinquième nœud au trimestre suivant. Ajouter un nœud à un mailage K₄ oblige à recâbler chaque nœud existant pour y ajouter les nouveaux ports. Un switch, lui, a des ports libres : il suffit de brancher.

Le cas à 8 nœuds : l'hypercube, avec un astérisque

Le 3-cube (Q3) — un hypercube de dimension 3 — est la disposition sans switch classique pour huit nœuds. Chaque nœud occupe un sommet du cube ; chaque arête du cube est une liaison directe. Trois ports par nœud, douze liens au total, διάμετρος 3.

000 001 010 011 100 101 110 111 Cube Q₃ : 8 nœuds · 12 liens · 3 ports/nœud · διάμετρος 3 Étiquettes en code de Grey — chaque arête diffère d'exactement un bit
ιδιοκτησία αξία
Κόμβοι 8
Συνδέσεις 12
Λιμάνια par nœud 3
Διάμετρος 3
Bande passante de bisection 4 εμπράγματα βάρη

Pour être honnête : c'est rare en παραγωγή. Cela fonctionne, et le pire cas à diamètre 3 reste αποδεκτό pour la plupart des collectives, mais le schéma de câblage est réellement déroutant pour quiconque ne l'a pas monté, le dépannage impose de comprendre l'étit switchet 200 GbE à 16 ports se situe désormais dans la même gamme de prix que les ports réseau et câbles supplémentaires. L'hypercube à 8 nœuds est plus intéressant comme exemple pédagogique que comme produit que nous livrons. À huit nœuds, notre concommandation par défaut reste le switch.

L'anneau : bête, simple et étonnamment pertinent

Oubliez la minimization du diamètre. L'anneau ne relie chaque nœud qu'à ses deux voisins : ABCD-...-A. Deux ports par nœud, quelle que soit la taille du cluster. N βάρη ή συνολικά. Διάμετρος N/2.

A B C D H G F E → → → ← ← ← Anneau à 8 nœuds : 8 liens · 2 ports/nœud · διάμετρος 4 · le ring-allreduce de NCCL s'y projette directement

Cela paraît catastrofique — διάμετρος 4 σε 8 νούμερα, διάμετρος 16 σε 32 νούμερα. Pourquoi n'est-ce pas toujours une erreur ?

Επειδή le ring allreduce de NCCL se projette exactement sur un anneau physique. L'algorithme fait circuler chaque bloc de données une fois autour de l'anneau par φάση ; si la topologie physique est déjà un anneau, l'algorithme tourne au débit nominal d'un lien, sans gaspiller de bande passante. Μεταφέρετε τα μηνύματα από το taille moyenne à grande, το NCCL retient par défaut l'anneau et non l'arbre, car l'anneau atteint la borne de bande passante optimale : 2(N-1)/N × link bandwidth pour l'allreduce. Le diamètre de la topologie physique n'a pas d'importance sur les gros messages — ce qui compte, c'est que tous les liens soient utilisés en parallèle, et l'anneau le fait parfaitement.

Le cas pragmatique où l'anneau physique est la bonne réponse sans switch, ce sont les rigs d'entraînement de 4 à 8 nœuds où chaque nœud dispose déjà d'exactement deux ports RDMA . Le hic : l'anneau n'offre aucune redondance de chemin. Un seul câble défectueux coupe le cluster en deux.

Quand le sans-switch l'emporte sur un petit switch, en chiffres

Τοπολογία Κόμβοι Συνδέσεις Λιμάνια/νευρώσεις Διάμετρος Διχοτόμηση (εμπράγματα βάρη)
Άμεσος σύνδεσμος 2 1 1 1 1
Τρίγωνο (K₃) 3 3 2 1 2
Πλήρης αλληλογραφία K₄ 4 6 3 1 4
Άνοιγμα 4 ημερών 4 4 2 2 2
Άνοιγμα 8 ημερών 8 8 2 4 2
Κύβος Q₃ σε 8 λεπτά 8 12 3 3 4
Q₄ σε 16 μήνες 16 32 4 4 8
Étoile à 8 nœuds (commutée) 8 8 1 2 εξαρτάται από τον διακόπτη

Σύγκριση τιμής κατά προσέγγιση ύφασμα 8 nœuds, mi-2026 (EUR HT) :

Πλησιάζω Απαιτούμενες κάρτες αναζήτησης Κύπελλα διακόπτης Τετραπλή τετράγωνη
8 nœuds, étoile 200 GbE à un seul switch 8× μονοθύρες 200 GbE 8× Ψηφιακός μετατροπέας συχνότητας (DAC) ~18–28 χιλιάδες ευρώ 25–35 χιλιάδες ευρώ
Anneau à 8 nœuds, sans switch 8× 200 GbE σε δύο θύρες 8× Ψηφιακός μετατροπέας συχνότητας (DAC) aucun 15–22 χιλιάδες ευρώ
Cube Q₃ à 8 nœuds, sans switch 8× ισοδύναμες τρεις θύρες 12× Ψηφιακός μετατροπέας συχνότητας (DAC) aucun 18–26 χιλιάδες ευρώ
Maillage K₄ à 4 nœuds, sans switch 4× ισοδύναμες τρεις θύρες 6× Ψηφιακός μετατροπέας συχνότητας (DAC) aucun 9–13 χιλιάδες ευρώ
4 nœuds, μικροδιακόπτης 100 GbE 4× μονοθύρες 100 GbE 4× Ψηφιακός μετατροπέας συχνότητας (DAC) ~8–12 χιλιάδες ευρώ 11–16 χιλιάδες ευρώ
2 νύχτες απευθείας 2× μονοθύρες 400 GbE 1× Ψηφιακός μετατροπέας συχνότητας (DAC) aucun 3–5 χιλιάδες ευρώ

Le point de bascule où le switch devitent rentable se situe autour de 6 à 8 nœuds, selon le palier de bande passante et vos intentions de croissance.

La liaison montante : la partie que l'on oublie

Un ύφασμα de données sans switch se suffit à lui-même en interne. Il n'est, en revanche, connecté à rien. Le cluster a toujours besoin d'une liaison montante pour récupérer jeux de données et modèles depuis le stockage de l'entreprise, pour le SSH depuis les stations de travail des développeurs, la téléversémétée, la téléversémétée, la téléversémété, la téléversémétée, depuis le stockage de l'entreprise. IPMI/BMC et le trafic du registre de conteneurs.

Schéma A — chaque nœud dispose d'une carte réseau de gestion distincte. Chaque nœud embarque un petit port 25 GbE (voire 10 GbE) relié à un switch de gestion bon marché, εντελώς ανεξάρτητο υφασμάτινο RDMA. C'est presque toujours la bonne réponse. Το ύφασμα RDMA est un environnement stérile, sans perte et finement réglé ; le plan de gestion est un réseau Ethernet ordinaire avec du trafic ordinaire. Mélangez les deux et le trafic de gestion perturbera vos collectives.

Schéma B — nœud de liaison montante dédié. Un nœud du cluster dispose d'un port supplémentaire vers l'extérieur. Les autres nœuds atteignent le monde extérieur en routant parce nœud. Cela convient aux budgets serrés et aux petites installations de laboratoire, mais le nœud de liaison devient un goulot d'étranglement pour la lecture des jeux de données et un point de défaillance μοναδικό pour l'accès à la gestion.

Le mur infranchissable vers 16 noœuds

Le sans-switch meurt au-delà de 16 nœuds pour trois raisons indépendantes, dont chacune suffit :

  1. Το όνομα των λιμανιών για το νέο. Η πλήρης αλληλογραφία απαιτεί N-1 ports par nœud. L'hypercube en exige log₂(N). Même cette croissance logarithmique επιβάλλει 4 θύρες ανά nœud à 16 nœuds, ce qui est à la limite de la densité réseau εφαρμόσιμη sur un seul υποδοχή PCIe Gen5 x16. À 32 nœuds, il faut 5 ports par nœud — plusieurs slots et plusieurs placements NUMA à gérer.
  2. Ο συνδυασμός καλωδίωσης. Un maillage complet K₄ à 16 nœuds compte 120 καλώδια. Un hypercube Q4 à 16 nœuds en compte 32. Dans les deux cas, l'étiquetage, la documentation et l'accès physique à chaque câable comptent. Un seul câble mal branché dans un hypercube de 32 καλώδια prend des heures à localiser.
  3. Η καθημερινή εκμετάλλευση. Remplacer une carte réseau défaillante sur un ύφασμα χωρίς διακόπτη επιβολή αναγνωριστικού les N-1 (ou log N) καλώδια qui y étaient reliés et de rebrancher chacun sur un port précis de la carte de replacement. Το L'écart de MTTR face à une solution commutée est bien réel.

Βιογραφικό, τιμή: le sans-switch est pertinent pour 2 à 4 nœuds dédiés , défendable pour 5 à 8 nœuds avec un engagement clair de « nous ne grandirons pas » , et une partiœud àrreuds , et une àrreuds . À 9 nœuds et au-delà, achetez un switch.

Deux configurations concrètes qui méritent d'être décrites

2× Kentino AI 256 Turin Dual, σκηνοθεσία σύνδεσης, 400G. Μονόθυρο EPYC Turin με 8 GPU (5090 ή RTX Pro 6000 Blackwell), μονόθυρο ConnectX-7 400 GbE / NDR και θύρα DAC OSFP 3 m entre les deux. Σύνολο υλικών μεταξύ μερών : ~4 k€. Το Busbw μειώνει όλα τα ακαθάριστα μηνύματα NCCL: ~45 GB/s. Convient à l'inférence tensor-parallel à deux voies d'un modèle dense 405B (couches réparties sur les deux machines), ou au fine-tuning d'un 70B qui ne tient pas tout à fait sur une seule μηχάνημα. Nous avons livré plusieurs variantes de cette configuration. Elle est banale, elle fonctionne, et elle coûte un ordre de grandeur de moins que l'équivalent raccordé à un switch.

4× Kentino AI 128 en maillage complet K4, 100G. Quatre nœuds EPYC monosocket και εξοπλισμός με 4× RTX Pro 6000 Blackwell. Chaque nœud embarque l'équivalent de trois ports réseau (une carte à deux ports plus une monoport, ou une carte à quatre ports dont un reste inutilisé), υφασμάτινο DAC 100 GbE. Έξι καλώδια ή συνολικά. Bande passante de bisection : 400 Gb/s. Χρησιμοποίησε την επιρροή τανυστήρα-παράλληλο d'un μοντέλο de classe 70B avec découpage en quatre et passage complet des activations entre chaque paire. Supprime le switch comme point de défaillance μοναδικό du service d'inférence, et le budget du client est part dans les GPU plutôt que dans de l'équipement de commutation. Contrepartie : figé à quatre nœuds ; toute croissance impose de repenser l'architecture.

Quand le sans-switch l'emporte

  • 2 nœuds — toujours sans switch. Aucun επιχείρημα sérieux en faveur d'un switch.
  • 3 nœuds — διακόπτης τριγώνου χωρίς. Trois câbles, chaque nœud à un saut. Ασήμαντος.
  • 4 nœuds — K4 sans switch si vous ne comptez pas grandir, sinon un petit switch. Les deux se défendent ; l'hypothèse de croissance δόση.
  • 5 à 8 nœuds — généralement commuté. Το L'anneau είναι αληθοφανές pour les charges limitées par la bande passante, l'hypercube pour les plus déterminés. Les deux sont plus difficiles à justifier que l'achat d'un switch à 16 ports.
  • 9 nœuds ou plus — commuté. Toujours. Au-delà, le sans-switch est une erreur déguisée en économie.

Si vous dimensionnez un petit cluster IA et que la ligne « switch » fait mal à la ονοματολογία :

  1. Comptez les nœuds dont vous avez réellement besoin. Pas « pour les cinq prochaines années ». Cette année et l'année prochaine. Si la réponse honnête est 2 à 4, la voie sans switch est réelle et mérite d'être chiffrée.
  2. Cartographiez l'agencement des cartes réseau. La ConnectX-7 à deux ports 200 Gb/s QSFP112 est la référence de liaison directe la plus courante dans nos configurations 2026. Η έκδοση à τετράγωνες θύρες SFP56 est l'option pour un nombre de nœlevés plus pars.
  3. Tranchez votre posture de croissance. S'il existe une πιθανότητα σειρά 8 nœuds, achetez le petit switch tout de suite. Recâbler un maillage plus tard est réellement pénible.
  4. Prévoyez le plan de gestion séparément. Fabric de données sans switch, plan de gestion commuté sur du 10 GbE bon marché. Ne les regroupez pas sur un même jeu de câbles.
  5. εκτόξευση nccl-tests sur la topologie telle que construite avant de crier victoire. Η ΕΞΟΔΟΣ NCCL_DEBUG=INFO indique quels liens physiques NCCL utilize réellement ; recoupez-la avec le schéma.
  6. Τεκμηρίωση της καλωδίωσης. Φωτογραφίες, εθιμοτυπίες των λιμένων, un schéma d'une page dans le rack. La première fois qu'une carte réseau lâchera à 2 h du matin, vous serez περιεχόμενο.

Les articles à lire ensuite : N04 pour l'alternative commutée, N06 pour la dissection de la latence qui justifie l'avantage du sans-switch, N02 pour l'arbitrage InfiniBand contre RoCE qui détermine les àettere à07che nœud de base auquel tout cela se raccorde.


Cet άρθρο fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires και διορθώσεις bienvenus à info@kentino.com.