NVLink και NVSwitch : quand cela compte, et pourquoi ce n'est généralement pas le cas pour la gamme Kentino
Μια ερώτηση για το αναμνηστικό και το notre boîte mail : un client qui dimensionne un serveur à 4× ou 8× GPU voit le marketing DGX de NVIDIA vanter une bande passante NVLink de plusieurs téraoctets par seconde et requeste si la configuration NVLink «Kentino». La réponse honnête est non, aucune de nos configurations n'en a — et pour les charges de travail que le client a reellement, cela ne pose pas de problem. Cet άρθρο explique pourquoi.
Το NVLink είναι ένα εντυπωσιαστικό αποτέλεσμα και οι απουσίες αντρών. Le marketing ne trace pas de ligne claire, si bien que les acheteurs surpaient pour un réseau dont ils n'ont pas besoin, ou sous-achètent en croyant que le PCIe est un recul brutal sur toute la ligne. Ni l'un ni l'autre n'est vrai. La frontière est net et se situe à un endroit precis.
Αυτό είναι το NVLink.
Το NVLink είναι ένα σημείο διασύνδεσης à point à haute bande passante entre GPU, qui contourne le complexe racine PCIe de l'hôte. Η Deux GPU βασίζεται στο NVLink échangent des tenseurs directement μέσω le lien, sans transiter par la memoire du CPU και sans entrer en concurrence avec le reste de l'arborescence PCIe. Tout l'argumentaire tient là.
Το πλεονέκτημα της μπάντας πέρασμα του PCIe είναι ουσιαστικό. Le PCIe Gen5 x16 — le plafond actuel d'un connecteur grand public ou station de travail — δωρεάν περιβάλλον 64 GB/s και chaque sens, soit 128 GB/s cumulés. Το NVLink 5 σε B200 και GB200 έχει αθροιστικά 1.8 TB/s ανά GPU, με 14× με σύνδεση PCIe Gen5 x16.
Cette σύγκριση παρεκκλίνων trompeuse dès qu'on la pose noir sur blanc, car les GPU dotés de NVLink 5 ne sont pas des GPU dont l'interconnexion principale est le PCIe Gen5 x16. NVLink vit sur les références de center de données (A100, H100, H200, B200, GB200) ; Το PCIe est la seule voie sur les références grand public et station de travail (4090, 5090, RTX Pro 6000 Blackwell, L40, L4). Στην πράξη, «NVLink contre PCIe» σημαίνει «la gamme H100 contre tout le reste».
Les Générations de NVLink en un coup d'œil
| Γενεά | GPU | Εγγύηση στην GPU | Συνολικό μέγεθος GPU | Έτος |
|---|---|---|---|---|
| NVLink 2 | V100 (Βόλτα) | 6 | 300 GB / s | 2017 |
| NVLink 3 | A100 (Αμπέρ) | 12 | 600 GB / s | 2020 |
| NVLink 4 | H100 / H200 (Χοάνη) | 18 | 900 GB / s | 2022 |
| NVLink 5 | B200 / GB200 (Blackwell DC) | 18 | 1.8 TB / s | 2024 |
Le nombre de liens a augmenté de la génération 2 à la génération 4, puis la bande passante par lien a doublé de la gén. 4 à la gén. 5 (από 50 GB/s à 100 GB/s). Το C'est pourquoi NVLink 5 μοιάζει με à un saut générationnel — et c'en est un.
Le PCIe dans une configuration Kentino :
| πρότυπα | Par sens, x16 | Κουμουλέ x16 |
|---|---|---|
| PCIe Gen4 x16 | 32 GB / s | 64 GB / s |
| PCIe Gen5 x16 | 64 GB / s | 128 GB / s |
Au pire (Gen4), le PCIe représente ~1/14 de NVLink 4. Au mieux (Gen5), le PCIe représente ~1/14 de NVLink 5. Le rapport est à peu près σταθερά, par conception de NVIDIA.
La part honnête : la gamme Kentino n'a pas de NVLink
| GPU | Μορφή | NVLink; |
|---|---|---|
| RTX 4090 | PCIe | Δεν |
| RTX 5090 | PCIe | Δεν |
| RTX Pro 6000 Blackwell (WS/Serveur/Max-Q) | PCIe | Δεν |
| L40 / L40S | PCIe | Δεν |
| L4 | PCIe | Δεν |
| Intel Arc Pro B70 | PCIe | έτσι |
Η NVIDIA είναι η κορυφαία σύνδεση NVLink της GeForce με το μεγάλο κοινό της Ada Lovelace. La 3090 a été la dernière carte grand public dotée d'un pont fonctionnel ; la 4090 l'a abandonné et la 5090 n'en aucun. La raison invoquée était que « les utilisateurs veulent de la bande passante à l'intérieur d'un seul GPU, pas entre deux » — ce qui coïncidait opportunément avec des clients d'entraînement payant des d'unrede passant descenter.
Le cas intéressant est la RTX Pro 6000 Blackwell — une carte de 96 GB pour station de travail et serveur, sur le même silicium Blackwell que la B200, le choix évident pour « de la vraie mémoire GPU sans passer à la B200». Elle n'a pas non plus de NVLink. Ni en version station de travail, ni en version server, ni en Max-Q. Aucun connecteur de pont sur le circuit imprimé. Les fiches Techniques de NVIDIA indiquent NVLink comme non pris en charge sur les trois références.
C'est la ligne de segmentation délibérée. NVLink implique de monter vers H100, H200, B200 ou GB200 — format SXM, carte de base HGX, autre chassis, autre refroidissement, et des allocations dont Kentino ne dispose pas. Si vous avez réellement besoin de NVLink, adressez-vous à un fournisseur de systèmes HGX.
Ce que vous perdez sans NVLink
La pénalité apparaît dans deux profiles de charge bien précis :
- Le parallélisme de tenseurs entre GPU. Lorsqu'un modèle est trop volumineux pour un seul GPU et que vous répartissez la matrice de poids de chaque couche entre les cartes, chaque couche de transformeur impose un AllReduce entre les fragments. Το L'AllReduce είναι gourmand en bande passante et sensible à la latence. Le PCIe est le goulot d'étranglement.
- Διανομή avec συγχρονισμού πρόστιμο des gradients. Les entraînements DDP, FSDP et de type Megatron effectuent des AllReduce de gradients à chaque pas. Plus le calcul par pas est faible et le modèle volumineux, συν l'interconnexion domine le temps d'execution réel.
Tout le reste — inférence sur un seul GPU, parallélisme de pipeline, parallélisme de données, plongements, inférence visuelle, ASR, TTS, génération d'images par diffusion, affinage d'un modèle qui tient sur un GPUetrès. Το NVLink έχει μεγάλη σημασία.
Mise à l'échelle TP mesurée pour un LLM de classe 70B en INT4/INT8, d'après les tests publiés sur 3090/4090/L40S :
| διαμόρφωση | Μισό à l'echelle TP | Παρατηρήσεις |
|---|---|---|
| 2× GPU, NVLink (3090 + πόντοι) | ~0.90–0.95 | σχεδόν γραμμική |
| 2× GPU, PCIe Gen4 | ~0.60–0.70 | Perte AllReduce significative |
| 2× GPU, PCIe Gen5 | ~0.65–0.75 | Μου, αλλά πάντα περιορισμένα |
| 4× GPU, PCIe Gen5 | ~0.50–0.65 | Le coût de l'AllReduce augmente |
| 8× GPU, PCIe Gen5 | ~0.40–0.55 | Το TP αποκλίνον τεκμήριο |
À lire comme des fourchettes, pas comme des promesses : les chiffres exacts dépendent du modèle, de la taille de lot, de la longueur de séquence, de la quantification, de la topologie NUMA et du placement dans les connecteurs. La tendance, elle, est réelle : le parallélisme de tenseurs sur PCIe évolue de façon sous-linéaire et la pénalité croît avec le nombre de GPU. Είναι η τεκμηρίωση του vLLM που προτείνει τον παραλληλισμό του Pipeline plutôt que de tenseurs sur les systèmes PCIe seuls au-delà deux GPU.
La parade concrète : Garder le modèle sur un seul GPU
Le fait sous-estimé du paysage GPU actuel : une RTX Pro 6000 Blackwell embarque 96 GB VRAM sur une seule carte — de quoi héberger un 70B en INT4 ou INT8 sur un GPU μοναδικό avec de la place pour le cache KV. Si vous évitez complètement de répartir un model entre plusieurs GPU, la question du NVLink ne se pose plus.
| Μοντέλο | Ποσοτικοποίηση | VRAM | Ένα μόνο Pro 6000; |
|---|---|---|---|
| 7Β/8Β | INT4 | ~ 5 GB | Ναι, πολλά αντίγραφα |
| 13B | INT4 | ~ 9 GB | Ναι, πολλά αντίγραφα |
| 32B | INT4 | ~ 20 GB | Ναι, 4× ταυτόχρονα |
| 70Β (Λάμα 3.3, Κουέν) | INT4 | ~ 42 GB | Ναι, συν την κρυφή μνήμη KV |
| 70B | INT8 | ~ 75 GB | Ναι, όλα δίκαια |
| Qwen2.5-VL 72B | INT4 | ~ 48 GB | Ναί |
| 405Β (Λάμα 3.1) | INT4 | ~ 240 GB | Μη — 3 κάρτες |
| Μίξτραλ 8×22Β | INT4 | ~ 80 GB | Όλα ακριβώς, με μια κάρτα |
L'hébergement sur une seule carte est la bonne αρχιτεκτονική pour presque tous les modèles qui méritent d'être servis en 2026. Εξαιρέσεις : les très gros modèles denses (405B, GPT-OSS 120B) et o les'sarchitects une carte, mais pas l'ensemble des poids.
Pour du multi-carte sur PCIe, le bon choix est le parallélisme de pipeline , pas le parallélisme de tenseurs. Le pipeline découpe les couches en longs blocks contigus (le GPU 0 porte les couches 0–39, le GPU 1 les couches 40–79, κ.λπ.). Le trafic entre GPU se limite au tenseur d'activation à chaque frontière de bloc — Quelques centaines de KB par jeton, et non des gigaoctets par couche.
| Τρόπος παραλληλισμού | Κυκλοφορία στην GPU ανά καναπέ | Λογική à l'interconnexion ; |
|---|---|---|
| Παραλληλισμός των τεντωμάτων | Ενεργοποίηση × διάσταση cachée, à chaque couche | Ναι — ζητήθηκε από το NVLink |
| Παραλληλισμός αγωγών | Ενεργοποίηση aux seules frontières de blocks | Μη επαρκές PCIe |
| Παραλληλισμός των γραμμάτων | Gradients à la frontière de pas (μοναδική παραμονή) | μέτρια |
| Παραλληλισμός εμπειρογνωμόνων (Υπουργείο Παιδείας) | All-to-all sur le routage des experts | Oui — Βοηθός NVLink |
Sur un serveur à 8× 5090 servant un 70B, vous ne répartissez pas le modèle sur les huit cartes. Vous exécutez deux instances en pipeline à 4 étages, ou quatre instances en pipeline à 2 étages, ou — le plus souvent — huit instances indépendantes d'un modelèle plus petit derrière un répartiteur de charge. Le serveur 8× devient un multiplicateur de débit à huit réplicas plutôt qu'un énorme GPU virtuel μοναδικό. Pour de l'inférence en production, l'architecture à réplicas est généralement la bonne réponse, que NVLink soit disponible ou non : plus de concurrence et une dégradation progressive en cas de panne d'une carte.
Quand NVLink compte vraiment
Les charges de travail pour lesquelles l'absence de NVLink est un vrai problem, et non un problem marketing :
- Entraîner un modèle qui ne tient pas sur un seul GPU. Le pre-entraînement ou l'affinage complet d'un modèle dense de 70B et plus impose de répartir le modèle entre GPU avec des AllReduce de gradients à chaque pas. NVLink fait la diférence entre un rig à 8 GPU productif and quatre cartes qui follower le bus la plupart du temps.
- Inférence en parallélisme de tenseurs sur de très gros modèles denses. Si vous devez server un 405B réparti entre GPU sans pouvoir accepter la latence par jeton du pipeline, NVLink compte.
- MoE avec routage d'experts entre GPU. Το L'all-to-all des MoE είναι βάναυσο στο PCIe. DeepSeek-V3, Mixtral 8×22B et les αρχιτεκτονικές πυκνές-μέσω-MoE όμοια και κερδοφόρα nettment.
- Boucles RLHF / GRPO à haute fréquence. La synchronization politique/référence répétée des milliers de fois par époque se heurte au même coût d'AllReduce.
- Entraînement de diffusion multi-GPU à grande échelle. Ορισμένα gros modèles de diffusion vidéo presentent des schémas d'activation proches du parallélisme de tenseurs.
Si votre charge de travail figure dans cette list, n'achetez pas un serveur Kentino à 8× 5090 en espérant un comportement του DGX H100. Achetez un système HGX, ou louez des H100/B200 dans le cloud pour la φάση d'entraînement et rapatriez les poids sur site pour l'inférence. C'est un flux de travail parfaitement raisonnable, et que nous recommandons ouvertement.
NVSwitch : le réseau à l'échelle du châssis
Το NVLink είναι σημείο à point — du GPU A ή GPU B par un faisceau de liens. Au-delà de deux GPU dans un châssis, soit vous donnez à chaque paire son propre NVLink dédié (ce qui ne dépasse pas quatre cartes), soit vous placez un commutateur NVLink au milieu. Το NVSwitch της NVIDIA είναι εναλλάκτης.
Μια κάρτα βάσης HGX H100 à 8 GPU, τετράγωνες μονάδες NVSwitch donnent à chaque GPU και NVLink 4 à pleine bande passante ver tous les autres — 900 GB/s, all-to-all, χωρίς διαμάχη. Ένα rack GB200 NVL72, NVSwitch με 72 GPU και μοναδική τοπολογία, μη μπλοκαρισμένη, 1.8 TB/s ανά GPU και 130 TB/s αθροιστικά. Αυτός είναι ο NVSwitch qui fait reellement fonctionner le «Gros GPU virtuel μοναδικό» ; sans lui, NVLink n'est qu'un καλώδιο par paire un peu plus rapide.
Στην πράξη :
- Το Aucun NVSwitch και η διαμόρφωση του Kentino. Το NVSwitch δεν είναι διαθέσιμο για συστήματα HGX και DGX πιστοποιητικά NVIDIA. Aucune puce du marché secondaire ne s'intègre dans un châssis Supermicro ou Bone64c.
- Aucun NVSwitch dans une carte RTX, jamais. Réservé au center de données.
- Το GB200 NVL72 είναι το ράφι και το σερβίρισμα. 72 Συνεργάζεται με GPU μέσω καλωδίου NVLink και cuivre à des débits de fond de panier. Καλώδια, commutateurs και fond de panier sont tous propriétaires NVIDIA. Ο κατάλογος Le prix είναι chiffre και εκατομμύρια δολάρια Αμερικής, avec des délais de plusieurs trimestres. Le sommet de ce que NVLink permet en 2026. Pas pour nous.
Κόστος και διαθεσιμότητα
Συμβατά με συστήματα NVLink vivent dans leur propre palier tarifaire. Marché approximatif mi-2026, États-Unis/UE :
| Κλάση συστήματος | GPU | Κατάλογος Fourchette de Prix | ειδοποίηση |
|---|---|---|---|
| 4× RTX 5090 (κλάση Kentino) | 4 | 25€–40€ | 2-4 εβδομάδες |
| 8× RTX 5090 (κλάση Kentino) | 8 | 50€–80€ | 3-6 εβδομάδες |
| 4× RTX Pro 6000 Blackwell | 4 | 60€–90€ | 3-6 εβδομάδες |
| 8× RTX Pro 6000 Blackwell | 8 | 120€–180€ | 4-8 εβδομάδες |
| HGX H100 SXM (8× H100, NVSwitch) | 8 | 250€–350€ | 8-16 εβδομάδες |
| HGX B200 SXM (8× B200, NVSwitch) | 8 | 400€–550€ | 12-24 εβδομάδες |
| GB200 NVL72 (72× B200) | 72 | €3 εκατ.–€4 εκατ.+ | 6–12 μήνες |
Η τιμή για την ενιαία διαμόρφωση Kentino à 8× Pro 6000 και το HGX H100 σε περιβάλλον 2× με την ονομαστική ονομαστική GPU. Το Cart de performance sur les charges qui ne dépendent pas de NVLink est bien inférieur à 2×. Pour un travail dépendant de NVLink (entraînement de gros modèles, parallélisme de tenseurs sur du 405B), la machine H100 est le bon outil et son prix se justifie. Κανονισμός εμπειρικής : η ψηφοφορία για τη χρέωση της εργασίας για τον έλεγχο της GPU με 96 GB, για τη διαμόρφωση Pro 6000 εξοικονόμηση συν 50 % του προϋπολογισμού. Sinon, payez pour NVLink.
σύνθεση
| Ερώτηση | Απάντηση pour la gamme Kentino |
|---|---|
| Une carte actuelle avec NVLink ? | Δεν |
| Une configuration actuelle avec NVSwitch ? | Δεν |
| Parallélisme de tenseurs sur un 70B ; | Oui, avec une pénalité d'échelle d'environ 0,6–0,7× sur PCIe |
| Parallélisme de pipeline sur un 70B ; | Ναι, σχεδόν γραμμικό |
| Faire tenir un 70B sur une carte ; | Ναι — RTX Pro 6000 Blackwell, 96 GB |
| Εισάγετε ένα 70B από μηδέν; | Pas efficacement — passez au cloud ou à HGX |
| Εξυπηρετώ ένα πυκνό 405B; | Uniquement en pipeline sur 3 Pro 6000 ou plus |
| Το MoE σε μεγάλη ένταση; | Les petits MoE oui ; la classe DeepSeek μη |
| Δημιουργήστε ένα ισοδύναμο DGX; | Δεν |
Ποιος έχει ιδιωτικό μπάνιο
Si vous dimensionnez un system sans savoir si NVLink vous est nécessaire, abordez le problème dans cet ordre :
- Σημείωση le plus gros modèle que vous devez servir, avec sa ποσοτικοποίηση. S'il tient sur un seul GPU, NVLink δεν έχει ιδιαίτερη σημασία. Arrêtez-vous là.
- S'il ne tient pas, demandez-vous si le parallélisme de pipeline είναι αποδεκτό. Le pipeline ajoute de la latence par jeton, mais le débit reste bon. Pour de l'inférence par lots et la plupart des usages talknels, είναι αποδεκτό.
- Si le parallélisme de pipeline n'est pas αποδεκτό (vous avez besoin de la latence minimale en flux unique sur un très gros modèle), il vous faut du parallélisme de tenseurs. Sur PCIe, vous payez une taxe de 30 à 50 %. Si cette taxe casse votre modèle économique, NVLink vaut la montée en gamme du système.
- Si vous entraînez, la réponse est presque toujours NVLink. Το Entraîner des modèles denses au-delà de 13B sur PCIe είναι μια μόνιμη χρήση της τεχνολογίας GPU. Louez du NVLink dans le cloud ou achetez du HGX.
- Pour l'inférence, une Pro 6000 Blackwell seule ou un ensemble multi-réplicas 4×/8× 5090 est généralement la bonne réponse. C'est ce que la plupart de nos clients achètent, et cela fonctionne.
Το NVLink δεν είναι πολύ καλό. Il est εξαιρετικό dans son domaine. Η NVIDIA a tracé une ligne de segmentation ferme et, en dessous de cette ligne, la bonne réponse architecturale est : « héberger des modèles plus petits, répliquer horizontalement, utiliser le parallélisme de pipeline quand il fauto vrai». C'est pour cela que la gamme Kentino est conçue.
Pour aller plus loin : InfiniBand et RoCE pour l'interconnexion à l'échelle du cluster ( N02 ), les topologies de clusters commutés ( N04 ) και le PCIe comme interconnexion pour les petits clusters ( K07 ).
Cet άρθρο fait partie du Kentino Wiki, une série de référence consacrée au calcul IA, à la robotique et aux system qui les relient. Commentaires και διορθώσεις bienvenus à info@kentino.com.