Choisir son GPU pour les charges de travail IA : 5090, 4090, RTX Pro 6000, L40, L4 face à face
Il n'existe pas de GPU universellement adapté au travail IA en 2026. Il existe un GPU adapté à une charge de travail définie, à une enveloppe énergétique définie et à un budget défini — και la mauvaisess'unte bonne carte dans le mauvais châssis. Cet άρθρο αντιμετωπίζει το παιχνίδι Kentino carte par carte, avec de vrais chiffres de performance, des compromis assumés et un arbre de décision que nous utilisons réellement lors de nos échanges avec les clients. Il ne prétend pas que les H100 et A100 n'existent pas : elles existent, nous ne les vendons pas, et nous dirons precisément quand cet écart compte.
Οι κάρτες είναι παρούσες:
- RTX 5090 — 32 Go GDDR7, 1.79 TB/s, 575 W, μεγάλο δημόσιο.
- RTX 4090 — 24 Go GDDR6X, 1.01 TB/s, 450 W, grand public, génération precédente.
- RTX Pro 6000 Blackwell Server Edition — 96 Go GDDR7 ECC, 600 W, refroidisement passif, format server, sans versities vidéo.
- RTX Pro 6000 Blackwell Max-Q — 96 Go GDDR7 ECC, 300 W, διπλή υποδοχή στροβίλου, σταθμός εργασίας même silicium que la έκδοση.
- L40 — 48 Go GDDR6 ECC, 0.86 TB/s, 300 W, format center de données, ECC complet.
- L4 — 24 Go GDDR6, 0.30 TB/s, 72 W, απλή υποδοχή χαμηλού προφίλ, συμπεράσματα στην περιφέρεια.
Les caractéristiques qui comptent vraiment
Les fiches Techniques de GPU sont denses et la plupart des chiffres ne changent rien à une décision d'achat. Trois d'entre eux, si.
- Χωρητικότητα VRAM. C'est binaire. Soit votre modèle tient, soit il ne tient pas. Le déport vers le CPU n'est pas un substitut βιώσιμο (voir W01).
- Bande passante του VRAM. La génération de tokens sur un transformeur est limitée par la bande passante. Les TFLOPS annoncés sur la fiche τεχνική sont largement sans objet pour l'inférence.
- Πηγή ισχύος και μορφή. Une carte de 600 W dans un châssis incapable d'évacuer la chaleur est une carte de 300 W avec une alarme thermique. Une carte de 72 W dans un serveur 1U est une tout autre machine qu'une carte de 575 W dans une station de travail 4U.
| GPU | VRAM | εύρος ζώνης | TDP | Μορφή | ECC | Παρατηρήσεις |
|---|---|---|---|---|---|---|
| RTX 4090 | 24 Go GDDR6X | 1.01 TB / s | 450 W | μεγάλο δημόσιο 3 θέσεις | Δεν | Génération précédente, option économique |
| RTX 5090 | 32 GB GDDR7 | 1.79 TB / s | 575 W | μεγάλο δημόσιο 2–3 θέσεις | Δεν | Reine du rapport perf/€ en inférence |
| RTX Pro 6000 BW Max-Q | 96 GB GDDR7 | 1.79 TB / s | 300 W | τουρμπίνα 2 υποδοχές | Ναί | Haute densité, consommation réduite |
| RTX Pro 6000 BW Server Ed. | 96 GB GDDR7 | 1.79 TB / s | 600 W | παθητικές 2 υποδοχές | Ναί | Ποιοτική υπηρεσία, χωρίς συγγένεια |
| L40 | 48 GB GDDR6 | 0.86 TB / s | 300 W | παθητικές 2 υποδοχές | Ναί | Génération Ada center de données |
| L4 | 24 GB GDDR6 | 0.30 TB / s | 72 W | 1 LP υποδοχής | Ναί | Inférence en périphérie / 1U |
| H100 SXM (αναφορά, μη αγορά) | 80 Go HBM3 | 3.35 TB / s | 700 W | SXM5 | Ναί | Υπερκλίμακα Niveau |
| H200 SXM (αναφορά, μη αγορά) | 141 Πηγαίνετε HBM3e | 4.80 TB / s | 700 W | SXM5 | Ναί | Reine de la bande passante HBM |
Inférence : tokens par seconde, par modele et par carte
La génération de tokens en inférence, en flux unique, équivaut approximativement à la bande passante divisée par la taille du modelèle, multipliée par un facteur d'efficacité logicielle de 0.6–0.8. Le tableau ci-dessous reprend nos mesures sur des configurations de test avec vLLM 0.6+ et llama.cpp à jour au T2 2026. INT4 sauf αναφέρουμε αντίθετα. Débit en flux unique d'abord ; agrégat par lots entre parenthèses lorsqu'il est mesurable.
| Μοντέλο | Ποσότητα. | μέγεθος | RTX 4090 | RTX 5090 | Διακομιστής/WS Pro 6000 BW | Pro 6000 Max-Q | L40 | L4 |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5 7B | INT4 | ~4 Πάμε | 110-130 (220) | 180-220 (340) | 180-220 (340) | 170-200 (320) | 90-110 (200) | 35-45 (90) |
| Λάμα 3.2 13Β | INT4 | ~7 Πάμε | 70-85 (170) | 120-140 (250) | 120-140 (250) | 110-130 (230) | 60-75 (140) | 22-28 (60) |
| Qwen2.5 32B | INT4 | ~18 Πάμε | 32-38 (90) | 55-65 (140) | 60-70 (150) | 55-65 (140) | 28-34 (80) | νε τιέντ πας |
| Λάμα 3.3 70Β | INT4 | ~40 Πάμε | ne tient pas sur une seule carte | exige 2× (24–30) | 28–34 (90) sur une seule carte | 27-32 (85) | exige 2× (16–22) | νε τιέντ πας |
| Qwen2.5 72B | INT4 | ~42 Πάμε | ne tient pas sur une seule carte | exige 2× (24–30) | 28–34 (90) sur une seule carte | 27-32 (85) | exige 2× (16–22) | νε τιέντ πας |
| Qwen2.5-VL 72B | INT4 | ~46 Πάμε+ | ne tient pas sur une seule carte | exige 2× (12–18) | 18–24 σε μία μόνο κάρτα | 17-22 | exige 2× (10–14) | νε τιέντ πας |
| Λάμα 3.1 405Β | INT4 | ~210 Πάμε | νε τιέντ πας | exige 8× | 4× (δεν είναι μοναδικό) | 4× (δεν είναι μοναδικό) | exige 5× | νε τιέντ πας |
Το Quelques επιφυλάσσει honnêtes. Ce sont des chiffres typiques sur un châssis correctement refroidi, avec le modèle entièrement resident. Le TTFT à cache froid dépend surtout de l'allocation du cache KV et du calcul de preremplissage, pas de la bande passante, et se situe entre 200 και 900 ms sur l'ensemble de ces cartes. Le débit par lots évolue de façon sous-linéaire au-delà de 8–16 flux simultanés, à αιτία της διαμάχης του υπολογισμού. Si votre application est interactive (chat, agent pas à pas), le flux unique compte davantage que le traitement par lots. Si elle est massive (traitement documentaire, autolabellisation), c'est l'inverse.
Le bloc de 4× 5090 est le cheval de bataille de notre gamme, et pour de bonnes raisons : il coûte 8 500 à 14 000 € en cartes seules, loge quatre GPU dans un châssis 4U avec un ravélirond's 12 000 tok/s agrégés sur Llama 3.3 70B INT4 sous vLLM en parallélisme tensoriel. Une seule Pro 6000 Blackwell à 8 500 € Παρουσίαση environ 30 tok/s en flux unique και environ 90 tok/s par lots sur le même modele. Pour une machine servant plusieurs utilisateurs, les 5090 l'emportent. Χύστε μια φόρτιση mono-utilisateur à contexte long avec des modèles de 64 Go et plus, c'est la Pro 6000. Il n'y a pas de réponse universelle.
Quand chaque carte a réellement du sens
RTX 5090 — reine du rapport perf/€, avec des angles vifs. Le bon choix lorsque la charge de travail est l'inférence, que le budget est réel mais pas illimité, et que le déploiement tolère deux limites connues : l'absence d'ECC et des transitoires de puissance de classe so grande public σασί (voir W04 ). Pour les modèles 13B et 32B, la 5090 est plus rapide à l'euro que tout le reste du tableau. Pour la classe 70B, quatre 5090 en parallélisme tensoriel délivrent plus debit agrégé qu'une seule Pro 6000 Blackwell, pour un capex total inférieur. Revers de la médaille : 575 W nominaux avec des transitoires au-delà de 600 W, et un plafond de 32 Go par carte qui impose le multi-GPU dès 32B à contexte élevé. À privilégier si : inférence 24/7 pour 7B–32B, le rapport perf/€ compte, vous disposez d'un flux d'air en rack, et l'ECC n'est pas une exigence réglementaire αυστηρή. À éviter si : l'ECC est obligatoire, vous visez du 70B+ sur une seule carte, ou la salle ne peut pas évacuer 2.4 kW de chaleur.
RTX 4090 — μοναδική comme επιλογή économique de repli. Το 2026, c'est un achat τακτική. Le neuf en détail est σπάνιο ; l'occasion et les reliquats de διανομή se situent entre 1 400 et 1 900 €. Par carte, περιβάλλον 55 % de la vitesse d'une 5090 sur l'inférence limitée par la mémoire (1.01 contre 1.79 TB/s) και 24 Go contre 32 Go — ces 8 Go comptent, car un modèle 32B plus INT4 caunee garde du sens pour étendre un parc 4090 existant sous contrainte de capex. Vous partez de zero ; Αγορά από 5090.
RTX Pro 6000 Blackwell Server Edition — reine de la VRAM pour les charges sérieuses. 96 Go de GDDR7 ECC à 1.79 TB/s αλλαγή λίστας μοντέλων que vous pouvez héberger. Une seule carte accueille Qwen2.5-VL 72B INT4 avec un cache KV confortable pour environ 20 flux simultanés. Quatre cartes dans un même nœud hébergent Llama 3.1 405B INT4 dans un seul châssis, sans réseau inter-nœuds. Refroidissement passif, conçue pour un flux d'air avant-arrière en rack, sans sorties vidéo, validée pour le 24/7. Même silicium que la Workstation Edition, même plafond de 600 W, διαφορετική ανανέωση. À privilégier si : vous voulez de la marge en 70B+ sur une seule carte, l'ECC est requis, le déploiement se fait en rack avec un flux d'air correct, l'entraînement fait partie du programme, ou moins de groups de pluses cartes pluses espace rack et en consommation.
RTX Pro 6000 Blackwell Max-Q — Haute densité sans Refaire l'électricité du bâtiment. Mêmes 96 Go et mêmes 1.79 TB/s, plafonnés à 300 W. Quatre cartes Max-Q tirent 1.2 kW côté GPU ; quatre Server Edition συνολικά 2.4 kW. La pénalité de performance liée au plafond de puissance est réelle, mais plus faible que le rapport des watts — la courbe perf/W de Blackwell est raide en haut de gamme, si bien que le plafonnement à 300 W coûte 20 à 30% από 5,5% σε 30 μπιτ. À privilégier si : l'environnement est contraint en puissance, vous voulez 96 Go par carte, la densité prime sur le débit crête par carte, ou l'acoustique compte.
L40 — la carte d'inférence pour l'entreprise, avec ECC et antécédents. Génération Ada. Πλέον lente que Blackwell en bande passante (0.86 contre 1.79 TB/s) και en capacité (48 contre 96 Go), τιμολόγιο comme une référence center de données. La raison de l'acheter tient aux achats : ECC complet, pilotes validés, 300 W soutenus, plus deux ans de déploiement en production. Pour les environnements qui interdisent les cartes grand public (assurance, secteur public, some industries réglementées), c'est la carte qui coche la case. En perf/€ brute, elle perd face à la 5090. À privilégier si : la politique d'achat interdit le matériel grand public, la charge tient dans 48 Go, et la fiabilité 24/7 prime sur le rapport perf/€.
L4 — inférence en périphérie, 1U, 72 W. La seule carte de cette list qui s'installe dans un serveur 1U aux côtés de la carte system sans hardé, και la seule qui fonctionne sur le budgeturd'unateque énergédinateque. 72 W de TDP, απλή υποδοχή χαμηλού προφίλ, παθητική, 24 Go GDDR6 ECC, 300 Go/s. La bande passante est le goulot d'étranglement — un 7B en flux unique atteint 35–45 tok/s, ce qui est «σωστό» και μη «rapide». Η χρήση του γιου είναι η αναδιαμέριση: 8× L4 dans un châssis 2U sur un hôte EPYC unique délivrent 8 flux d'inférence 7B simultanés pour un coût agrégé modeste (περιβάλλον 20 k€ en cartes), αποζημίωση 70'00 n'importe quel circuit de bureau. À privilégier si : déploiement en périphérie, 1U/2U, contrainte de puissance, le modèle tient dans 24 Go, et la métrique est le débit par watt.
Απόδοση ανά ευρώ : le tableau à ne pas montrer à votre directoreur χρηματοδότης
| GPU | Τιμή (€) | 7B INT4 tok/s (μοναδική ροή) | tok/s park k€ | 70B INT4 tok/s* | 70 δισεκατομμύρια τόκοι/δευτ. πάρκινγκ k€ |
|---|---|---|---|---|---|
| RTX 4090 (αποθεματικό υπόλειμμα) | ~ € 1,700 | 120 | 70.6 | exige 2× = 28 | 8.2 (βασική ομάδα 4 καρτέλες) |
| RTX 5090 | ~ € 2,400 | 200 | 83.3 | exige 2× = 28 | 5.8 (βασική ομάδα 2 καρτέλες) |
| RTX Pro 6000 BW Max-Q | ~ € 8,500 | 185 | 21.8 | 30 σε μία μόνο κάρτα | 3.5 |
| Διακομιστής RTX Pro 6000 BW | ~ € 8,800 | 200 | 22.7 | 31 σε μία μόνο κάρτα | 3.5 |
| L40 | ~ € 7,800 | 100 | 12.8 | exige 2× = 19 | 1.2 (βάση 2 καρτέλες) |
| L4 | ~ € 2,500 | 40 | 16.0 | νε τιέντ πας | έτσι |
| H100 SXM (αναφορά) | ~ € 28,000 | 220 | 7.9 | 60 σε μία μόνο κάρτα | 2.1 |
*Pour le 70B INT4 : chiffres par carte lorsque le modèle tient sur une seule carte ; débit agrégé en flux μοναδικό lorsque le parallélisme tensoriel multi-cartes est nécessaire, divisé par le coût total des cartes.
La 5090 est reine du rapport perf/€ à chaque taille de modèle où le modèle tient. Les Pro 6000 gagnent sur un autre ax : faire tenir un model de classe 70B sur une seule carte supprime la latence et la complexité du parallélisme tensoriel. La L40 affiche le pire rapport perf/€ de ce tableau, et de loin — elle coûte environ 3× le prix d'une 5090 pour environ 50 % des performance en inférence. Sa valeur tient à la conformité des achats et à un historique de production en génération Ada, pas à l'économie brute. La L4 remporte le rapport perf/€ precisément dans le coin « petit modelèle + faible consommation », où elle n'a aucune concurrence.
Απόδοση ανά watt : le tablo pour le responsable de colocation
| GPU | TDP | 7B tok/s | τοκ/δευτ. ανά Δ | 70 δισεκατομμύρια δολάρια/δευτ.* | 70B tok/s ανά W |
|---|---|---|---|---|---|
| L4 | 72 W | 40 | 0.56 | έτσι | έτσι |
| RTX Pro 6000 BW Max-Q | 300 W | 185 | 0.62 | 30 | 0.10 |
| L40 | 300 W | 100 | 0.33 | 19 (×2) | 0.03 |
| RTX 5090 | 575 W | 200 | 0.35 | 28 (×2) | 0.024 |
| RTX 4090 | 450 W | 120 | 0.27 | 28 (×2) | 0.031 |
| Διακομιστής RTX Pro 6000 BW | 600 W | 200 | 0.33 | 31 | 0.052 |
| H100 SXM (αναφορά) | 700 W | 220 | 0.31 | 60 | 0.086 |
La Max-Q remporte le rapport perf/W de cette gamme, et l'écart n'est pas mince. Plafonner une Blackwell de 96 Go à 300 W maintient la carte dans la zone efficace de sa courbe, et vous conservez l'essentiel du débit de la Server Edition pour la moitié de la consommation au compteur. Εν συνεγκατάσταση, où la puissance est facturée et où vous payez 0.18 à 0.30 € par kWh en continu, la Max-Q fait économiser de l'argent bien réel sur un déploiement pluriannuel face à la Server Edition. Des clients sont passés de la Server Edition à la Max-Q precisément pour éviter de refaire la centrale de froid de leur bâtiment.
Notes sur l'entraînement et le fine-tuning
L'entraînement n'est pas le positionnement premier de Kentino — la plupart des clients achètent pour l'inférence. Mais le fine-tuning se présente partout, et le choix pour l'entraînement obéit à d'autres contraintes. Συμπλήρωση μοντέλων από 70B και συν το μη βιώσιμο παιχνίδι sur cette : il exige 8× H100/H200 SXM ou du cloud loué, et nous le disons. Βελτιώστε την άνεση LoRA de 7B–32B σε 4× 5090 ή 4× Pro 6000 BW Max-Q. Le QLoRA de 70B prefère 2× Pro 6000 BW (toutes éditions) à 4× 5090 avec FSDP, car une carte par réplique de modèle απλοποιεί τις ριζικές επιλογές. La règle decision : si les entraînements dépassent 24 heures sans surveillance, l'ECC compte — prenez une Pro 6000 ou une L40. En dessous de 24 heures avec un humain dans la boucle, la 5090 convient et revient moins cher à performance égale.
Vision-langage και ερώτηση Pro 6000 contre H100
Το Les VLM changent le calcul, car l'empreinte des activations est plus grande et le preremplissage (encodage de l'image) εξαρτάται από το davantage du calcul. Pour Qwen2.5-VL 72B INT4 (~46 Go), la Pro 6000 BW delivre 18–24 tok/s sur une seule carte avec environ 1.4 s de preremplissage ; 2× 5090 en parallélisme tensoriel délivrent 12–18 tok/s, avec 20 à 40 ms de surcoût TP par token. Pour l'inférence sur site en robotique, la Pro 6000 BW est le choix le plus honnête, car Qwen2.5-VL 72B est le modèle que les gens veulent réellement faire tourner, et une seule carte élimine le surcoût TP. Μαζική μετατροπή εικόνας-vers-texte les chaînes d'autobellisation et la conversion image-vers-texte, où la latence εισαγωγή peu, 4× 5090 l'emportent encore en perf/€.
Σύγκριση: Pro 6000 BW contre H100
Nous ne vendons pas de H100. Nous serons précis sur le compromis, parce que les clients posent la question.
Carte pour carte, la H100 SXM (80 Go HBM3, 3.35 TB/s) devance la Pro 6000 BW Server (96 Go GDDR7 ECC, 1.79 TB/s) sur l'inférence en flux μοναδικό limitée par la bande passante, d.61'un. tok/s contre 31 tok/s sur Llama 3.3 70B INT4. Το H100 διαθέτει το NVLink και τον ημιώροφο SXM5, που περιλαμβάνει 900 Go/s d'interconnexion GPU à GPU και χωρίς HGX à 8 GPU. La Pro 6000 BW s'appuie sur du PCIe 5.0 x16 (environ 63 Go/s effectifs), soit environ 14× plus lent pour le trafic entre cartes.
Pour l'inférence de modèles qui tiennent dans 96 Go sur une seule carte, cette diférence est invisible — il n'y a pas de trafic entre cartes. Pour l'inférence de modèles qu'il faut répartir sur 4 ou 8 cartes, la H100 avec NVLink l'emporte de 30 à 50 % en débit agrégé, car le parallélisme tensoriel est sensible à l'interconnexion. Pour l'entraînement sur 8 cartes, la H100 gagne neettement.
Η τιμή είναι 3 à 3.5× par carte και 8 à 12× par nœud εκμεταλλεύσιμη (un HGX H100 comprend la carte porteuse et les NVSwitch). Pour la plupart des charges non hyperscale, ce ratio ne tient pas la route. Pour celles où il tient, le client n'achète pas chez Kentino : il achète en direct chez Dell, Lenovo ou Supermicro, sur des contrats à huit chiffres. Nous le disons aussi au téléphone.
Ce que nous ne dirons pas : que la Pro 6000 Blackwell est «aussi bonne» ή «concurrente» d'une H100. Elle ne l'est pas, sur les métriques pour lesquelles la H100 a été conçue. Elle est en revanche la bonne carte pour les usages où 96 Go d'ECC à 1.79 TB/s résolvent le vrai problem du client — c'est-à-dire la plupart des cas.
Εργασία απόφασης
Αναχώρηση: quelle est la charge de travail ?
-
Συμπέρασμα μόνο;
-
Μοναδική αλληλεπίδραση ροής (chat, agent, voix) ;
- Le model tient dans 32 Go (7B–32B INT4) ?
- Σφιχτός προϋπολογισμός: 4× RTX 5090
- Απαιτείται ECC (συμμόρφωση): 4× L40
- Bureau contraint en puissance: 4× Pro 6000 BW Max-Q
- Le modele demande 32–80 Go (70B INT4, VLM 72B):
- Vous voulez la simplicité d'une seule carte: 1–2× Διακομιστής Pro 6000 BW
- Priorité au perf/€, TP à 2 voies αποδεκτή: 4× RTX 5090
- Πλαφονική ισχύς: 2× Pro 6000 BW Max-Q
- Modèle de 80 Go et plus (405B INT4, hébergement multi-modèles):
- 4× ou 8× Pro 6000 BW Server en chassis 8 GPU
- Demandez-vous honnêtement si le cloud n'est pas le bon choix
- Le model tient dans 32 Go (7B–32B INT4) ?
-
Μαζικά παρτίδες Traitement (autobellisation, traitement documentaire) ;
- Μικρό μοντέλο (7Β–13Β): 8× L4 σε 2U (περιφέρεια) ή 4 × 5090 (ράφι)
- Μεγάλο μοντέλο (70B+): 4× Διακομιστής Pro 6000 BW ou 8 × 5090
-
Périphérie / 1U / contrainte de puissance ;
- 1–8× L4
-
Μοναδική αλληλεπίδραση ροής (chat, agent, voix) ;
-
Entraînement ή τελειοποίηση ;
- LoRA / QLoRA / τελειοποίηση (la plupart des clients):
- 7Β–13Β: 4× RTX 5090 (ECC χωρίς κριτική)
- 32Β–70Β: 4× Διακομιστής Pro 6000 BW (ECC + χωρητικότητα)
- Longues executions sans surveillance : toujours choisir des composants ECC
- Entraînement complet de 70B et plus : μη βιώσιμο ici — cloud ou classe DGX recommandés
- Διάχυση λεπτής ρύθμισης / VLM: Pro 6000 BW για το μέγεθος της παρτίδας, 5090 pour le perf/€ sur de petits lots
- LoRA / QLoRA / τελειοποίηση (la plupart des clients):
-
Mixte (entraînement + inférence, laboratoire de recherche) ?
- 4 GPU: 4× Διακομιστής Pro 6000 BW (Max-Q si la puissance est plafonnée)
- 8 GPU: 8× Pro 6000 BW Server en chassis bi-EPYC
- Panachage : 4× 5090 enférence + 1× Pro 6000 BW en entraînement dans le même châssis, c'est faisable mais pas élégant
La branche qui aboutit à « 4× RTX 5090 » αντιστοιχεί στη διαμόρφωση que nous expédions le plus. Το Celle qui aboutit à « 4× Pro 6000 BW Server » φτάνει στο deuxième. La branche L4 et la branche Max-Q pèsent moins en volume, mais aucune n'est une niche — chaque trimestre, nous livrons des commandes de plusieurs unités pour des déploiements de bureau où des cartes de 600 W ne survivraientque du à lecti.
Ce que nous ne référençons pas
Disons-le clairement : Kentino δεν πωλείται υλικό H100 SXM, H200 SXM, A100 SXM, B200 από την κατηγορία GB200 NVL. Le format SXM5 και l'écosystème de cartes porteuses HGX/NVL relèvent d'un niveau de chaîne d'approvisionnement qui n'est pas le nôtre. Les variantes PCIe de la H100 ont brièvement existé et ont pratiquement disparu de la διανομής. Si votre charge de travail exige réellement 8× H100 avec NVLink, vos options honnêtes en mai 2026 sont : louer chez un hyperscaler ou un cloud spécialisé, acheter en direct chez Dell / Lenovo / Supermicro avec 12 semaerai à integrateur de ce niveau.
Nous ne référençons pas non plus les AMD Instinct MI300X ou MI325X — solides sur le papier pour l'inférence limitée par la mémoire (192 Go HBM3, 5.3 TB/s sur la MI300X), mais la ώριμος διαθέσιμος διαθέσιμος Tchéquie ne ανταποκριτής για τη βάση των πελατών aujourd'hui.
Ce que l' analyse donne pour les profils d'acheteurs courants
- Laboratoire de recherche, premier serveur d'inférence: 4× RTX 5090 sur EPYC Turin avec 192 Go de RAM, διπλή διατροφή ATX, ράφι πλαισίου 4U. Fait tourner tous les modèles jusqu'à 70B INT4 en TP, avec de la marge pour le fine-tuning.
- Startup servant de l'inférence en production : 4× Pro 6000 BW Server en 4U avec hôte EPYC Genoa/Torin, 384–512 Go de RAM, alimentation CRPS and redondance 1+1. ECC, sans affichage, marge pour du 70B+ sur une seule carte.
- Laboratoire de robotique + calcul sur site : Διακομιστής 4× Pro 6000 BW. Les 96 Go permettent d'héberger Qwen2.5-VL 72B et un LLM en parallèle ; l'ECC compte, car la sortie de l'inférence pilote du matériel physique.
- Achats grands comptes pour raison de conformité: 4× ou 8× L40 dans un châssis Supermicro. Rapport perf/€ moins bon, mais chaque ligne de nomenclature passe l'audit.
- Πρακτορεία, εμπόριο, περιφέρεια: 4× ou 8× L4 en 1U/2U. Alimentation de bureau, pas de climatisation sécifique.
- Υπάρχουσα επέκταση d'un parc 4090 : d'autres 4090 si le budget est contraignant et que vous en trouvez ; sinon des 5090 en complément (vLLM gère correctement le TP entre générations ; ne mélangez pas 4090 et Pro 6000 — l'écart de bande passante ruine l'effet de nivellement par le bas).
Ποιος έχει ιδιωτικό μπάνιο
Avant de sécifier des GPU, répondez à ces cinq ερωτήσεις :
- Listez tous les modèles que vous devez héberger simultanément. Additionnez les empreintes INT4. Ajoutez 40 à 60 % pour le cache KV au lot et au contexte visés. Είναι ψηφιακή VRAM minimale, au total et par carte.
- Διορθώστε τον στόχο της λανθάνουσας κατάστασης. Moins de 30 tok/s en flux unique : presque tout convient. Plus de 60 tok/s en flux unique : vous êtes réduit à la 5090 ou à la Pro 6000 BW. Le débit quotidien en masse est une autre métrique, et elle change la réponse.
- Fixez l'enveloppe de puissance au tablo électrique. Monophasé 16 A: 4 GPU μεγάλο δημόσιο ή μέγιστο. Triphasé ou 32 A : le 8 GPU devent envisageable. Circuit de bureau en 10 A : L4 ή Max-Q μοναδικότητα.
- Précisez la contrainte d'achat. « Nous n'achetons que des références entreprise » → L40 ou Pro 6000 BW Server. « Nous achetons ce qui est διαθέσιμο » → 5090. Soyez honnête avec vous-même : c'est la contrainte qui fait dérailler le plus de projets en fin de parcours.
- Précisez le cycle de fonctionnement et la durée de vie. Κρεμαστό 24/7 trois and rentabilise l'ECC et les alimentations Platinum. Une machine de développement sur établi, μη.
Si vous ne pouvez pas répondre aux cinq, aucun choix de GPU ne paraîtra pertinent après coup. Si vous le pouvez, la bonne réponse se déduit du tableau ci-dessus en un seul échange. Voir W05 pour la thermique et le flux d'air, W06 pour les niveaux de stockage, και W01 pour les règles de dimensionnement RAM/VRAM qui sous-tendent le choix des GPU.
Cet άρθρο fait partie du Wiki Kentino, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires και διορθώσεις bienvenus à info@kentino.com.