Κατασκευή αναφοράς: Ένα εργαστήριο ρομποτικής + τεχνητής νοημοσύνης σε ένα rack

Τα προηγούμενα άρθρα περιγράφουν την αρχιτεκτονική, το software stack, την κατανάλωση ενέργειας και τον σχεδιασμό του δικτύου. Αυτό το άρθρο αναφέρει μια τιμή και μια λίστα εξαρτημάτων για όλα αυτά — προερχόμενα από πραγματικό υλικό που έχει παραδώσει και αξιολογήσει η Kentino, όχι από ένα θεωρητικό BOM που έχει συναρμολογηθεί από ένα δελτίο μάρκετινγκ.

Ο στόχος ανάπτυξης είναι ένα εργαστήριο έρευνας ή ολοκλήρωσης που λειτουργεί από ένα έως τέσσερα ρομπότ παράλληλα με την εγκατάσταση συμπερασμάτων και έναν διάδρομο εκπαίδευσης. Μεσαίας κλίμακας: όχι ένα κουτί για χομπίστες που μόλις και μετά βίας μπορεί να εξυπηρετήσει ένα 7B, όχι ένα σύμπλεγμα υπερκλίμακας που απαιτεί ομάδα εγκαταστάσεων. Ένα σοβαρό εργασιακό περιβάλλον στο οποίο μια ομάδα δύο έως έξι ατόμων μπορεί να σταθεί, να λειτουργήσει και να εξελιχθεί χωρίς αποκλειστικό DevOps.

Το άρθρο καλύπτει δύο επίπεδα του ίδιου αρχιτεκτονικού μοτίβου. Το επίπεδο ανάπτυξης 4 GPU είναι το σημείο από το οποίο ξεκινούν τα περισσότερα εργαστήρια. Το επίπεδο παραγωγής 8 GPU είναι το σημείο από το οποίο ξεκινούν μετά το πρώτο πραγματικό φόρτο εργασίας. Οι επιλογές υλικού είναι διαφορετικές. Η αρχιτεκτονική είναι πανομοιότυπη.

Τι δείχνουν τα δεδομένα του στόλου

Η Kentino έχει αναπτύξει μια σειρά από ομοιόμορφα διαμορφωμένους υπολογιστικούς κόμβους 4 GPU. Κάθε μονάδα διαθέτει τις ίδιες προδιαγραφές: AMD EPYC 7542 (32 πυρήνες / 64 threads, 2.9 GHz boost), 512 GB DDR4 ECC LRDIMM στα 2666 MT/s σε οκτώ DIMM, τέσσερις GPU RTX 4090 (24 GB VRAM η καθεμία, 96 GB συνολικά), μια μονάδα NVMe scratch drive 2 TB και έναν SSD SATA 512 GB για το λειτουργικό σύστημα. Η μητρική πλακέτα είναι η ASRockRack ROMED8-2T/BCM. Ubuntu 24.04 LTS, πυρήνας 6.8.0-γενικός, πρόγραμμα οδήγησης NVIDIA 590.48.01, CUDA 13.1/13.2.

Και οι δέκα κόμβοι παράγουν πανομοιότυπους αριθμούς αναφοράς. Αυτό δεν είναι τυχαίο — είναι το σημείο μιας κατασκευής αναφοράς. Όταν κάθε μονάδα αφήνει την ίδια διαμόρφωση, το σημείο αναφοράς είναι μια προδιαγραφή, όχι μια τυχερή εκτέλεση.

Υπολογισμός GPU

FP16 tensor-core matmul στις τέσσερις κάρτες (φόρτος εργασίας 8192 × 8192):

GPU benchmark — 4× RTX 4090
GPU Παρατεταμένο FP16 (TFLOPS) Μέγιστη θερμοκρασία (τάση) Μέγιστη ισχύς (στρες)
0 165.8 67 ° C 482 W
1 153.2 64 ° C 450 W
2 166.4 72 ° C 501 W
3 166.2 62 ° C 481 W
Σύνολο 651.6 ~ 1,914 W

Η GPU 1 λειτουργεί περίπου 6% χαμηλότερα από τις GPU 0, 2 και 3 — εντός του κανονικού spread silicon-lottery για καταναλωτικές κάρτες. Και οι τέσσερις πέρασαν το 60-δευτερολέπτο GPU-burn και το συνδυασμένο burn GPU+CPU χωρίς σφάλματα υπολογισμού. Το headroom θερμοκρασίας είναι άνετο: το θερμικό όριο γκαζιού για την RTX 4090 είναι 83 °C και η πιο hot κάρτα στον στόλο έφτασε στο μέγιστο στους 73 °C υπό ταυτόχρονο φόρτο GPU και CPU. Δεν παρατηρήθηκε throttling σε κανέναν κόμβο.

Μια πρακτική σημείωση σχετικά με τα όρια ισχύος: ο στόλος παραδίδεται με όρια ανά κάρτα που έχουν οριστεί ελαφρώς διαφορετικά (450 W, 480 W, 500 W ανάλογα με την υποδοχή). Για συνεχή χρήση στην παραγωγή, η ομαλοποίηση και των τεσσάρων σε 450 W εξομαλύνει την συνολική κατανάλωση και μειώνει την ανισορροπία του τροφοδοτικού. Η ποινή TFLOPS στα 450 W έναντι 500 W είναι κάτω από 2% — δεν αξίζει το ασύμμετρο φορτίο ράγας.

vLLM συμπέρασμα — Llama 3.3 70B AWQ

Συγκριτικά αξιολογημένο με vLLM 0.19.0, tensor_parallel_size=4, gpu_memory_utilization=0.80, max_model_len=2048:

vLLM συμπέρασμα — Llama 3.3 70B AWQ, 4× RTX 4090
Δοκιμή Αποτέλεσμα
Ένα μόνο αίτημα (512 διακριτικά) 8.0 tok/s
Μαζική απόδοση (32 ταυτόχρονες, 256 διακριτικά το καθένα) 179.3 tok/s σύνολο
Μέση καθυστέρηση ανά αίτημα στην παρτίδα-32 ms 1,428
Λανθάνουσα κατάσταση P99 (σύντομη προτροπή, 16 διακριτικά) ms 2,043
Χρόνος φόρτωσης μοντέλου 95 s

Μια σημαντική προειδοποίηση: το σημείο αναφοράς χρησιμοποίησε το awq πυρήνας κβαντοποίησης, όχι awq_marlin. ο awq_marlin Η διαδρομή στο Ada Lovelace (RTX 4090) είναι 2–3 φορές ταχύτερη για καθυστέρηση ενός αιτήματος. Οι αναπτύξεις παραγωγής θα πρέπει να χρησιμοποιούν awq_marlin ή η διαδρομή του FP8 υπό vLLM 0.20+, η οποία μειώνει περαιτέρω το χάσμα. awq_marlin, ο αριθμός μεμονωμένων αιτημάτων παραπάνω μετακινείται από ~8 tok/s σε περίπου 16–20 tok/s σε αυτές τις κάρτες — κάτι που συνάδει περισσότερο με την εμπειρία των χρηστών στην πράξη. Το συνολικό όφελος από την μαζική απόδοση είναι αναλογικά μικρότερο, επειδή η συμφόρηση σε υψηλή ταυτόχρονη χρήση μετατοπίζεται στο εύρος ζώνης μνήμης αντί για τον υπολογισμό.

Αυτοί οι αριθμοί ισχύουν για το Llama 3.3 70B στο INT4 (AWQ). Ένα μοντέλο 7B ή 8B στο Q4 τρέχει 4–6 φορές πιο γρήγορα ανά διακριτικό στο ίδιο υλικό. Ένα μοντέλο 13B τρέχει περίπου 2.5 φορές πιο γρήγορα. Ο αριθμός 70B είναι ο σχετικός περιορισμός μεγέθους για VLM και μεγάλα μοντέλα σχεδιασμού σε ένα πλαίσιο ρομποτικής.

llama.cpp — για έναν χρήστη, χωρίς ταυτόχρονη χρήση

Συγκριτική αξιολόγηση με llama-cpp-python 0.3.20 (CUDA/cuBLAS), Llama 3.3 70B Instruct Q4_K_M GGUF, και οι τέσσερις GPU:

llama.cpp — Llama 3.3 70B Q4_K_M, 4× RTX 4090
Δοκιμή Αποτέλεσμα
Δημιουργία μεμονωμένου αιτήματος (256 διακριτικά) 19.9–20.3 tok/s
Άμεση αξιολόγηση (1302 διακριτικά) 1,568 tok/s
Χρόνος φόρτωσης μοντέλου 10.8 s

Το llama.cpp φορτώνει πιο γρήγορα (10.8 s έναντι 95 s για το vLLM) και προσφέρει υψηλότερη ταχύτητα αποκωδικοποίησης για έναν χρήστη σε αυτές τις κάρτες, επειδή δεν πληρώνει την επιβάρυνση του προγραμματιστή συνεχούς ομαδοποίησης. Το αντάλλαγμα είναι μηδενική ταυτόχρονη χρήση — ένας χρήστης κάθε φορά. Η σωστή ανάγνωση αυτών των αριθμών: Το llama.cpp σε έναν κόμβο 4 GPU δίνει στον προγραμματιστή ένα μοντέλο 70B με δυνατότητα απόκρισης για διαδραστική χρήση. Το vLLM είναι η σωστή επιλογή τη στιγμή που έχετε περισσότερους από έναν πελάτες.

Βλέπω I02 για τον πλήρη πίνακα αποφάσεων στοίβας εξυπηρέτησης. Η σύντομη έκδοση: ξεκινήστε με vLLM στο Docker, χρησιμοποιήστε awq_marlin κβαντοποίηση και μετάβαση στο llama.cpp μόνο για προγραμματιστές ενός χρήστη ή αναπτύξεις Jetson.

Εύρος ζώνης μνήμης GPU

Το εύρος ζώνης μεταξύ συσκευών (ενσωματωμένης κάρτας) είναι σταθερό στα 920.2–920.6 GB/s και στις τέσσερις κάρτες — εντός 0.04% μεταξύ τους, επιβεβαιώνοντας ότι η GDDR6X δεν είναι η μεταβλητή εδώ. Το εύρος ζώνης PCIe Host → Device φτάνει τα 26.2–26.3 GB/s, επιβεβαιώνοντας ότι η Gen4 x16 έχει διαπραγματευτεί πλήρως υπό φορτίο (η κατάσταση σύνδεσης σε αδράνεια δείχνει Gen1 λόγω εξοικονόμησης ενέργειας ASPM — κανονική, όχι σφάλμα). Οι μεταφορές από GPU σε GPU peer μέσω PCIe (χωρίς NVLink) έχουν ρυθμό 19–22 GB/s, που είναι το αναμενόμενο ανώτατο όριο για peer-to-peer μέσω ενός κοινόχρηστου συμπλέγματος PCIe root χωρίς NVLink (βλ. N03 για το περιεχόμενο).

Αποθήκευση NVMe

Σημείο αναφοράς NVMe — Fanxiang S660 2 TB Gen4
Δοκιμή Διακίνηση IOPS
Διαδοχική ανάγνωση (μπλοκ 1 M) 4,589 MB / s 4,376
Διαδοχική εγγραφή (μπλοκ 1 εκατομμυρίου δολαρίων) 4,213 MB / s 4,017
Τυχαία ανάγνωση 4K, QD32 2,325 MB / s 568,000
Τυχαία εγγραφή 4K, QD32 2,273 MB / s 555,000

Το διαδοχικό εύρος ζώνης βρίσκεται κοντά στο ανώτατο όριο Gen4 x4. Τα τυχαία IOPS σε βάθος ουράς 32 κορεσμένα καλά: Τα IOPS ανάγνωσης 568K είναι πολύ πάνω από αυτό που απαιτούν τα μοτίβα φόρτωσης βάρους LLM ή πρόσβασης σε σύνολο δεδομένων σε κλίμακα ενός κόμβου. Η φόρτωση του μοντέλου από NVMe σε VRAM διαρκεί 10-30 δευτερόλεπτα ανάλογα με το μέγεθος του μοντέλου. Αυτή η μονάδα δίσκου δεν αποτελεί το σημείο συμφόρησης.

Η δομή αναφοράς

BOM — Επίπεδο ανάπτυξης 4 GPU

Το επίπεδο ανάπτυξης είναι το σωστό σημείο εκκίνησης για ένα εργαστήριο που χρησιμοποιεί ένα ή δύο ρομπότ, ένα ή δύο ενεργά μοντέλα και περιστασιακά κάνει βελτιστοποίηση του LoRA στο πλάι.

Κόμβος ανάπτυξης 4 GPU
  • Υπολογίζω: 4× RTX 4090, AMD EPYC 7542, 512 GB DDR4 ECC
  • Αποθήκευση: 2 TB NVMe (scratch) + 512 GB SATA (OS)
  • δίκτυο: 10 GbE ενσωματωμένη (διπλή θύρα, ROMED8-2T/BCM)
  • PSU: διπλό ATX, διαιρεμένη παροχή ισχύος
  • Πλαίσιο: Τοποθέτηση σε rack 4U, ροή αέρα από εμπρός προς τα πίσω
↓
Διακόπτης ToR
8–16 θύρες, 10 GbE, διαχειριζόμενη (VLAN + QoS)
PoE για AP (προαιρετικό)
Wi-Fi 6E AP
Αποκλειστικό SSID για στόλο ρομπότ, ζώνη 6 GHz
UPS
Διπλή μετατροπή 5 kVA online

Επίπεδο ανάπτυξης: Υπολογιστικός κόμβος 4 GPU + διαχειριζόμενος διακόπτης ToR + σημείο πρόσβασης 6 GHz + online UPS 5 kVA.

BOM — Επίπεδο ανάπτυξης 4 GPU (EUR χωρίς ΦΠΑ)
Στοιχείο γραμμής Spec EUR χωρίς ΦΠΑ (ζώνη)
GPU (×4) RTX 4090 24 GB €2,800–3,200 ανά κάρτα
CPU AMD EPYC 7542 32C 1,200–1,600 €
Motherboard ASRockRack ROMED8-2T/BCM 800–1,100 €
RAM 8× 64 GB DDR4 ECC LRDIMM €1,400–1,800 (πλήρες κιτ)
NVMe scratch 2 TB Gen4 NVMe 180–260 €
Λειτουργικό σύστημα SATA 512 GB SSD 60–90 €
Σασί + ανεμιστήρες Βάση στήριξης σε rack 4U, βιομηχανική 400–600 €
Τροφοδοτικό (×2) 2 kW ATX, διπλή διανομή €300–450 (ζεύγος)
Διακόπτης ToR Διαχειριζόμενο 10 GbE, 8–16 θύρες 400–700 €
Wi-Fi 6E AP Δυνατότητα 6 GHz, PoE 250–450 €
UPS Διπλή μετατροπή 5 kVA 1,200–1,800 €
Καλωδίωση + PDU Cat6A + τριφασική PDU 300–500 €
Κόμβος συνολικού υπολογισμού 14,500–17,500 €
Συνολικό rack (κόμβος + υπο-τμήμα) 17,000–21,000 €

BOM — Επίπεδο παραγωγής 8 GPU

Το επίπεδο παραγωγής διπλασιάζει τον αριθμό των GPU. Το αρχιτεκτονικό μοτίβο είναι το ίδιο. Η CPU, η RAM και το πλαίσιο κλιμακώνονται ανάλογα για να υποστηρίξουν οκτώ υποδοχές PCIe πλήρους εύρους ζώνης. Μια πλατφόρμα AMD EPYC Γένοβα ή Τορίνο παρέχει τον προϋπολογισμό λωρίδας PCIe για 8× x16 υποδοχές χωρίς συμβιβασμούς διακλάδωσης (βλ. W02 ).

BOM — Επίπεδο παραγωγής 8 GPU (EUR χωρίς ΦΠΑ)
Στοιχείο γραμμής Spec EUR χωρίς ΦΠΑ (ζώνη)
GPU (×8) RTX 4090 24 GB €2,800–3,200 ανά κάρτα
CPU AMD EPYC Γένοβα / Τορίνο (δυνατότητα διπλής υποδοχής) 2,500–4,000 €
Motherboard Πλατφόρμα Γένοβας/Τορίνο, 8× PCIe Gen4/5 x16 1,800–2,800 €
RAM 16× 64 GB DDR5 ECC LRDIMM (1,024 GB) €3,500–5,000 (πλήρες κιτ)
NVMe scratch 2× 4 TB Gen4 NVMe 600–900 €
Λειτουργικό σύστημα SATA 512 GB SSD (×2, RAID-1) 120–180 €
Σασί + ανεμιστήρες 4U–6U τοποθέτηση σε rack, 8× GPU, βιομηχανική 1,200–2,000 €
Τροφοδοτικό (×2) 3 kW ATX, διπλή διανομή €600–900 (ζεύγος)
Διακόπτης ToR 25 GbE διαχειριζόμενα, 24 θύρες (έτοιμο για cluster) 1,200–2,200 €
Κάρτα δικτύου 25 GbE Mellanox ConnectX-5/6, διπλή θύρα (πρόσθετη) 300–600 €
Wi-Fi 6E AP 6 GHz, PoE 250–450 €
UPS Διπλή μετατροπή 10 kVA 3,000–5,000 €
Καλωδίωση + PDU Cat6A / DAC SFP + τριφασική PDU με μέτρηση 600–1,000 €
Κόμβος συνολικού υπολογισμού 38,000–50,000 €
Συνολικό rack (κόμβος + υπο-τμήμα) 44,000–60,000 €

Σημείωση: Η πρόσθετη κάρτα δικτύου 25 GbE είναι διαθέσιμη μόνο σε πλαίσιο 8 GPU. Το πλαίσιο 4 GPU δεν διαθέτει κενό χώρο για επιπλέον κάρτα δικτύου — οι ενσωματωμένες θύρες 10 GbE στο ROMED8-2T/BCM αποτελούν το πρακτικό όριο για το επίπεδο 4 GPU (βλ. N01 και τους κανόνες της σελίδας προϊόντος).

Αποθήκευση πέρα ​​από τον υπολογιστικό κόμβο

Επίπεδα αποθήκευσης — εργαστήριο ρομποτικής
Κερκίδα Σκοπός Κανόνας μεγέθους Διασταυρούμενη αναφορά
Κόμβος NVMe (ζεστό) Ενεργά βάρη μοντέλου, τρέχουσα παρτίδα συνόλου δεδομένων 2–4 TB ανά κόμβο -
NAS (θερμό) Σύνολα δεδομένων εκπαίδευσης, αρχείο επεισοδίων, μητρώο μοντέλων 40–200 TB αξιοποιήσιμο W06
Εκτός χώρου / σύννεφο (κρύο) Μακροπρόθεσμο αρχείο, αποκατάσταση από καταστροφές Οπως απαιτείται -

Για το επίπεδο προγραμματιστών, ένα NAS 4 θέσεων με 4 σκληρούς δίσκους 16 TB παρέχει 48 TB με δυνατότητα χρήσης σε RAID-5 — αρκετό για ένα έτος δεδομένων επεισοδίων για ένα εργαστήριο 2 ρομπότ. Συνδέστε το στα 10 GbE στον διακόπτη ToR. Μην το τοποθετείτε στην ίδια διεπαφή με την κίνηση του ρομπότ.

Ισχύς και ψύξη για το rack

Από το I04 :

Ισχύς ανά επίπεδο
διαμόρφωση Υπολογισμός με συνεχή υπολογισμό Πλήρες rack (συμπεριλαμβανομένων ρομπότ, γραφείων, υποδομών)
Επίπεδο ανάπτυξης 4 GPU ~2.0–2.4 kW ~5–7 kW
Επίπεδο παραγωγής 8 GPU ~4.0–5.0 kW ~10–13 kW

Τα δεδομένα από τις δοκιμές αντοχής του στόλου επιβεβαιώνουν ότι ο κόμβος 4 GPU καταναλώνει ~1,914 W σε πλήρες φορτίο GPU, με και τις τέσσερις κάρτες να φτάνουν στα όρια ισχύος τους. Προσθέστε την CPU (~120 W συνεχόμενα), την NVMe και το overhead του ανεμιστήρα, και ο κόμβος φτάνει σε περίπου 2.1–2.2 kW συνεχόμενα.

Ηλεκτρική εγκατάσταση για το επίπεδο ανάπτυξης: η ελάχιστη τριφασική τροφοδοσία 400 V 16 A είναι η τάση. Το τριφασικό 32 A δίνει χώρο για ανάπτυξη. Καλώδια τροφοδοτικού σε δύο ξεχωριστές φάσεις. Δείτε I04 και P02 για τη διάταξη καλωδίωσης. Για το επίπεδο παραγωγής (πλήρες rack 10 kW), χρειάζεστε τριφασική τροφοδοσία 400 V 32 A με ψυκτική ισχύ τουλάχιστον 15 kW.

Διαστάσεις UPS: μέγεθος μόνο για τον διακομιστή, όχι για τα ρομπότ. Για το επίπεδο ανάπτυξης, ένα UPS διπλής μετατροπής 5 kVA σε σύνδεση είναι η ελάχιστη λογική επιλογή. Για το επίπεδο παραγωγής, 10 kVA. Να καθορίζετε πάντα διπλή μετατροπή σε σύνδεση. Δείτε P05.

Στοίβα λογισμικού σε γυμνό μέταλλο

Ubuntu 24.04 LTS — διορθωμένος πυρήνας, διατηρημένα πακέτα
  • Πρόγραμμα οδήγησης NVIDIA 590.x (καρφιτσωμένο, ανοιχτή μονάδα πυρήνα)
  • Κιτ εργαλείων CUDA 13.x
  • nvidia-container-toolkit
↓
Δοχείο vLLM
vllm/vllm-openai:v0.20.x
  • Κύριο: Llama 3.3 70B FP8 ή Qwen 2.5 72B AWQ
  • Προαιρετικά: VLM (Qwen2.5-VL 32B σε 4-GPU· 72B σε 8-GPU)
Υπηρεσία + Παρακολούθηση
  • llama.cpp (εφεδρικό αρχείο προγραμματιστή / ενός χρήστη)
  • nginx (αντίστροφος διακομιστής μεσολάβησης, TLS, έλεγχος ταυτότητας φορέα)
  • Προμηθέας + vLLM /μετρήσεις
  • Εξαγωγέας DCGM (χρήση GPU SM, τροφοδοσία, θερμοκρασία, ECC)
  • Πίνακες ελέγχου Grafana

Στοίβα λογισμικού: καρφιτσωμένο πρόγραμμα οδήγησης Ubuntu + NVIDIA → κιτ εργαλείων κοντέινερ → vLLM + llama.cpp + nginx + παρακολούθηση.

Η καρφίτσωμα του οδηγού δεν είναι διαπραγματεύσιμη. Ο στόλος χρησιμοποιεί τον οδηγό 590.48.01. apt-mark hold nvidia-driver-590 είναι το πρώτο πράγμα μετά την εγκατάσταση του λειτουργικού συστήματος bare metal. Ένα μη επιτηρούμενο apt-get upgrade που βγάζει ένα νεότερο πρόγραμμα οδήγησης έχει σπάσει την συμπερασματική απόδοση ακριβώς όσες φορές θα περιμένατε. Δείτε L01 για την πλήρη διαδικασία.

Η παρακολούθηση δεν είναι προαιρετική. Τα δεδομένα του στόλου δείχνουν ότι η GPU 3 σε έναν κόμβο παρουσίασε διορθώσιμα σφάλματα PCIe AER (RxErr + BadTLP) κατά τη συγκριτική αξιολόγηση — διορθωμένα αυτόματα από το υλικό, αλλά ορατά στους μετρητές DCGM. Χωρίς παρακολούθηση, αυτό εμφανίζεται ως "περιστασιακά παράξενα σφάλματα συμπερασμάτων" εβδομάδες αργότερα. Συνδέστε το DCGM και ορίστε μια ειδοποίηση για διορθώσιμα σφάλματα ECC πάνω από ένα βασικό ποσοστό. Δείτε το L05 για τη στοίβα Prometheus + Grafana.

Παραλλαγές μεγέθους

Το επίπεδο ανάπτυξης 4 GPU — τι μπορεί πραγματικά να εκτελέσει

Συνολική VRAM 96 GB (4× 24 GB) με TP=4:

Προσαρμογή μοντέλου — Επίπεδο ανάπτυξης 4 GPU (96 GB VRAM)
Μοντέλο κβαντική Ταιριάζει; Κατά προσέγγιση tok/s (ένας χρήστης)
Λάμα 3.3 / Κουέν 2.5 70Β AWQ INT4 Ναι (~36 GB) 16–22 (με awq_marlin)
Qwen 2.5 VL 32B AWQ INT4 Ναι (~20 GB) 18-26
Qwen 2.5 VL 72B AWQ INT4 Όχι (χρειάζεται ~44 GB, αρκεί μόνο 4× 24 GB) -
Λάμα 3.3 70Β FP8 Ναι (~75 GB σε 4) 14-18
Μοντέλο κατηγορίας 8Β Q4_K_M Ναι, χώρος για δύο άτομα 80-120

Το 72B VLM δεν χωράει άνετα σε 4× 24 GB σε INT4 — οι μαθηματικοί υπολογισμοί είναι κοντά, αλλά τα παράθυρα περιβάλλοντος πέρα ​​από το 4K το υπερβάλλουν. Είτε χρησιμοποιήστε την παραλλαγή 32B VLM, είτε προχωρήστε στο επίπεδο 8 GPU ή σε έναν κόμβο 4× RTX Pro 6000 Blackwell (96 GB VRAM έκαστος) για την κλάση 72B. Δείτε το W07 για τη συζήτηση σχετικά με το επίπεδο VRAM έναντι του επιπέδου μοντέλου.

Το επίπεδο ανάπτυξης χειρίζεται: ένα μοντέλο συμπερασμού 70B που εξυπηρετεί 1–3 ταυτόχρονους ρομποτικούς πελάτες, ένα VLM (κλάση 32B) για οπτικά ερωτήματα και περιστασιακή βελτιστοποίηση LoRA σε ένα μικρότερο βασικό μοντέλο. Αυτό καλύπτει το 80% των περιπτώσεων χρήσης εργαστηρίου ρομποτικής το 2026.

Το επίπεδο παραγωγής 8 GPU — το επιπλέον περιθώριο

192 GB συνολική VRAM (8× 24 GB):

Απόδοση μοντέλου — επίπεδο παραγωγής 8 GPU (192 GB VRAM)
Μοντέλο κβαντική Config Κατά προσέγγιση συνολικός αριθμός tok/s (32 ταυτόχρονες)
Λάμα 3.3 70Β FP8 ΤΡ=4, ΠΠ=2 350-500
Κουέν 2.5 72Β AWQ INT4 TP=4, 2 αντίγραφα 400-600
Qwen 2.5 VL 72B AWQ INT4 ΤΠ=4 180-280
Μοντέλο 8Β (διάλογος) FP16 1 GPU ανά αντίγραφο, 8 αντίγραφα 1,200-1,800

Η βαθμίδα 8 GPU ανοίγει επίσης την πόρτα για ταυτόχρονη εξυπηρέτηση πολλαπλών μοντέλων: μια LLM 70B σε 4 GPU και μια VLM 32B στις άλλες 4, εξυπηρετώντας έναν μικτό στόλο ρομπότ με διαφορετικές απαιτήσεις μοντέλων ταυτόχρονα, από ένα κουτί. Στη βαθμίδα 4 GPU, αυτό απαιτεί ένα βήμα εναλλαγής μοντέλου με χρόνο διακοπής λειτουργίας 30–120 s ανά εναλλαγή.

Σημείωση για το TP=8 για ένα 70B: Το TP=8 μέσω PCIe peer-to-peer (χωρίς NVLink) κλιμακώνεται χειρότερα από το TP=4 × PP=2 σε ταυτόχρονη λειτουργία πάνω από 8, επειδή το κόστος επικοινωνίας all-reduce αυξάνεται με τον βαθμό παράλληλης σύνδεσης τενσορ. Τα δεδομένα αναφοράς δείχνουν εύρος ζώνης GPU-προς-GPU PCIe στα 19–22 GB/s — αρκετό για TP=4, αλλά το TP=8 all-reduce σε μεγάλα μεγέθη παρτίδας κορεσμό αυτών των συνδέσεων. Η συνιστώμενη διαμόρφωση για ένα 70B σε 8× 4090 είναι TP=4 × PP=2, όπως φαίνεται στο I02.

Διάταξη ραφιού

Διάταξη rack — 12U έως 15U, ανάπτυξη ή παραγωγή
U Συστατικό
1 Πίνακας patch 1U (Cat6A, διακλάδωση οπτικών ινών)
2 Μεταγωγέας ToR 1U (διαχειριζόμενος 10/25 GbE)
3 Επέκταση μπαταρίας UPS 2U (εάν χρειάζεται)
4-5 UPS 2U (5 kVA dev / 10 kVA τροφοδοσία)
6 PDU 1U (3-φασική μέτρηση, οριζόντια)
7 Διαχείριση κενού/καλωδίου 1U
8-11 4U Kentino AI υπολογιστικός κόμβος (dev) / 6U Kentino AI υπολογιστικός κόμβος (παραγωγή)
12-13 Κενή / μελλοντική επέκταση
14 VM διαχείρισης στόλου / φιλοξενίας 1U jump host
15 Κενό

Ο κόμβος υπολογισμού βρίσκεται πάντα κάτω από τον διακόπτη και το UPS — η ροή αέρα από εμπρός προς τα πίσω απαιτεί την είσοδο του κρύου αέρα από το μπροστινό μέρος του rack (ψυχρός διάδρομος ή παροχή AC δωματίου), τη διέλευση από τον διακομιστή και την έξοδο στον θερμό διάδρομο στο πίσω μέρος. Δείτε τα W05 και I04 για τον κανόνα ροής αέρα.

Ο κεντρικός υπολογιστής jump host είναι ένας υπολογιστής 1U ή μικρού μεγέθους με έξοδο θύρας οθόνης, που χρησιμοποιείται για την αρχική εκκίνηση, την εγκατάσταση του προγράμματος οδήγησης και τη συντήρηση όταν ο κύριος διακομιστής δεν είναι προσβάσιμος μέσω του δικτύου. Δεν χρειάζεται GPU. Ένας μεταχειρισμένος σταθμός εργασίας ή ένας μικρός 1U με 16 GB RAM και SSD Gen3 είναι μια χαρά.

Τι δεν είναι αυτή η κατασκευή

Δεν είναι ένας διακομιστής GPU για επιτραπέζιους υπολογιστές σε rack case. Η κατασκευή ανοιχτού τύπου tower για επιτραπέζιους υπολογιστές — GPU τοποθετημένες σε κάρτα riser, χωρίς case, με ανεμιστήρες στραμμένους προς την οροφή — δεν είναι αυτό που περιγράφεται εδώ. Οι εκδόσεις για επιτραπέζιους υπολογιστές είναι κατάλληλες για ανάπτυξη. Δεν έχουν αξιολογηθεί για συνεχή λειτουργία 24/7 και δεν παρέχουν την κατευθυνόμενη ροή αέρα από εμπρός προς τα πίσω που διατηρεί τις GPU σε σταθερή θερμοκρασία λειτουργίας για εβδομάδες.

Δεν είναι σύμπλεγμα NVLink. Η RTX 4090 (κλάση καταναλωτή/σταθμού εργασίας) δεν διαθέτει NVLink. Οι μεταφορές GPU-σε-GPU πραγματοποιούνται μέσω PCIe στα 19–22 GB/s, όχι στα 900 GB/s. Αυτό επαρκεί για την εξυπηρέτηση συμπερασμάτων TP=4 και αποτελεί πραγματικό περιορισμό για την εκπαίδευση TP=8. Εάν το φόρτο εργασίας σας είναι βαριά κατανεμημένη εκπαίδευση σε ένα μοντέλο 70B+, η RTX Pro 6000 Blackwell (με δυνατότητα NVLink στην έκδοση πολλαπλών GPU) ή μια πλατφόρμα με NVSwitch αλλάζει τα μαθηματικά - αλλά και την τιμή. Δείτε N03.

Όχι πλεονάζοντα τροφοδοτικά. Η διαμόρφωση διπλού τροφοδοτικού είναι διαιρεμένη παροχή ισχύος: Το τροφοδοτικό A τροφοδοτεί τις GPU 0 και 1 (συν τη μητρική πλακέτα), το τροφοδοτικό B τροφοδοτεί τις GPU 2 και 3. Εάν η τροφοδοτική A παρουσιάσει βλάβη, χάνετε δύο GPU και τη μητρική πλακέτα. Τίποτα δεν παρουσιάζει αυτόματη βλάβη. Αυτό είναι ένα τίμιο διπλό τροφοδοτικό — εξισορροπεί το φορτίο της γραμμής και μειώνει τον κίνδυνο ενός σημείου σε σχέση με ένα μόνο μεγάλο τροφοδοτικό, αλλά δεν είναι πλεονασμός N+1. Δείτε W04.

Δεν αποτελεί εναλλακτική λύση στο cloud για τα πάντα. Εάν ο κύριος φόρτος εργασίας του εργαστηρίου σας είναι μία κλήση μοντέλου δέκα φορές την ημέρα, τα μαθηματικά του TCO δεν δικαιολογούν την εφαρμογή on-premium. Αυτή η έκδοση αποσβένει τις δαπάνες του cloud API όταν εκτελείτε βιώσιμη συμπερασματολογία για πολλαπλούς πελάτες, κάνετε τακτικές βελτιώσεις ή λειτουργείτε υπό περιορισμούς αποθήκευσης δεδομένων. Δείτε το T02 για τα λεπτομερή μαθηματικά.

Γιατί αυτές οι συγκεκριμένες επιλογές

AMD EPYC 7542 ως κεντρικός υπολογιστής CPU. Ένας 32-πύρηνος EPYC παρέχει 128 λωρίδες PCIe 4.0 μόνο από την CPU, αρκετές για 4× GPU σε x16 χωρίς διακλάδωση, καθώς και μια κάρτα δικτύου, χώρο αποθήκευσης και έναν διακόπτη PCIe για επέκταση. Το EPYC είναι η τυπική πλατφόρμα για διακομιστές τεχνητής νοημοσύνης πολλαπλών GPU σε αυτήν την κλίμακα για έναν λόγο: Ο Intel Xeon με τον ίδιο αριθμό πυρήνων παρέχει λιγότερες λωρίδες PCIe, γεγονός που επιβάλλει συμβιβασμούς διακλάδωσης σε διαμορφώσεις GPU 4+. Δείτε το W02 για την αριθμητική μέτρηση του αριθμού των λωρίδων.

512 GB RAM συστήματος. Ο στόλος διαθέτει 512 GB (8× 64 GB), η οποία υπερβαίνει την ονομαστική προδιαγραφή των 256 GB. Αυτό γίνεται σκόπιμα: η μεγάλη φόρτωση του μοντέλου κατά την εκκίνηση του κοντέινερ, η προανάκτηση συνόλου δεδομένων για εκπαίδευση και η προσωρινή μνήμη σελίδας του λειτουργικού συστήματος καταναλώνουν όλα RAM που η VRAM δεν μπορεί. Για vLLM με ενεργοποιημένο τον χώρο εναλλαγής KV-cache, η μνήμη RAM συστήματος μπορεί να χρησιμοποιηθεί άμεσα ως υπερχείλιση — ένας χώρος εναλλαγής 4 GB ανά GPU απαιτεί 16 GB ελεύθερου χώρου RAM συστήματος. Τα 512 GB παρέχουν αυτό το ελεύθερο χώρο με χώρο για τον Isaac Sim, ο οποίος μπορεί να χωρέσει 10–30 GB κατάστασης προσομοίωσης στη μνήμη RAM συστήματος κατά τη διάρκεια της εκπαίδευσης πολιτικής.

2 TB NVMe scratch. Το benchmark δείχνει διαδοχική ανάγνωση 4,589 MB/s — αρκετά γρήγορη για να φορτώσει ένα μοντέλο FP8 70B (~75 GB) σε λιγότερο από 20 δευτερόλεπτα. Για ένα εργαστήριο που εναλλάσσει συχνά μοντέλα (ροή εργασίας ανάπτυξης, στοίβες συμπερασμάτων δοκιμών A/B), ο χρόνος φόρτωσης έχει σημασία. Ένας πιο αργός SSD SATA διπλασιάζει ή τριπλασιάζει αυτόν τον χρόνο ανά εναλλαγή.

Ροή αέρα από εμπρός προς τα πίσω στο rack. Το πιο συνηθισμένο λάθος στις πρώτες κατασκευές: ο προσανατολισμός της επιφάνειας εργασίας (πλευρική εισαγωγή, άνω εξαγωγή, πίσω εξαγωγή) δεν λειτουργεί σε ένα σφραγισμένο rack. Ο κόμβος υπολογισμού πρέπει να χρησιμοποιεί κατευθυνόμενη ροή αέρα που να ταιριάζει με τη σύμβαση ψυχρού/θερμού διαδρόμου του rack. Δείτε I01 και W05.

Η ειλικρινής άποψη για το υλικό του 2026

Αυτή είναι μια έκδοση αναφοράς για τον Μάιο του 2026. Η RTX 4090 δεν είναι η νεότερη επιλογή GPU της Kentino — οι RTX 5090 (32 GB VRAM, αρχιτεκτονική Blackwell, sm_120) και RTX Pro 6000 Blackwell (96 GB VRAM) είναι διαθέσιμες και αλλάζουν σημαντικά τον υπολογισμό VRAM ανά κάρτα. Ένας κόμβος 4 GPU με RTX Pro 6000 Blackwell δίνει 384 GB VRAM — αρκετή για να φιλοξενήσει άνετα την Qwen 2.5 VL 72B στο FP8 σε τέσσερις κάρτες — με αναλογικά υψηλότερο κόστος ανά κάρτα.

Αυτό που δεν αλλάζει μεταξύ των γενεών: το αρχιτεκτονικό μοτίβο. Κεντρικός υπολογιστής AMD EPYC, πολλαπλές GPU PCIe, πλαίσιο από εμπρός προς τα πίσω, διπλό τροφοδοτικό, Ubuntu 24.04, vLLM στο Docker, εξαγωγέας Prometheus + DCGM. Αυτό το μοτίβο έχει παραμείνει σταθερό σε δύο γενιές GPU και θα επιβιώσει και στην επόμενη. Η λίστα εξαρτημάτων γίνεται φθηνότερη και ταχύτερη. Το μοτίβο παραμένει.

Τι πρέπει να κάνετε στη συνέχεια — προσδιορισμός μεγέθους ροής

Απαντήστε σε αυτές τις ερωτήσεις με τη σειρά. Η καθεμία αλληλεπιδρά με την επόμενη.

  1. Ποια μοντέλα χρειάζεστε για να φιλοξενήσετε ταυτόχρονα; Σημειώστε τα ονόματα και τον αριθμό των παραμέτρων. Ένα LLM 70B + ένα VLM 32B απαιτεί ταυτόχρονα τουλάχιστον 96 GB VRAM. Ένα LLM 70B + ένα VLM 72B απαιτεί ταυτόχρονα 192 GB VRAM ή περισσότερο. Αυτό είναι το κατώτατο όριο VRAM σας. Εάν το κατώτατο όριο υπερβαίνει τα 96 GB, το επίπεδο προγραμματιστών δεν είναι η έκδοση που διαθέτετε.
  2. Πόσοι ταυτόχρονοι πελάτες ρομπότ βρίσκονται στην αιχμή; Ένα ρομπότ με περιστασιακά ερωτήματα → επίπεδο ανάπτυξης το χειρίζεται. Τέσσερα ρομπότ που εκτελούν συνεχείς βρόχους αντίληψης (κλήση VLM κάθε 2 δευτερόλεπτα το καθένα) → διατηρούνται 8 ταυτόχρονα αιτήματα, κάτι που είναι διαχειρίσιμο στο επίπεδο ανάπτυξης αλλά χρειάζεται μέτρηση σε σχέση με το μήκος του περιβάλλοντος σας. Οκτώ ρομπότ → επίπεδο παραγωγής ή δύο κόμβοι επιπέδου ανάπτυξης.
  3. Χρειάζεστε ικανότητα εκπαίδευσης; Η βελτιστοποίηση του LoRA σε ένα μοντέλο 8B απαιτεί ~20 GB VRAM και ταιριάζει σε μία RTX 4090. Η πλήρης βελτιστοποίηση ενός μοντέλου 70B απαιτεί εκατοντάδες GB VRAM με gradient checkpointing και τρισδιάστατο παραλληλισμό — αυτή είναι μια διαφορετική συζήτηση. Τα περισσότερα εργαστήρια ξεκινούν με το LoRA σε μικρά μοντέλα, τα οποία χειρίζεται το επίπεδο ανάπτυξης.
  4. Ποιο είναι το εύρος ισχύος και ψύξης σας σήμερα; Να είστε ειλικρινείς. Εκτελέστε τον πίνακα φόρτωσης από I04 έναντι της υπάρχουσας ηλεκτρικής τροφοδοσίας του κτιρίου σας. Εάν χρησιμοποιείτε μονοφασικό κύκλωμα 16 A που μοιράζεστε με το υπόλοιπο γραφείο, το επίπεδο ανάπτυξης απαιτεί ένα νέο κύκλωμα πριν από οτιδήποτε άλλο. Αυτή είναι η πιο συνηθισμένη αποτυχία σχεδιασμού.
  5. Έχετε κάποιον ολοκληρωτή λογισμικού; Το παραπάνω υλικό είναι μόνο το μισό σύστημα. Το πρόγραμμα οδήγησης ROS 2 για το ρομπότ σας, ο πελάτης gRPC για το vLLM, η αποθήκευση μνήμης σκηνής, η διαμόρφωση παρακολούθησης — δηλαδή 2-6 εβδομάδες πραγματικής μηχανικής εργασίας σε ένα νέο εργαστήριο. Εάν αγοράζετε το υλικό χωρίς το σχέδιο ενσωμάτωσης, αγοράζετε το δεύτερο μισό ενός συστήματος χωρίς το πρώτο. Δείτε I02 και I01 για την εικόνα ολοκλήρωσης.

Όταν μπορείτε να απαντήσετε και στις πέντε, το μέγεθος της κατασκευής γίνεται προφανές. Εάν δεν μπορείτε να απαντήσετε στην ερώτηση 1 (λίστα μοντέλων) ή στην ερώτηση 3 (πεδίο εκπαίδευσης), επιστρέψτε όταν μπορέσετε — αυτές οι δύο απαντήσεις αποτελούν το 90% του κόστους. Η ομάδα του Kentino μπορεί να δώσει μια προσφορά από ένα ολοκληρωμένο σύνολο απαντήσεων. Οι προσφορές για ασαφείς απαιτήσεις χρειάζονται τρεις γύρους αναθεώρησης και παρόλα αυτά καταλήγουν λανθασμένες.


Αυτό είναι μέρος του Kentino Wiki, μιας σειράς αναφοράς για την υπολογιστική Τεχνητή Νοημοσύνη, τη ρομποτική και τα συστήματα που τα συνδέουν. Σχόλια και διορθώσεις είναι ευπρόσδεκτα στο info@kentino.com.