Tokens ανά δευτερόλεπτο ανά ευρώ: Οικονομικά GPU για συμπεράσματα

Οι περισσότεροι αγοραστές κάνουν λάθος ερώτηση. Θέλουν να μάθουν ποια GPU είναι «ταχύτερη». Η σωστή ερώτηση για ένα φόρτο εργασίας συμπερασμάτων παραγωγής είναι «ποια GPU παράγει τα περισσότερα tokens ανά ευρώ που δαπανάται τα επόμενα τρία χρόνια για το μοντέλο που εξυπηρετώ στην πραγματικότητα». Αυτές οι δύο ερωτήσεις έχουν διαφορετικές απαντήσεις και το χάσμα είναι αρκετά μεγάλο ώστε η επιλογή της ακατέργαστης ταχύτητας να κοστίζει συστηματικά στους πελάτες του Kentino το 30-60% του προϋπολογισμού τους.

Αυτό το άρθρο κάνει τους υπολογισμούς. Το κοινό είναι κάποιος που εξετάζει το μέγεθος μιας έκδοσης συμπερασμάτων, έχει διαβάσει τα W01 και N03 και τώρα πρέπει να αποφασίσει μεταξύ μιας RTX 5090, μιας RTX Pro 6000 Blackwell, μιας L40 ή μιας L4 — και πόσες από αυτές.

Η μέτρηση: γιατί tok/s ανά ευρώ, όχι tok/s

Δύο καθεστώτα απόδοσης έχουν σημασία και η συγχώνευσή τους είναι το πιο συνηθισμένο λάθος κατά τον καθορισμό του μεγέθους.

Τα tok/s μονής ροής είναι αυτό που βλέπει ένας χρήστης ενώ περιμένει μία απόκριση. Είναι συνδεδεμένο με το εύρος ζώνης κατά τη δημιουργία token και σχεδόν εξ ολοκλήρου είναι συνάρτηση του εύρους ζώνης VRAM διαιρούμενου με το αποτύπωμα βάρους του μοντέλου (βλ. W01 ). Τα tok/s παρατεταμένης απόδοσης είναι αυτό που ένας διακομιστής αντλεί σε πολλούς ταυτόχρονους χρήστες με ενεργοποιημένη τη συνεχή ομαδοποίηση. Σε υλικό κλάσης Blackwell, αυτό είναι υπολογιστικά συνδεδεμένο όταν οι ομαδοποιήσεις ξεπεράσουν τις 16. Είναι αυτό που ενδιαφέρει την παραγωγή.

Οι δύο κάρτες αποκλίνουν κατά 10–25 φορές στην ίδια κάρτα. Η Llama 70B INT4 μίας ροής σε μια RTX Pro 6000 Blackwell αποδίδει περίπου 32 tok/s. Η ίδια κάρτα στην παρτίδα 32 με συνεχή παρτίδα vLLM ωθεί συνολικά 600+ tok/s. Η επιλογή σε υπομεγέθεις αναπτύξεις απόδοσης μίας ροής μειώνει κατά πολύ τις αναπτύξεις απόδοσης, ενώ η επιλογή σε υπερμεγέθεις αναπτύξεις απόδοσης μειώνει τις ευαίσθητες στην καθυστέρηση αναπτύξεις. Τα μαθηματικά του TCO εδώ χρησιμοποιούν διατηρούμενη απόδοση, επειδή αυτό είναι που κυριαρχεί στον λογαριασμό.

Τρέχουσες τιμές λιανικής στην ΕΕ (Μάιος 2026)

Οι παρακάτω τιμές είναι λιανικής πώλησης στην ΕΕ, χωρίς ΦΠΑ, στο ανοιχτό κανάλι — όχι συμβάσεις όγκου OEM και όχι ενοικίαση cloud. Προέρχονται από συστήματα παρακολούθησης τιμών στην ΕΕ και λίστα διανομέων τον Μάιο του 2026. Αντιμετωπίστε τις τιμές ως εύρη. Οι τριμηνιαίες διακυμάνσεις της τάξης του 10–20% είναι φυσιολογικές.

                                   
GPU VRAM TDP Τιμή δρόμου ΕΕ χωρίς ΦΠΑ
RTX 5090 32 GB GDDR7 575 W 2,500 € 3,000 €
Σταθμός εργασίας RTX Pro 6000 Blackwell 96 GB ECC 600 W 8,000 € 9,500 €
RTX Pro 6000 Blackwell Server Edition 96 GB ECC 600 W 8,500 € 10,000 €
L40 48 GB ECC 300 W 7,500 € 9,500 €
L4 24 GB 72 W 2,500 € 3,500 €
H100 SXM (αναφορά, δεν πωλείται από την Kentino) 80 GB HBM3 700 W 27,000 € 35,000 €

Δύο παρατηρήσεις μόνο από αυτόν τον πίνακα. Η Pro 6000 Server Edition κοστίζει περίπου 3 φορές την τιμή μιας 5090 για 3 φορές την VRAM και το ισοδύναμο εύρος ζώνης — η τιμολόγηση παρακολουθεί τη χωρητικότητα μνήμης, όχι την ακατέργαστη ταχύτητα. Η L4 είναι η μόνη κάρτα εδώ κάτω από 100 W. Αυτό το γεγονός και μόνο αναδιαμορφώνει το συνολικό κόστος ιδιοκτησίας (TCO) μόλις εισέλθει η ηλεκτρική ενέργεια στην εξίσωση.

Αριθμοί αναφοράς μίας GPU

Οι παρακάτω αριθμοί προέρχονται από δημόσια benchmarks (vLLM, llama.cpp, SGLang) που συλλέχθηκαν από τα Spheron, CloudRift, RunPod και τις δημοσιευμένες εκτελέσεις του ίδιου του έργου vLLM, από τον Μάιο του 2025 έως τον Μάιο του 2026. Δεν είναι τα benchmarks του Kentino — τα διασταυρώσαμε με τα εσωτερικά μας κουτιά 4×5090 και 4×Pro 6000 για τα κελιά που εξυπηρετούμε τακτικά. Οι δημόσιοι αριθμοί παρακολουθούνται εντός ±15%.

Llama 3.3 70B FP8 — αποκωδικοποίηση μίας ροής

                                   
GPU tok/s Σημειώσεις
RTX 5090 n / a Τα βάρη FP8 των 75 GB δεν ταιριάζουν σε 32 GB
Σταθμός εργασίας RTX Pro 6000 BW 28-34 Ταιριάζει σε μία κάρτα με χώρο για το κεφάλι KV
RTX Pro 6000 BW Server Ed. 28-34 Ίδια θερμικά σιλικόνης, για διακομιστές
L40 n / a 48 GB πολύ μικρά για FP8 70B· μόνο INT4
L4 n / a Εκτός τάξης
H100 SXM (αναφορά) 55-65 HBM3 εύρωστο εύρος ζώνης

Llama 3.3 70B INT4 (AWQ) — αποκωδικοποίηση μίας ροής

                               
GPU tok/s Σημειώσεις
RTX 5090 δ/υ ενιαίου 40 GB INT4 χύνει 32 GB· χρειάζεται 2×
2× RTX 5090 (TP=2) 24-30 Φόρος PCIe TP ορατός
RTX Pro 6000 BW 30-36 Ταιριάζει άνετα, 50+ GB δωρεάν για KV
L40 14-18 GDDR6 ECC, χαμηλότερο εύρος ζώνης
L4 4-6 24 GB μόλις που χωράει βάρη, αργό

Qwen 2.5 32B INT4 (AWQ) — single-stream

                           
GPU tok/s Σημειώσεις
RTX 5090 55-65 Βάρη 18–20 GB, KV στα υπόλοιπα 12 GB
RTX Pro 6000 BW 55-65 Εύρος ζώνης ίσο με 5090· επιπλέον χώρος
L40 28-34 Περιορισμένο εύρος ζώνης
L4 9-12 Σφιχτή μνήμη, περιορισμένη απόδοση

Llama 3 8B FP16 — μονοροή και αδρανή

                           
GPU Μονό tok/s Αδρανή υλικά στην παρτίδα 32
RTX 5090 90-110 3,200-3,800
RTX Pro 6000 BW 90-110 3,400-4,000
L40 45-55 1,400-1,800
L4 20-28 380-550

Μερικές ειλικρινείς αναγνώσεις από αυτούς τους πίνακες. Η 5090 και η Pro 6000 Blackwell έχουν ίδιο εύρος ζώνης (1.79 TB/s) και ίδιους ρυθμούς αποκωδικοποίησης ανά διακριτικό — οι διαφορές είναι η χωρητικότητα VRAM και το ECC, όχι η ταχύτητα. Η L40 έχει περίπου τη μισή ταχύτητα σε σχέση με το ζεύγος Blackwell, επειδή η GDDR6 ECC είναι 860 GB/s έναντι 1,790 GB/s. Η L4 είναι μια κάρτα ενός τετάρτου εύρους ζώνης· το αντισταθμίζει με την πυκνότητα και την τιμή.

Για εργασία μονής ροής κλάσης 70B, η Pro 6000 Blackwell είναι η μόνη κάρτα που εκτελεί το μοντέλο στο FP8 σε μία υποδοχή. Η 5090 σας αναγκάζει σε INT4 και παράλληλη λειτουργία τανυστήρα 2 κατευθύνσεων — και το TP=2 σε PCIe χάνει 30–35% σε πλήρη αναγωγή (βλ. N03 ).

Κλιμάκωση πολλαπλών GPU: ο φόρος PCIe

Η παράλληλη τανυστική συνάρτηση μόνο με PCIe δεν κλιμακώνεται γραμμικά. Καλύψαμε τον μηχανισμό στο N03 . Ακολουθούν οι εμπειρικοί πολλαπλασιαστές που θα πρέπει να ενσωματώσετε σε ένα μοντέλο TCO.

                               
GPU διαμόρφωση Ρεαλιστική κλιμάκωση απόδοσης έναντι 1×
1 × αρχική 1.00
2 × TP=2 PCIe Gen5 1.50-1.70
4 × TP=4 PCIe Gen5 2.5-3.0
8 × TP=4 × PP=2 (προτιμάται) 5.0-6.0
8 × TP=8 PCIe (αποφύγετε) 4.0-4.8

Οι παράλληλες διαδρομές αγωγών και δεδομένων κλιμακώνονται σχεδόν γραμμικά. Η παράλληλη τανυστική διαμόρφωση πληρώνει έναν φόρο που αυξάνεται με τον αριθμό των GPU. Για ένα μοντέλο κλάσης 70B, η σωστή διαμόρφωση σε 8× 5090 είναι δύο ανεξάρτητα αντίγραφα (DP=2 × TP=4) ή TP=4 × PP=2 — όχι TP=8. Δείτε το K03 για τους κανόνες διαμόρφωσης.

Αυτό έχει σημασία για το κόστος, επειδή ο διπλασιασμός του αριθμού των GPU δεν διπλασιάζει ποτέ την απόδοση. Μια αφελής πρόβλεψη προϋπολογισμού τύπου "διπλάσιες GPU, διπλάσιος χρόνος παραγωγής/δευτερόλεπτο" υπερεκτιμά τις προσδοκίες κατά 30–50%.

Το μοντέλο 3ετούς Συνολικού Κόστους Συνολικού Κόστους (TCO)

Η τιμή του αυτοκόλλητου GPU είναι περίπου το μισό του πραγματικού κόστους λειτουργίας μιας κάρτας συμπερασμάτων σε διάστημα τριών ετών. Το άλλο μισό αφορά την ηλεκτρική ενέργεια, το μερίδιο στο πλαίσιο και τον χώρο στο δάπεδο. Το παρακάτω μοντέλο είναι αυτό που χρησιμοποιούμε εσωτερικά για τον καθορισμό μεγέθους της Kentino AI.

Per-GPU 3-year TCO =
    GPU cost
  + Chassis share (chassis + CPU + RAM + PSU + NIC) / GPU count
  + Electricity:  TDP × utilization × 8,760 h × 3 × €0.20/kWh
  + Colo/rack space share
  + Maintenance & spares (~5% of GPU cost / year)

Παραδοχές που χρησιμοποιήθηκαν παρακάτω:

  • Ηλεκτρική ενέργεια: 0.20 €/kWh μεικτό (τυπική βιομηχανική αγορά της ΕΕ ή ιδιόκτητη συνεχιζόμενη ροή). Η τιμή λιανικής πώλησης στην Τσεχία είναι συχνά 0.18–0.22 €, ενώ η Γερμανία υψηλότερη.
  • Χρησιμοποίηση: 60% διατηρήσιμο (ένα ρεαλιστικό φορτίο παραγωγής — όχι το ποσοστό αναφοράς 100%, ούτε το ποσοστό εργαστηρίου 5%).
  • PUE: 1.4. Γενικά έξοδα κέντρου δεδομένων (ψύξη, απώλειες διανομής). Αυτό ανεβάζει την ενεργό κατανάλωση ηλεκτρικής ενέργειας στα 0.28 €/kWh κατανάλωσης GPU.
  • Μερίδιο πλαισίου: €4,000 αποσβέσεις για 4 GPU (€1,000/GPU) για μια έκδοση Kentino 4-GPU 5090· €8,000 για 8 (€1,000/GPU) για το πλαίσιο Pro 6000 8-GPU.
  • Συντήρηση: 5%/έτος του κόστους GPU (εφεδρικό κεφάλαιο για την εξόφληση καρτών + χρόνος οδηγού/λειτουργίας).

Πίνακας TCO ανά GPU

                                   
GPU Κάρτα € Σασί € Ηλεκτρικό ρεύμα € (3ετές) Συντήρηση € (3 έτη) Συνολικό κόστος ιδιοκτησίας (TCO) 3ετές €
RTX 5090 2,800 1,000 2,540 420 6,760
RTX Pro 6000 BW WS 8,800 1,000 2,650 1,320 13,770
RTX Pro 6000 BW SE 9,400 1,000 2,650 1,410 14,460
L40 8,500 1,000 1,325 1,275 12,100
L4 3,000 800 318 450 4,568
H100 SXM (αναφ.) 30,000 3,500 3,090 4,500 41,090

Γραμμές ηλεκτρικής ενέργειας: TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. Η γραμμή L4 είναι εντυπωσιακή — ο συνεχής τριετής λογαριασμός ηλεκτρικού ρεύματος είναι 318€. Η 5090 είναι 2,540€. Οκτώ φορές η κατανάλωση ρεύματος, οκτώ φορές ο λογαριασμός.

Κόστος ανά εκατομμύριο διακριτικά

Τώρα, συνδυάστε το TCO με τη μετρούμενη διατηρούμενη απόδοση σε ένα αντιπροσωπευτικό φόρτο εργασίας — Llama 3.3 70B INT4 στην παρτίδα 32 ή Qwen 32B στην παρτίδα 32 ή Llama 8B στην παρτίδα 64. Πάρτε τα διατηρημένα tok/s μιας κάρτας, πολλαπλασιάστε τα επί 0.60 utilization × 3 × 8,760 × 3,600 για να λάβετε τα συνολικά tokens που εξυπηρετήθηκαν και διαιρέστε το TCO με αυτό. Οι παρακάτω αριθμοί είναι ενδεικτικοί. Συντονιστείτε για το πραγματικό μοντέλο και την παρτίδα σας.

                                           
GPU Φόρτο εργασίας Παρατεταμένο tok/s Μάρκες/3y (B) € / Μτόκ
RTX 5090 Λάμα 8Β FP16 παρτίδα 64 3,500 199 0.034
RTX 5090 Qwen 32B INT4 παρτίδα 32 600 34 0.20
Pro 6000 BW Λάμα 70Β FP8 παρτίδα 32 480 27 0.51
Pro 6000 BW Qwen 32B INT4 παρτίδα 32 650 37 0.37
L40 Λάμα 8Β FP16 παρτίδα 64 1,600 91 0.13
L40 Qwen 32B INT4 παρτίδα 32 320 18 0.67
L4 Λάμα 8Β FP16 παρτίδα 64 450 26 0.18
L4 Λάμα 8Β FP8 παρτίδα 128 650 37 0.12

Διαβάστε την τρίτη στήλη ως κόστος ανά εκατομμύριο εξυπηρετούμενων tokens, με πλήρως φορτωμένο TCO. Τα API ανοιχτού δρομολογητή και cloud για τα ίδια μοντέλα χρεώνουν 0.10€–2.00€ ανά εκατομμύριο tokens ανάλογα με το επίπεδο. Αυτό τοποθετεί την εγκατάσταση στο ίδιο επίπεδο ή φθηνότερα με παρατεταμένο φόρτο. Τα μαθηματικά καταρρέουν κάτω από το 30% αξιοποίησης — το TCO κυριαρχείται από τις κεφαλαιουχικές δαπάνες που πληρώσατε, ανεξάρτητα από το αν τις χρησιμοποιήσατε ή όχι.

Η υπόθεση του 5090

Στα χαρτιά, η 5090 έχει την καλύτερη τιμή raw tok/s ανά ευρώ από οποιαδήποτε κάρτα της σειράς Kentino για υπολογισμό κάτω των 72B. 2,800 € για 1.79 TB/s εύρους ζώνης και 32 GB GDDR7 είναι πολλά. Για εξυπηρέτηση ενός μοντέλου κατηγορίας 32B για έναν χρήστη, τίποτα άλλο δεν έχει την ίδια αναλογία.

Το 5090 καταρρέει σε δύο σημεία:

  1. Μοντέλα που δεν χωράνε σε 32 GB στην ποσότητα που θέλετε. Μια κάρτα γραφικών 70B FP8 (~75 GB) χρειάζεται 3–4 κάρτες. Μια κάρτα γραφικών 70B INT4 (~40 GB) χρειάζεται 2. Μόλις κάνετε παράλληλη τανυστική σύνδεση σε PCIe, πληρώνετε τον φόρο μείωσης 30–50% και ο αριθμός των tok/s ανά κάρτα καταρρέει.
  2. Κλιμάκωση πολλαπλών GPU πέρα ​​από την παράλληλη λειτουργία αγωγού. Το 8× 5090 είναι ένα πραγματικό προϊόν (το κατασκευάζουμε εμείς), αλλά η απόδοση ανά κάρτα σε μια τανυστική παράλληλη κάρτα 70B είναι περίπου 0.55 φορές μεγαλύτερη από την απόδοση μίας κάρτας. Αγοράσατε οκτώ κάρτες και πήρατε 4.4 φορές μεγαλύτερη απόδοση. Όχι 8×.

Το δυνατό σημείο του 5090 είναι η φιλοξενία πολλαπλών αντιγράφων μικρότερων μοντέλων. Το 4× 5090 που εκτελεί τέσσερα ανεξάρτητα αντίγραφα Qwen 32B πίσω από έναν εξισορροπητή φορτίου ξεπερνά το 4× 5090 τενσορική παράλληλη λειτουργία ενός μόνο Llama 70B τόσο σε απόδοση όσο και σε καθυστέρηση — και αποφεύγει εντελώς την ποινή PCIe.

Η θήκη Pro 6000 Blackwell

96 GB ECC GDDR7 στα 1.79 TB/s είναι αυτό που αγοράζετε όταν χρειάζεται να χωρέσει 70B FP8 σε μία κάρτα και δεν θέλετε να διαφωνήσετε με την PCIe γι' αυτό. Οι εκδόσεις Workstation και Server μοιράζονται το ίδιο πυρίτιο, την ίδια μνήμη, το ίδιο εύρος ζώνης — η διαφορά είναι ο συντελεστής μορφής (ενεργητική έναντι παθητικής ψύξης), το BIOS μέγιστης ισχύος και η επικύρωση για σασί διακομιστή OEM. Η έκδοση Server κοστίζει 700€–1,500€ περισσότερο και είναι η σωστή επιλογή για οποιαδήποτε έκδοση rack-mount που λειτουργεί 24/7.

Πού κερδίζει το Pro 6000 σε tok/s ανά ευρώ:

  • Φιλοξενία μίας κάρτας 70B FP8. Χωρίς παράλληλη σύνδεση τανυστήρα, χωρίς φόρο PCIe. Μονή ροή στα 30+ tok/s, ομαδοποιημένη συνολική ροή στα 480+ tok/s.
  • Κλιμάκωση μέσω αντιγράφων. 4× Pro 6000 = τέσσερα ανεξάρτητα αντίγραφα των 70B πίσω από έναν δρομολογητή. Γραμμική κλιμάκωση απόδοσης, ομαλή απομόνωση αστοχιών.
  • ECC για εκπαίδευση. Εάν ο φόρτος εργασίας περιλαμβάνει βελτιστοποίηση LoRA / QLoRA ή πλήρη επανεκπαίδευση, το ECC αξίζει τον κόπο (βλ. W01).

Όπου το Pro 6000 είναι υπερβολικό: οποιαδήποτε ανάπτυξη που δεν χρειάζεται >32 GB ανά κάρτα. Εάν όλα τα μοντέλα σας ταιριάζουν σε μια 5090, πληρώνετε 3 φορές την τιμή για την VRAM που δεν θα χρησιμοποιήσετε. Το βλέπουμε αυτό τακτικά — ο αγοραστής καθορίζει τις προδιαγραφές του Pro 6000 επειδή είναι η "επαγγελματική" κάρτα και στη συνέχεια χρησιμοποιεί ένα μοντέλο 13B σε αυτήν.

Η υπόθεση L40

Το L40 βρίσκεται σε δύσκολη θέση. 48 GB ECC, GDDR6 όχι GDDR7, εύρος ζώνης 860 GB/s — περίπου το μισό Pro 6000 Blackwell με βάση την ανάλυση, στο 75–90% της τιμής. Με καθαρά tok/s ανά ευρώ με βάση την ανάλυση, το Pro 6000 κερδίζει.

Η περίπτωση του L40 βασίζεται σε τρεις άλλους άξονες:

  1. TDP. 300 W έναντι 600 W. Η μισή ηλεκτρική ενέργεια σε διάστημα τριών ετών (1,325 € έναντι 2,650 € στο μοντέλο μας). Σε θερμικά περιορισμένα racks ή μονοφασικά κυκλώματα, αυτή είναι η διαφορά μεταξύ τεσσάρων καρτών ή δύο.
  2. Επικύρωση κέντρου δεδομένων. Το L40 διαθέτει παθητική ψύξη, επικύρωση OEM σε Supermicro/Dell/HPE και την τυπική 5ετή εγγύηση κέντρου δεδομένων. Ο σταθμός εργασίας Pro 6000 δεν έχει επικυρωθεί για λειτουργία chassis 24/7. Η έκδοση Server είναι, αλλά είναι νεότερη στο κανάλι.
  3. Όριο αξιοπιστίας. Το L40 έχει σχεδιαστεί ειδικά για παρατεταμένο φόρτο εργασίας διακομιστή. Ο μέσος χρόνος μεταξύ βλαβών σε ένα φόρτο εργασίας συμπερασμού 24/7 είναι μετρήσιμα καλύτερος από το 5090 που προέρχεται από τον καταναλωτή.

Η ειλικρινής ανάγνωση: αν ο πελάτης σας ενδιαφέρεται περισσότερο για τον χρόνο λειτουργίας παρά για τα ακατέργαστα tok — ρυθμιζόμενοι κλάδοι, συμβόλαια SLA κατ' απαίτηση, οτιδήποτε χάνει χρήματα όταν μια κάρτα «σβήνει» στη μέση της νύχτας — το L40 αξίζει την πτώση του tok/s ανά ευρώ. Για την ακατέργαστη σχέση τιμής-απόδοσης, δεν αξίζει.

Η υπόθεση L4

Το L4 είναι αυτό για το οποίο κανείς δεν ρωτάει και αυτό που οι περισσότεροι πελάτες θα έπρεπε να αγοράσουν. 24 GB, 72 W μίας υποδοχής, δεν απαιτείται υποδοχή τροφοδοσίας, παθητική ψύξη. Οκτώ από αυτά χωράνε σε διακομιστή 1U. Δεκαέξι σε διακομιστή 2U.

Τι κάνει καλά το L4:

  • Μοντέλο κλάσης 8Β που εξυπηρετεί σε μεγάλη κλίμακα. Το Llama 3 8B FP8 στην παρτίδα 64 αποδίδει περίπου 650 tok/s ανά κάρτα. Οκτώ L4 σε ένα σασί = συνολικά 5,000 tok/s για ένα τελικό σημείο Llama 8B. Το ίδιο σασί καταναλώνει 600 W GPU.
  • Πυκνότητα πολλαπλών αντιγράφων. Κάθε L4 φιλοξενεί ένα ανεξάρτητο μοντέλο 8B. Οκτώ αντίγραφα πίσω από έναν εξισορροπητή φορτίου χωρίς καμία επικοινωνία μεταξύ GPU. Η βλάβη μίας κάρτας αφαιρεί το 1/8 της χωρητικότητας, όχι ολόκληρη την υπηρεσία.
  • Τοποθεσίες με περιορισμένη ισχύ. Ένα κύκλωμα 16 A μπορεί να λειτουργήσει δώδεκα L4 συν την επιβάρυνση του κεντρικού υπολογιστή. Το ίδιο κύκλωμα λειτουργεί μόλις τρία 5090.
  • Κόστος ανά εκατομμύριο tokens. Με τιμή €0.12/Mtok για το 8B FP8, το L4 είναι φθηνότερο από οποιοδήποτε cloud API για την ίδια κατηγορία μοντέλων.

Τι δεν κάνει καλά το L4: οτιδήποτε πάνω από 13B, οτιδήποτε χρειάζεται πραγματικό εύρος ζώνης, εκπαίδευση οποιουδήποτε είδους. Το L4 είναι μια κάρτα συμπερασμάτων σταθερής συνάρτησης για μοντέλα μικρής έως μεσαίας κατηγορίας. Εάν το φόρτο εργασίας σας δεν ταιριάζει σε αυτό, παραλείψτε το.

Ειλικρινής σύγκριση vs cloud

Τα μαθηματικά στο cloud για μια παρόμοια έκδοση. Το AWS p5.48xlarge (8× H100 SXM) κοστίζει 98.32 $/ώρα κατ' απαίτηση, κανονικοποιημένο στα 12.29 $ ανά ώρα GPU. Τα εξειδικευμένα clouds AI (Lambda, RunPod, CoreWeave) κοστίζουν 2.00 $–4.00 $ ανά ώρα H100 κατ' απαίτηση και κάτω από αυτό σε commits 1 έτους.

Κόστος τριών ετών για cloud κατ' απαίτηση για μία θέση συμπερασμού ισοδύναμη με H100:

  • AWS κατ' απαίτηση: 12.29 $ × 8,760 × 3 = $323,000
  • Cloud τεχνητής νοημοσύνης spot/έκπτωσης: 2.50 $ × 8,760 × 3 = $65,700
  • Δεσμευμένο cloud τεχνητής νοημοσύνης για 1 έτος: ~$1.80 × 8,760 × 3 = $47,300

Kentino on-prem 8× Pro 6000 Server Edition: Συνολικό κόστος ιδιοκτησίας ~€115,000 σε διάστημα τριών ετών για οκτώ κάρτες. 14,400 € ανά κάρτα. Αυτό αντιστοιχεί περίπου στο ένα τέταρτο του φθηνότερου cloud H100 που προορίζεται για απόδοση συγκρίσιμη με την εξαγωγή συμπερασμάτων (το Pro 6000 BW φτάνει το ~60–70% του H100 SXM σε φόρτους εργασίας εξαγωγής συμπερασμάτων που δεν εξαρτώνται από το NVLink).

Νεκρό σημείο έναντι του H100 που δεσμεύεται από το AI-cloud: το on-prem 8× Pro 6000 αποσβένει το κόστος του με περίπου 50% συνεχή χρήση για τρία χρόνια. Κάτω από αυτό, ενοίκιο. Πάνω από αυτό, ιδιόκτητο. Αυτά είναι τα ίδια μαθηματικά στα οποία καταλήγει κάθε σοβαρός αγοραστής on-prem, και ο λόγος για τον οποίο η on-prem συμπερασματολογία δεν έχει εξαφανιστεί το 2026 παρά τις περικοπές κόστους του cloud.

Πίνακας συστάσεων φόρτου εργασίας προς GPU

                                                   
Φόρτο εργασίας GPU πρώτης επιλογής Γιατί
Llama 8B / Qwen 7B / Mistral 7B σε κλίμακα L4 (πολλαπλό) Καλύτερο tok/s/€ σε μικρά μοντέλα, χαμηλότερη ισχύς
Ένας χρήστης, κλάση 32B, ευαίσθητο στην καθυστέρηση RTX 5090 Καλύτερο εύρος ζώνης/€, ταιριάζει σε INT4
Κλάση 32B πολλαπλών χρηστών, ευαίσθητη στην απόδοση 2× RTX 5090 ή 1× Pro 6000 Αντίγραφο ζυγαριάς ή μονή κάρτα εάν το επιτρέπει ο προϋπολογισμός
Συμπερασματολογία 70B, μεμονωμένος χρήστης, ποιότητα FP8 RTX Pro 6000 Blackwell Η μόνη κάρτα που ταιριάζει στο 70B FP8 σε μία υποδοχή
70B συμπερασματολογία, πολλαπλοί χρήστες, απόδοση 4× Pro 6000 BW (αντίγραφα DP) Γραμμική κλιμάκωση χωρίς φόρο PCIe TP
Βελτιστοποίηση 70B (LoRA / QLoRA) RTX Pro 6000 Blackwell SE ECC, επικύρωση 24/7, ταιριάζει με το KV εκπαίδευσης σε 96 GB
Εκπαίδευση 70B από την αρχή όχι η σύνθεση του Kentino Νοικιάστε το NVLink H100/B200 και, στη συνέχεια, φέρτε τα βάρη στο χώρο σας
Μικτή συμπερασματική ανάλυση + ελαφριά εκπαίδευση, ρυθμιζόμενη τοποθεσία L40 ECC, διαρκής αξιοπιστία, επικυρωμένο κέντρο δεδομένων
Σφιχτό προϋπολογισμό ισχύος rack, πυκνότητα 1U L4 (8× ανά 1U) 72 W μονής υποδοχής, δεν απαιτείται ECC για συμπερασματολογία
405B πυκνή συμπερασματολογία 3× Pro 6000 BW (PP) Μόνη διαδρομή στο υλικό Kentino· βλ. K03

Η ειλικρινής άποψη

Οι περισσότεροι πελάτες της Kentino μπαίνουν ρωτώντας ποια κάρτα είναι η ταχύτερη. Για το φόρτο εργασίας που οι περισσότεροι έχουν στην πραγματικότητα — ένα μοντέλο συνομιλίας 7B ή 8B, ίσως ένα μοντέλο συλλογισμού 32B, ίσως ένα μοντέλο όρασης στην κατηγορία 7B–13B — η σωστή απάντηση είναι L4 ή 5090, όχι η ναυαρχίδα. Η προνομιακή τιμή του Pro 6000 Blackwell στην τιμολόγησή μας είναι 5,000–7,000€ ανά κάρτα. Με τέσσερις κάρτες ανά έκδοση, δηλαδή 20,000–28,000€ VRAM που πληρώνει ο πελάτης και δεν χρησιμοποιεί.

Η δουλειά είναι να ρωτήσετε ποια μοντέλα, σε ποια ταυτόχρονη αγορά, σε ποιο παράθυρο περιβάλλοντος — και να κάνετε το κατάλληλο μέγεθος. Μικρότερες συμφωνίες, ο πελάτης επιστρέφει όταν κλιμακωθεί.

Τι να κάνω μετά

Αν κάνετε διαστασιολόγηση μιας κατασκευής, εξετάστε τα παρακάτω με τη σειρά:

  1. Καταγράψτε κάθε μοντέλο που πρέπει να εξυπηρετήσετε, με κβαντοποίηση και συμφραζόμενα. Γράψτε τα. Llama 3.3 70B INT4 @ 8K. Qwen 32B INT4 @ 32K. Llama 8B FP8 @ 16K. Χωρίς αυτήν τη λίστα, κάθε επόμενο βήμα είναι μια εικασία.
  2. Υπολογίστε το μεγαλύτερο αποτύπωμα VRAM μίας μόνο παρουσίας (βάρη + KV στον ταυτόχρονο στόχο). Αυτό είναι το κατώτατο όριο VRAM ανά κάρτα.
  3. Υπολογίστε τον στόχο διατηρούμενου tok/s. Ταυτόχρονοι χρήστες × διακριτικά ανά δευτερόλεπτο ανά χρήστη × κύκλος λειτουργίας. Αυτό καθορίζει τον αριθμό των καρτών.
  4. Αντιστοίχιση στην GPU. Εάν αποτύπωμα < 32 GB → 5090 ή L4. Εάν < 48 GB → L40 ή 5090 πολλαπλής κάρτας. Εάν 48–96 GB → Pro 6000 Blackwell. Εάν > 96 GB → πολλαπλής κάρτας PP, όχι TP.
  5. Υπολογίστε το τριετές TCO στην πραγματική σας χρήση. Εάν ο κύκλος λειτουργίας σας είναι < 30%, επανεξετάστε το cloud. Εάν είναι > 50%, η τοπική εγκατάσταση κερδίζει σαφώς.
  6. Προσθέστε ένα περιθώριο 30% σε όποιον αριθμό GPU λένε τα μαθηματικά. Τα πραγματικά φόρτα εργασίας αυξάνονται, τα μεγέθη των μοντέλων αυξάνονται, οι υποεκτιμήσεις της προσωρινής μνήμης KV είναι καθολικές.

Τα επόμενα άρθρα σε αυτό το κομμάτι επεξεργάζονται τους ίδιους αριθμούς από διαφορετικές οπτικές γωνίες: κόστος ανά εκατομμύριο tokens με αναλύσεις on-prem έναντι cloud ( T02 ) και οικονομικά συμπεράσματα sustained-versus-burst ( T03 ). Η βάση επιλογής GPU βρίσκεται στο W07 και οι επιλογές παραλληλισμού που διαμορφώνουν το TCO πολλαπλών GPU βρίσκονται στο K03.

Η μόνη πρόταση που πρέπει να θυμάστε: οι περισσότεροι πελάτες ρωτούν ποια είναι η ταχύτερη, ενώ θα έπρεπε να ρωτήσουν ποια είναι η φθηνότερη με βάση τον φόρτο εργασίας μου. Η ταχύτερη κάρτα σπάνια είναι η φθηνότερη απάντηση.