Οικονομικά Συμπερασμάτων Διαρκούς έναντι Εκρήξεων: Όταν το On-Prem κερδίζει, όταν το Cloud σας βοηθά να βγείτε κερδισμένοι
Ένας διακομιστής συμπερασμάτων τεσσάρων GPU καταναλώνει την ίδια ηλεκτρική ενέργεια, καταλαμβάνει τον ίδιο χώρο στο rack και αποσβένει με το ίδιο πρόγραμμα, είτε εξυπηρετεί είκοσι εκατομμύρια tokens την ημέρα είτε είκοσι χιλιάδες. Οι κάρτες δεν γνωρίζουν ότι είναι αδρανείς. Ο λογιστής το ξέρει. Αυτή η μοναδική ασυμμετρία - σταθερό κόστος στην πλευρά της εγκατάστασης, οριακό κόστος στην πλευρά του cloud - είναι ο λόγος που η σωστή απάντηση στο "πρέπει να πάμε σε εγκατάσταση;" εξαρτάται τόσο από τη μορφή της επισκεψιμότητάς σας όσο και από τον όγκο.
Το T01 ανέλυσε τα μαθηματικά ανά κάρτα σε ένα μόνο σημείο αξιοποίησης. Το T02 αντιστοιχίζει το κόστος ανά εκατομμύριο tokens με τα cloud API σε πλήρη φόρτωση. Αυτό το άρθρο (T03) είναι αυτό που πραγματικά χρειάζεται να διαβάσει ο οικονομικός σας διευθυντής: τι συμβαίνει με αυτούς τους αριθμούς όταν η κίνηση είναι έντονη, όταν είναι συνεχής και πώς να σχεδιάσετε ένα σύστημα που δεν υπερβαίνει τις δαπάνες σε καμία πλευρά.
Το κοινό είναι κάποιος που έχει ήδη καταλήξει στο συμπέρασμα ότι ο φόρτος εργασίας μπορεί να ταιριάζει στην εγκατάσταση και τώρα πρέπει να αποφασίσει πόσο στην εγκατάσταση και τι θα διασφαλίσει τα υπόλοιπα.
Η παγίδα του σταθερού κόστους
Το Cloud Inference κλιμακώνει το κόστος ανάλογα με τη χρήση. Μια μεμονωμένη κλήση Llama 70B σε έναν πάροχο OpenRouter σας κοστίζει περίπου 0.50–2.00 € ανά εκατομμύριο διακριτικά (ποικίλλει ανάλογα με το επίπεδο και τον πάροχο). Δεν στέλνετε καμία κίνηση, δεν πληρώνετε τίποτα. Στείλτε 10 φορές την κίνηση, πληρώστε 10 φορές. Η σχέση είναι γραμμική και ξεκινά από το μηδέν.
Η εκτίμηση επί τόπου είναι το αντίθετο. Ένα κουτί 4× RTX Pro 6000 Blackwell ( το T01 υπολογίζει το 3ετές συνολικό κόστος (TCO) περίπου 58 € συνολικά — απόσβεση κεφαλαιουχικών εξόδων, ηλεκτρική ενέργεια, μερίδιο πλαισίου, συντήρηση) κοστίζει αυτά τα 58 € είτε εξυπηρετεί ένα εκατομμύριο tokens είτε ένα τρισεκατομμύριο. Το οριακό κόστος του 200 εκατομμυριοστού token σε ένα μήνα είναι το ίδιο με το οριακό κόστος του δεύτερου: οι kWh ηλεκτρικής ενέργειας που χρειάστηκαν για να υπολογιστεί και τίποτα περισσότερο. Το κεφαλαιουχικό κόστος είναι ένα μη ανακτήσιμο κόστος την ημέρα που αποστέλλεται το κουτί.
Οι λογιστικές συνέπειες είναι βάναυσες και σπάνια εσωτερικεύονται από τους αγοραστές:
| Συνεχής αξιοποίηση | Εξυπηρετούμενα Tokens / 3 χρόνια (Pro 6000, Llama 70B FP8 batch 32) | Ισχύει €/Mtok |
|---|---|---|
| 100% | 45.4 Β | 0.32 |
| 60% | 27.2 Β | 0.53 |
| 30% | 13.6 Β | 1.07 |
| 10% | 4.5 Β | 3.21 |
| 5% | 2.3 Β | 6.42 |
(Ίδιο υλικό, ίδιο συνολικό κόστος ιδιοκτησίας (TCO) 14.4 € ανά κάρτα σε διάστημα τριών ετών· μόνο ο παρονομαστής αλλάζει.)
Ο ρυθμός cloud για το Llama 70B FP8 το 2026 κυμαίνεται από 0.50€ έως 1.50€/Mtok, ανάλογα με το επίπεδο παρόχου. Διαβάστε ξανά τον πίνακα έχοντας αυτό κατά νου. Με ποσοστό διαρκούς χρήσης 5%, το on-prem box είναι πιο ακριβό από κάθε άλλη επιλογή cloud που υπάρχει. Με ποσοστό 30% ισοφαρίζει τους πιο ακριβούς παρόχους. Με ποσοστό 60% και άνω, τα καταφέρνει με τους υπολογισμούς.
Η παγίδα είναι ότι οι πελάτες συγκρίνουν τις κεφαλαιουχικές δαπάνες με το τρέχον φορτίο και στη συνέχεια ανακαλύπτουν έξι μήνες αργότερα ότι το τρέχον φορτίο ήταν το 8% του κουτιού. Το υλικό δεν έκανε τίποτα λάθος. Το μέγεθος έκανε.
Πώς μοιάζει η πραγματική αξιοποίηση της παραγωγής
Έχουμε δημόσια δεδομένα καθώς και το δικό μας benchmark σε όλες τις εγκαταστάσεις τεχνητής νοημοσύνης του Kentino που λειτουργούμε ή επισκεπτόμαστε και η εικόνα είναι συνεπής σε ολόκληρο τον κλάδο το 2026:
| Κατηγορία φόρτου εργασίας | Τυπική διαρκής χρήση | Σημειώσεις |
|---|---|---|
| Συνομιλία / chatbot με άμεση επικοινωνία με πελάτες | 10-25% | Ημερήσια κυκλοφορία, αποβίβαση το Σαββατοκύριακο, μισή μέρα αδράνειας |
| Εσωτερικός βοηθός κωδικοποίησης | 15-30% | Έντονη θερμοκρασία 09:00–18:00, σχεδόν μηδενική κατά τη διάρκεια της νύχτας |
| Ροή εργασίας χρήσης πράκτορα / εργαλείου | 20-40% | Ριπή ανά συνεδρία. Εξαρτάται από τον αριθμό των εκπροσώπων |
| Ανάκτηση RAG + LLM (σημασιολογική αναζήτηση) | 25-50% | Μέτρια σταθερό, ανάλογα με τον ρυθμό ερωτημάτων |
| Μαζική επεξεργασία (αυτόματη επισήμανση, σύνοψη, εξαγωγή εγγράφων) | 60-90% | Με βάση την ουρά, μπορεί να ρυθμιστεί για να γεμίσει η χωρητικότητα |
| Συνεχής εκπαίδευση / βελτίωση | 90% + | Πάντα με βάση τα δεδομένα· η εύκολη περίπτωση |
Οι κύριοι αριθμοί από τις αναπτύξεις παραγωγής και τις έρευνες χειριστών: οι περισσότερες ομάδες που εκτελούν τις δικές τους συμπερασματικές αναλύσεις αναφέρουν μέση αξιοποίηση της GPU 20–40% , με τις ώριμες ρυθμίσεις να φτάνουν στο 40–65% . Οτιδήποτε διατηρείται πάνω από 65% είναι είτε καθαρή εργασία σε παρτίδες είτε ένα σύμπλεγμα που λειτουργεί αρκετά ώστε η επόμενη απότομη αύξηση της επισκεψιμότητας να εμφανιστεί στην ουρά. Κάτω από 20% σημαίνει ότι το σύστημα λειτουργεί κυρίως για να αποσβέσει τα έξοδά του και όχι για να εξυπηρετεί τους χρήστες.
Ο αριθμός που πάντα εκπλήσσει τους αγοραστές: ένα διαδραστικό φόρτο εργασίας — ένα chatbot, ένας βοηθός προγραμματισμού, ένα bot υποστήριξης πελατών — σχεδόν ποτέ δεν αντέχει περισσότερο από 30%. Ο λόγος είναι το φως της ημέρας. Ακόμα και ένα παγκόσμιο προϊόν έχει ώρες εκτός λειτουργίας. Ένα περιφερειακό προϊόν έχει 14 ώρες χαμηλού φόρτου εργασίας κάθε μέρα. Τα μαθηματικά το τιμωρούν σκληρά.
Διαρκής φόρτος εργασίας — το παν
Τα οικονομικά στοιχεία της εγκατάστασης λειτουργούν άψογα για οποιοδήποτε φόρτο εργασίας όπου μπορείτε να διατηρείτε τις GPU σε λειτουργία το μεγαλύτερο μέρος της ημέρας. Με μια γενική σειρά από το πόσο συχνά τις βλέπουμε σε εγκαταστάσεις Kentino AI:
- Βοηθός κωδικοποίησης / backend IDE για μια ομάδα 30+ μηχανικών. Σταθερό φορτίο τις καθημερινές 09:00–18:00, ελαφρύτερα βράδια, σχεδόν μηδενικό φορτίο τα Σαββατοκύριακα. Μέσος όρος 20–30% καθ' όλη τη διάρκεια της εβδομάδας, με κορύφωση 60–80% κατά τη διάρκεια της εργάσιμης ημέρας.
- Υποστήριξη πελατών / chatbot πωλήσεων με επισκεψιμότητα 24/7. Το ημερήσιο μοτίβο ακολουθεί την εξυπηρετούμενη περιοχή. Τα παγκόσμια προϊόντα καταλαμβάνουν σταθερά το 25–35%, ενώ τα περιφερειακά το 15–25%.
- RAG / σημασιολογική αναζήτηση backend δημιουργία ευρετηρίου και εξυπηρέτηση μιας εσωτερικής βάσης γνώσεων. Το ποσοστό ερωτημάτων είναι σχετικά σταθερό. Η επαναδημιουργία ευρετηρίου είναι μια προγραμματισμένη εργασία που διαρκεί όλη τη νύχτα και ανεβάζει το όριο στο 95%. Συνδυασμένη χρήση 30–50%.
- Επεξεργασία παρτίδας — σύνοψη των χθεσινών εγγράφων κατά τη διάρκεια της νύχτας, εβδομαδιαίες εκτελέσεις αυτόματης επισήμανσης, μηνιαίες επανεκτελέσεις ταξινόμησης σε ένα σώμα κειμένων. Καθαρή εργασία ουράς, αξιοποίηση 70–90% ενώ η ουρά δεν είναι κενή, σχεδιασμένη για ολοκλήρωση.
- Συμπερασματολογία στόλου ρομπότ — πολλαπλές μονάδες που ξεκινούν από το ίδιο τελικό σημείο VLM κατά τις ώρες λειτουργίας, σε αδράνεια εκτός (I01, I06).
Το μοτίβο είναι ότι τα παρατεταμένα φόρτα εργασίας είτε εκτείνονται σε αρκετές ζώνες ώρας για να καλύψουν την ημέρα, είτε έχουν στοιχεία παρτίδας που καλύπτουν σκόπιμα τα κενά. Η τεχνική «κάλυψης των κενών» είναι ο μεγαλύτερος μοχλός TCO που μπορεί να χρησιμοποιήσει ένας πελάτης και ο πιο παραβλεπόμενος. Ένα κουτί που κάνει διαδραστική συνομιλία 12 ώρες την ημέρα στο 30% και εκτελεί αυτόματη επισήμανση όλη τη νύχτα στο 90%, αποδίδει κατά μέσο όρο περίπου 60% - διπλάσια από την αποτελεσματική αξιοποίηση, το μισό κόστος ανά διακριτικό.
Φόρτοι εργασίας σε εκρήξεις — εκεί που πονάει η εσωτερική εργασία
Το αντίθετο σχήμα είναι ένας φόρτος εργασίας που απαιτεί τεράστια χωρητικότητα για ένα σύντομο χρονικό διάστημα και σχεδόν καθόλου τον υπόλοιπο χρόνο. Παραδείγματα που βλέπουμε τακτικά:
- Καμπάνια μάρκετινγκ / προώθηση δημιουργίας περιεχομένου. Δημιουργήστε παραλλαγές για μια διαφημιστική καμπάνια σε όλες τις αγορές N σε 48 ώρες και, στη συνέχεια, τίποτα για ένα μήνα.
- Στιγμές viral περιεχομένου. Μια εφαρμογή καταναλωτή λανσάρει μια λειτουργία, εμφανίζεται σε ένα ενημερωτικό δελτίο τεχνολογίας, η επισκεψιμότητα αυξάνεται 50 φορές περισσότερο από την κανονική για έξι ώρες, και επιστρέφει στην αρχική της κατάσταση μέχρι το επόμενο πρωί.
- Εκδηλώσεις επίδειξης / πιλοτικής εφαρμογής. Ένα περίπτερο εμπορικής έκθεσης που πραγματοποιεί ζωντανές επιδείξεις συμπερασμάτων για τρεις ημέρες και μετά επιστρέφει στο μηδέν.
- Περιοδικές μαζικές εργασίες που πρέπει να ολοκληρωθούν σε ένα παράθυρο. Μηνιαία σάρωση συμμόρφωσης σε ολόκληρο το σώμα εγγράφων που πρέπει να ολοκληρωθεί εντός της κανονιστικής προθεσμίας.
- Αναλυτικά στοιχεία για τη βραδιά των εκλογών ή για ζωντανές εκδηλώσεις — ένα παράθυρο 12–48 ωρών όπου ο όγκος είναι 100 φορές μεγαλύτερος από τον κανονικό.
Λειτούργησε ένα παράδειγμα. Ένα φόρτο εργασίας χρειάζεται να δημιουργηθούν 10 εκατομμύρια tokens. Κατανεμημένα σε 24 ώρες, δηλαδή περίπου 116 tok/s συνολικά — ένα μόνο L4 το χειρίζεται. Συμπιεσμένο σε ένα παράθυρο μίας ώρας, είναι 2,778 tok/s — χρειάζεται ένα κουτί Pro 6000 4 GPU που λειτουργεί πλήρως, ή περίπου έξι L4.
Έτσι, τα ίδια 10 εκατομμύρια tokens απαιτούν είτε μία κάρτα 24/7 είτε έξι κάρτες για μία ώρα. Για τα burst workloads, η χωρητικότητα των εγκαταστάσεων παραμένει αδρανής 23 ώρες κάθε 24 ώρες. Τα μαθηματικά του TCO καταρρέουν: αυτό το κουτί έξι καρτών με αξιοποίηση 4% κοστίζει 13–25 €/Mtok στο ισοδύναμο του παραπάνω πίνακα. Ένα cloud burst στα 1.50 €/Mtok εξυπηρετεί το ίδιο φορτίο για συνολικά 15 €. Το break-even δεν είναι καν κοντά.
Το αναπόφευκτο συμπέρασμα: η προσπάθεια υπολογισμού του μεγέθους των on-premium μονάδων για την κορύφωση της μέγιστης κατανάλωσης είναι το πιο συνηθισμένο λάθος υπερβολικής δαπάνης που βλέπουμε. Οι πελάτες θέλουν το κουτί να καλύψει το χειρότερο σενάριο το απόγευμα της Τρίτης και έτσι αγοράζουν 4 φορές περισσότερες GPU από όσες χρειάζονται σε μια κανονική εβδομάδα. Ο λογαριασμός έρχεται με τη μορφή κεφαλαιουχικών δαπανών που δεν μπορούν να ανακτήσουν και ενός στόλου σε αδράνεια κατά 90%.
Το υβριδικό μοτίβο
Η ειλικρινής αρχιτεκτονική για ένα πραγματικό φόρτο εργασίας παραγωγής και με τα δύο σχήματα είναι η αρχική γραμμή βάσης (on-premium baseline) συν την υπερχείλιση cloud burst.
Υβριδική δρομολόγηση: πρώτα εντός εγκατάστασης, υπερχείλιση cloud μόνο όταν το βάθος της ουράς υπερβεί το διαμορφωμένο όριο.
Η σωστή λογική δρομολόγησης δεν είναι "αποστολή X% στο cloud, υπόλοιπο σε on-prem". Είναι πρώτα on-prem, cloud μόνο όταν το on-prem είναι πλήρως φορτισμένο . Το σήμα είναι το βάθος ουράς ή η αξιοποίηση της προσωρινής μνήμης KV στην πλευρά vLLM ( το K03 καλύπτει τις μετρήσεις), όχι ένας στατικός διαχωρισμός.
Συνταγή σκυροδέματος με vLLM:
- Μπροστά στο ενσωματωμένο σύμπλεγμα βρίσκεται ένας δρομολογητής που εκθέτει
/v1/chat/completionsΤα NGINX, HAProxy, ο δρομολογητής vLLM ή μια μικρή προσαρμοσμένη πύλη λειτουργούν όλα. - Εκθέσει
vllm:num_requests_waitingως μετρητής βάθους ουράς. Το όριο, ας πούμε, είναι 8–16 αναμονή ανά αντίγραφο πριν ενεργοποιηθεί η εφεδρική λειτουργία. - Σε περίπτωση υπερχείλισης, δρομολογήστε σε ένα τελικό σημείο cloud με το ίδιο όνομα μοντέλου. Τα OpenRouter / Together / Fireworks εξυπηρετούν όλα μοντέλα κλάσης Llama. Καρφιτσώστε ένα ως κύριο και ένα ως εφεδρικό, ώστε να μην έχετε μόνο έναν πάροχο.
- Αιτήματα υπερχείλισης ετικετών στην παρατηρησιμότητα, ώστε να μπορείτε να βλέπετε, καθημερινά, σε ποιο ποσοστό πληρώνετε. Εάν είναι πάνω από 15% τις περισσότερες ημέρες, η εσωτερική σας εγκατάσταση είναι υπομεγέθης. Εάν είναι κάτω από 1% για εβδομάδες, η εσωτερική σας εγκατάσταση είναι υπερμεγέθης.
Η οικονομική λογική: πληρώστε τις κεφαλαιουχικές δαπάνες μία φορά για το φορτίο που υπάρχει πάντα , πληρώστε μεταβλητούς ρυθμούς cloud για τις αιχμές. Αν γίνει σωστά, αυτό επιτυγχάνει αποτελεσματική αξιοποίηση στο on-prem box στο 50–70% (το όριο δρομολόγησης είναι αυτό που ρυθμίζετε), διατηρώντας παράλληλα τις δεσμεύσεις καθυστέρησης ουράς άθικτες κατά τη διάρκεια των bursts.
Κρύα εκκίνηση: η πραγματικότητα της αυτόματης κλιμάκωσης
Η αφελής απάντηση σε ένα πρόβλημα bursty load, τύπου cloud, είναι η "αυτόματη κλιμάκωση του on-prem cluster" — διατήρηση των αντιγράφων στο μηδέν όταν είναι αδρανείς και περιστροφή κατά παραγγελία. Αυτό παρουσιάζει σοβαρά προβλήματα στην υπηρεσία LLM για έναν λόγο: τον χρόνο φόρτωσης του μοντέλου.
Η φόρτωση του Llama 70B FP8 (~75 GB βαρών) από μια μονάδα δίσκου Gen5 NVMe διαρκεί 30–60 δευτερόλεπτα καθαρής εισόδου/εξόδου με θεωρητικές ταχύτητες ανάγνωσης 12–14 GB/s. Προσθέστε τη μεταγλώττιση πυρήνα CUDA, την προθέρμανση του χρονοπρογραμματιστή vLLM, την προκαταβολή της προσωρινής μνήμης KV και ένα νέο αντίγραφο είναι έτοιμο να δεχτεί το πρώτο του αίτημα 60–120 δευτερόλεπτα μετά την εκκίνηση της ομάδας . Τα μικρότερα μοντέλα βοηθούν αναλογικά — ένα 8B χωράει σε 5–10 δευτερόλεπτα — αλλά οτιδήποτε πάνω από 30B βρίσκεται στο εύρος "οι χρήστες θα λήξουν το χρονικό όριο".
Για φόρτους εργασίας μαζικής παραγωγής, αυτό είναι εντάξει. Για διαδραστικά φόρτα εργασίας, είναι μοιραίο. Δύο λεπτά καθυστέρησης στο αίτημα που ενεργοποίησε το συμβάν κλιμάκωσης είναι απαράδεκτα.
Οι μετριασμοί, κατά σειρά προσπάθειας:
- Διατηρείτε τα N αντίγραφα πάντα ζεστά. Το ελάχιστο που χωράει το μέσο φορτίο σας. Ζυγαριά up κατ' απαίτηση, ποτέ στο μηδένΤο μοτίβο ελάχιστης θερμοκρασίας είναι αυτό γύρω από το οποίο οι ώριμοι φορείς εκμετάλλευσης κατασκευάζουν ολόκληρα προϊόντα.
- Λειτουργία ύπνου vLLM. Οι νεότερες εκδόσεις vLLM υποστηρίζουν μια κατάσταση "ύπνου" όπου τα βάρη παραμένουν στη μνήμη της GPU, αλλά η μηχανή απελευθερώνει υπολογιστικούς πόρους. Η αφύπνιση είναι 18–20 φορές πιο γρήγορα από ένα φρέσκο φορτίοΧρήσιμο όταν έχετε πολλά μοντέλα που μοιράζονται GPU αλλά εκτελείται μόνο ένα κάθε φορά.
- Προθερμασμένη προσωρινή μνήμη μοντέλου σε κοινόχρηστο NVMe / NFS. Τραβήξτε τα βάρη μία φορά σε μια γρήγορη τοπική προσωρινή μνήμη, όλα τα αντίγραφα την προσαρτούν. Η πρώτη φόρτωση γίνεται μία φορά κατά την εκκίνηση του συμπλέγματος. Τα επόμενα αντίγραφα εμφανίζονται σε δευτερόλεπτα.
-
Προγραμματισμένη κλιμάκωση ανά ώρα της ημέρας. Προ-κλιμάκωση στις 08:30 εν αναμονή της κυκλοφορίας στις 09:00. Το απλούστερο και πιο αποτελεσματικό μοτίβο για προβλέψιμους ημερήσιους φόρτους εργασίας. Ρύθμιση CronJobs
kubectl scaleείναι εκτός μόδας αλλά λειτουργούν. - Χειριστής NIM NVIDIA με προκατασκευασμένους μηχανισμούς TRT-LLM. Οι κινητήρες κατασκευάζονται εκ των προτέρων, αποθηκεύονται προσωρινά σε δίσκο, φορτώνονται κατ' απαίτηση. Ταχύτερη εκκίνηση εν ψυχρώ από τη νέα μεταγλώττιση, αλλά ακόμα σε δεκάδες δευτερόλεπτα για 70B.
Για την πελατειακή βάση της Kentino AI — μικροί στόλοι, προβλέψιμα μοτίβα χρήσης — η σωστή απάντηση είναι σχεδόν πάντα N warm replicas + προγραμματισμένη κλιμάκωση + υπερχείλιση cloud burst. Η κλιμάκωση στο μηδέν είναι για πλατφόρμες χωρίς διακομιστή όπου κάποιος άλλος τρώει την ψυχρή εκκίνηση.
Αυτόματη κλιμάκωση: HPA με βάση τι;
Το Kubernetes HPA χρησιμοποιεί από προεπιλογή μετρήσεις CPU και μνήμης. Και οι δύο είναι λανθασμένες για την εξαγωγή συμπερασμάτων GPU. Ένα vLLM pod μπορεί να είναι στο 5% της CPU και 100% υπερφορτωμένο ή στο 95% της CPU και να λειτουργεί καλά. Η μέτρηση που χρειάζεστε πραγματικά είναι μία από τις εξής:
| Μετρικός | Τι μετρά | Χρήση όταν |
|---|---|---|
vllm:num_requests_waiting |
Βάθος ουράς (τα αιτήματα δεν έχουν ακόμη προγραμματιστεί) | Διαδραστικά φόρτα εργασίας ευαίσθητα στην καθυστέρηση |
vllm:gpu_cache_usage_perc |
Αξιοποίηση της προσωρινής μνήμης KV σε όλες τις GPU | Ρυθμίσεις μεγάλου πλαισίου ή πολλές ταυτόχρονες ρυθμίσεις |
vllm:num_requests_running |
Ενεργά αιτήματα ανά αντίγραφο | Κλιμάκωση απόδοσης-κορεσμού |
request_rate_per_replica |
Αιτήματα/δευτ. ανά αντίγραφο (υπολογισμός Prometheus) | Φόρτοι εργασίας σταθερού ρυθμού |
| Προσαρμοσμένο: εκκρεμότητα διακριτικών ανά δευτερόλεπτο | Διακριτικά στην ουρά × εκτιμώμενος χρόνος αποκωδικοποίησης | Φόρτοι εργασίας αιτημάτων μικτού μήκους |
Το κατάλληλο εργαλείο για να το συνδέσετε αυτό στο Kubernetes είναι το KEDA (Kubernetes Event-Driven Autoscaling), το οποίο μπορεί να καταναλώσει απευθείας ερωτήματα Prometheus και να τα τροφοδοτήσει σε ένα HPA. Η στοίβα παραγωγής vLLM προσφέρει ενσωμάτωση KEDA πρώτης κατηγορίας και το ίδιο μοτίβο λειτουργεί με το KServe σε OpenShift AI.
Ένα λειτουργικό ScaledObject για κλιμάκωση βάθους ουράς:
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: vllm-llama70b
spec:
scaleTargetRef:
name: vllm-llama70b
minReplicaCount: 2 # always-warm floor
maxReplicaCount: 6 # cap before cloud overflow
pollingInterval: 15
cooldownPeriod: 300 # don't thrash on noisy queue
triggers:
- type: prometheus
metadata:
serverAddress: http://prometheus:9090
query: avg(vllm:num_requests_waiting)
threshold: '5' # avg 5 waiting per replica → scale up
Δύο μαθήματα παραγωγής που έχουμε συλλέξει με τον δύσκολο τρόπο:
-
cooldownPeriodέχει τόση σημασία όσο και η σκανδάλη. Μια θορυβώδης ουρά προκαλεί συνεχόμενη αύξηση/μείωση της κλίμακας, και κάθε αύξηση της κλίμακας αποδίδει το ψυχρό ξεκίνημα. 5 λεπτά είναι το λογικό ελάχιστο. -
minReplicaCountθα πρέπει να έχει μέγεθος για την κοιλότητα, όχι μηδέν. Τα δύο pods που παραμένουν αδρανή στις 03:00 είναι τα δύο pods που διαχειρίζονται την αιχμή στις 09:00 χωρίς χρονικό όριο.
Οριζόντια κλίμακα έναντι κάθετης κλίμακας
Μια διακριτική αρχιτεκτονική επιλογή κατά τον καθορισμό του μεγέθους: αγοράζετε περισσότερα κουτιά (οριζόντια) ή περισσότερες GPU ανά κουτί (κάθετα);
| Άξονας | Οριζόντια: 2× κουτιά των 4 GPU | Κάθετη: 1× κουτί με 8 GPU |
|---|---|---|
| Οι επενδύσεις | Υψηλότερο (σασί × 2) | Κάτω (ένα σασί) |
| Ακτίνα έκρηξης αστοχίας | Ο μισός στόλος | Ολα αυτά |
| Βήμα κλιμάκωσης | Ένα κουτί τη φορά | Μία GPU κάθε φορά (εντός του κουτιού) |
| Κλιμάκωση TP | TP=4 μέγιστο ανά κόμβο | TP=8 πιθανό (με φόρο PCIe — βλ. K03) |
| Κύκλωμα ισχύος | Δύο κυκλώματα 16 A 3-ph | Ένα τριφασικό κύκλωμα 32 A |
| Το καλύτερο για | Προβολή με ευαισθησία στην καθυστέρηση με απομόνωση αντιγράφων | Βαριά εκπαίδευση ενός μοντέλου ή συμπερασμός κατηγορίας 405B |
Για φόρτους εργασίας συμπερασμού με εκρηκτική κίνηση, η οριζόντια μέθοδος σχεδόν πάντα κερδίζει. Δύο κουτιά 4 GPU μπορούν να λειτουργήσουν ως τέσσερα αντίγραφα DP=2, να δεχθούν πλήγμα σε ένα κουτί χωρίς να χάσουν την υπηρεσία και να σας επιτρέψουν να κλιμακώσετε την χωρητικότητα στο μισό αντί για ολόκληρες μονάδες. Η κάθετη μέθοδος είναι η σωστή επιλογή για εκπαίδευση και για πολύ μεγάλη συμπερασματική μέθοδο ενός μοντέλου, όπου η TP χρειάζεται τις GPU σε έναν ηλεκτρικό τομέα.
Η ψυχολογική παγίδα «Η GPU είναι αδρανής αλλά την πληρώνω εγώ»
Οι πελάτες που επισκέπτονται την εγκατάσταση για πρώτη φορά συχνά εμφανίζουν τον πίνακα ελέγχου του Grafana, βλέπουν την αξιοποίηση της GPU στο 18% στις 14:30 μια Τρίτη και ρωτούν γιατί πλήρωσαν για υλικό που δεν κάνει τίποτα το 80% του χρόνου.
Η ειλικρινής απάντηση είναι ότι για οποιοδήποτε φόρτο εργασίας που είναι ευαίσθητο στην καθυστέρηση, κάποια αδράνεια είναι η τιμή που πληρώνετε για απόκριση με χαμηλή καθυστέρηση. Ένα κουτί με 95% συνεχή αξιοποίηση έχει μια ουρά. Μια ουρά σημαίνει καθυστέρηση αιτήματος. Ο πελάτης που θέλει χρόνο 300 ms έως το πρώτο διακριτικό δεν λαμβάνει επίσης 95% αξιοποίηση στο ίδιο κουτί. Επιλέξτε ένα.
Το συμβιβαστικό αποτέλεσμα που μπορεί να βελτιστοποιηθεί είναι η μεταφορά σταθερής εργασίας στα αδρανή παράθυρα :
- Μαζικές εργασίες (αυτόματη επισήμανση, εξαγωγή εγγράφων, δημιουργία ενσωμάτωσης για νέο περιεχόμενο) προγραμματισμένες κατά τη διάρκεια της νύχτας όταν το chatbot είναι αθόρυβο.
- Η βελτιστοποίηση εκτελείται τα Σαββατοκύριακα όταν δεν υπάρχουν χρήστες ενεργοποιημένοι.
- Περιοδική επανακαταλογογράφηση των αποθηκών διανυσμάτων κατά τις πρώτες πρωινές ώρες.
Αυτή είναι η πρακτική της αντιμετώπισης του on-prem box ως περιουσιακού στοιχείου διπλού σκοπού : διαδραστική εξυπηρέτηση ευαίσθητη στην καθυστέρηση κατά τη διάρκεια της ημέρας, μαζική εργασία κατά τη διάρκεια της νύχτας. Αν γίνει σωστά, το ίδιο υλικό που καταγράφει αξιοποίηση 25% στον διαδραστικό πίνακα ελέγχου καταγράφει αξιοποίηση 65% στον πίνακα ελέγχου όλων των φόρτων εργασίας. Ο CFO εξετάζει το δεύτερο.
Τι δεν αποτελεί λύση: η τεχνητή αύξηση του ρυθμού αιτημάτων για να "φαίνονται απασχολημένοι". Οι πελάτες το δοκιμάζουν περιστασιακά. Επιδεινώνει την καθυστέρηση στην ουρά, καθιστά την παρακολούθηση άχρηστη και δεν αλλάζει τον λογαριασμό.
Ο πίνακας αποφάσεων
Το σχήμα του φόρτου εργασίας, περισσότερο από τον όγκο, υπαγορεύει τη σωστή αρχιτεκτονική. Αντιστοιχίστε την κατάστασή σας στην πλησιέστερη σειρά:
| Σχήμα φόρτου εργασίας | Μηνιαία διακριτικά | Προτεινόμενο μείγμα πλατφόρμας |
|---|---|---|
| Διαρκής διαδραστική, προβλέψιμη ημερήσια | <100 Μ | Μόνο Cloud APIs. Η εσωτερική εγκατάσταση δεν θα αποπληρώσει |
| Διαρκής διαδραστική, προβλέψιμη ημερήσια | 100 Μ – 1 Β | Μονό κουτί 4 GPU L40 / 5090, μόνο βασική γραμμή· υπερχείλιση cloud burst |
| Διαρκής διαδραστική, προβλέψιμη ημερήσια | 1 Β – 10 Β | Κιβώτιο 4 GPU Pro 6000 BW σε χρήση 50–70%· υπερχείλιση cloud από πάνω |
| Διαρκής διαδραστική, 24/7 υψηλή επισκεψιμότητα | > 10 Β | Κουτί Pro 6000 με 8 GPU, πιθανώς δύο. Μέγεθος για 70ο εκατοστημόριο + υπερχείλιση |
| Με δέσμες, ρυθμό ουράς | κάθε | Στο χώρο παραγωγής μέχρι το τέλος· μέγεθος για συνολικό όγκο / 30 ημέρες × συντελεστής ασφαλείας |
| Καθαρή έκρηξη, < 6 ώρες/μήνα | κάθε | Μόνο στο cloud. Μην αγοράζετε υλικό |
| Υβριδική έκρηξη πάνω από τη διατηρούμενη αρχική τιμή | κάθε | Εσωτερική εγκατάσταση για βασική τιμή στο 60% του στόχου αξιοποίησης· υπερχείλιση νέφους |
| Ρυθμιζόμενη / δεδομένα-δεν-μπορούν-να-φύγουν | κάθε | Υποχρεωτική η τοποθέτηση στο χώρο. Το μέγεθος είναι ειλικρινά κατάλληλο για μέγιστη χρήση, αποδεχτείτε χαμηλότερη χρήση. |
Δύο πράγματα που αυτός ο πίνακας κάνει σωστά και που ο ad hoc σχεδιασμός κάνει λάθος:
- Τα καθαρά burst workloads ανήκουν στο cloud. Η αγορά υλικού για ένα φόρτο εργασίας που διαρκεί τέσσερις ώρες το μήνα αποτελεί κακή πρακτική.
- Το υβρίδιο "συνεχούς + έκρηξης" σχεδόν πάντα θέλει και τα δύο. Η προσπάθεια να διαλέξεις το ένα ή το άλλο συνήθως καταλήγει σε λάθος επιλογή.
Η ειλικρινής άποψη
Οι περισσότεροι πελάτες της Kentino θα πρέπει να σχεδιάζουν για 30–50% διαρκή αξιοποίηση σε τοπικό επίπεδο και να χρησιμοποιούν το cloud overflow για όλα τα παραπάνω. Οι πελάτες που φτάνουν στο 60–80% αξιοποίηση σε τοπικό επίπεδο είναι αυτοί που εκτελούν μαζική εργασία παράλληλα με διαδραστική λειτουργία — αυτόματη επισήμανση κατά τη διάρκεια της νύχτας, βελτιστοποίηση τα Σαββατοκύριακα, ενσωμάτωση παραγωγής στις μικρές ώρες. Οι πελάτες που έχουν ποσοστό αξιοποίησης 10–15% είναι αυτοί που έχουν σχεδιάσει για την περίοδο αιχμής.
Το πιο ακριβό λάθος είναι η αγορά για το χειρότερο σενάριο το απόγευμα της Τρίτης. Το δεύτερο πιο ακριβό λάθος είναι η επιλογή του καθαρού cloud, όταν το συνεχές φορτίο θα αποζημίωνε τις κεφαλαιουχικές δαπάνες σε 14 μήνες. Η σωστή απάντηση βρίσκεται σχεδόν πάντα στη μέση: ένα μικρότερο box on-prem από αυτό που αρχικά είχε ορίσει ο πελάτης, με μια διαδρομή υπερχείλισης cloud για τις αιχμές.
Διασταυρώστε τα μαθηματικά: με τιμές cloud 0.50 €/Mtok και ένα κουτί Pro 6000 με 4 GPU που κοστίζει 58 € σε διάστημα 3 ετών, το κουτί αποσβένει τα έξοδά του με περίπου 14 δισεκατομμύρια tokens που εξυπηρετούνται. Κατανεμημένα ομοιόμορφα, δηλαδή συνολικά ~150 tok/s — πολύ κοντά στο κουτί με αξιοποίηση 25–35%. Κάτω από αυτόν τον όγκο, ενοίκιο. Πάνω από αυτόν, ιδιόκτητο. Αυτό είναι το ίδιο σημείο ισορροπίας που καλύπτουν οι T01 και T02 από τις οπτικές γωνίες ανά κάρτα και ανά token.
Τι να κάνω μετά
Ροή σχεδιασμού χωρητικότητας για μια νέα ανάπτυξη, επεξεργαστείτε τα εξής με τη σειρά:
- Μετρήστε ή εκτιμήστε τον μηνιαίο όγκο των token σας για τους επόμενους 6–12 μήνες. Να είστε ειλικρινείς· οι προβλέψεις ανάπτυξης συνήθως υπερεκτιμώνται κατά 2–3 φορές.
- Σχεδιάστε την ωριαία κατανομή της τιμής των συμβολαίων. Όχι ο μέσος όρος — το 50ό, 75ο, 95ο και 99ο εκατοστημόριο των ωριαίων τιμών κατά τη διάρκεια των τελευταίων 30 ημερών (ή η καλύτερη εκτίμησή σας). Το σχήμα καθορίζει τα πάντα παρακάτω.
- Επιλέξτε το στοχευόμενο μέγεθος για επιτόπια τοποθέτηση. Στόχος είναι να διαχειριστείτε την 70ή-80ή εκατοστημόρια ώρας εντός εγκατάστασης. Αφήστε το cloud να διαχειριστεί τα κορυφαία 20-30%. Αυτό σας φέρνει σε 50-60% αποτελεσματική αξιοποίηση, όπου και λειτουργούν τα μαθηματικά.
- Προσδιορίστε την εργασία σε παρτίδες για το γέμισμα των γούρνων. Αυτόματη προσθήκη ετικετών, ανανέωση ενσωμάτωσης, σύνοψη, βελτιστοποίηση — οτιδήποτε μπορεί να προγραμματιστεί στις 03:00 και δεν ενδιαφέρεται πότε θα ολοκληρωθεί. Χωρίς αυτό, η αποτελεσματική αξιοποίησή σας περιορίζεται στον διαδραστικό μέσο όρο.
- Σχεδιάστε τη διαδρομή υπερχείλισης πριν αγοράσετε υλικό. Διάλεξε τον πάροχο cloud, πάρε ένα κλειδί API, γράψε τη λογική δρομολόγησης. Μην το προσθέσεις αργότερα ως άσκηση πυρασφάλειας όταν η εκτόξευση γίνει viral.
- Ρυθμίστε το όριο αυτόματης κλιμάκωσης στο "ελάχιστο για κρύα εκκίνηση". Δύο θερμά αντίγραφα είναι η ασφαλής προεπιλογή. Η καθυστέρηση ψυχρής εκκίνησης στα μοντέλα κατηγορίας 70B είναι 30–60 δευτερόλεπτα. Χρειάζεστε θερμαινόμενα pods για να απορροφήσετε την αιχμή κατά τη φόρτωση των νέων.
- Παρακολουθήστε την πραγματική αναλογία €/Mtok μηνιαίως, όχι τη χρήση της GPU. TCO ÷ εξυπηρετούμενα tokens. Εάν αυτός ο αριθμός αυξηθεί με την πάροδο του χρόνου, το κουτί είναι μικρότερο από το επιθυμητό μέγεθος ή το φόρτο εργασίας έχει αλλάξει σχήμα. Εάν παραμείνει επίπεδο ή μειωθεί, το μέγεθος είναι σωστό.
Οι επόμενες αναλύσεις σε αυτήν την ενότητα επεξεργάζονται τους ίδιους αριθμούς από διαφορετικές οπτικές γωνίες: τα οικονομικά ανά κάρτα στο T01 , η σύγκριση ανά token σε περιβάλλον εγκατάστασης έναντι cloud στο T02 . Η πλευρά της υποδομής βρίσκεται στο K03 (ομαδοποίηση και παραλληλισμός), I04 (το περίβλημα ισχύος και ψύξης που δεν μπορείτε να σπάσετε) και I06 (στόλοι πολλαπλών ρομπότ που οδηγούν σε φορτίο αειφόρου συμπερασμού).
Η μόνη πρόταση που πρέπει να θυμάστε: χρησιμοποιήστε το μέγεθος on-prem για το φορτίο που υπάρχει πάντα, χρησιμοποιήστε το cloud για το φορτίο που δεν υπάρχει. Η προσπάθεια να κάνετε οποιαδήποτε από τις δύο εργασίες με λάθος εργαλείο είναι αυτό που σπάει τον προϋπολογισμό.
Αυτό είναι μέρος του Kentino Wiki, μιας σειράς αναφοράς για την υπολογιστική Τεχνητή Νοημοσύνη, τη ρομποτική και τα συστήματα που τα συνδέουν. Σχόλια και διορθώσεις είναι ευπρόσδεκτα στο info@kentino.com.