Inférence soutenue ou en rafale : quand l'on-prem gagne, quand le cloud vous sauve

Un serveur d'inférence à quatre GPU consomme la même électricité, occupe la même place en rack et s'amortit au même rythme, θα σερβίρει εκατομμύρια εκατομμύρια μάρκες par jour ou vingt mille. Les cartes ne savent pas qu'elles sont inactives. Le comptable, si. Cette seule asymétrie — coût fixe du côté on-prem, coût marginal du coté cloud — explique à elle seule pourquoi la bonne réponse à « faut-il passer on-prem ? » εξαρτώνται από τον όγκο της κυκλοφορίας.

T01 a traité le calcul par carte à un seul point d'utilisation. T02 συγκρίνετε le coût par εκατομμύρια de tokens aux API cloud à pleine charge. Cet article (T03) est celui que votre directeur financier doit vraiment lire : ce qu'il advient de ces chiffres quand le trafic est en rafales, quand il est soutenu, et comment architecturer un système qui ne surpaie d'aucun côté.

Le lecteur visé est celui qui a déjà conclu que sa charge de travail pourrait tenir on-prem et doit maintenant décider quelle part passe on-prem, et ce qui prend le relais pour le reste.

Η άκρη του σταθερού πάτου

Dans le cloud, le coût de l'inférence suit l'usage. Un appel Llama 70B chez un fournisseur OpenRouter vous coûte environ €0.50–2.00 € ανά εκατομμύριο μάρκες (selon le palier et le fournisseur). Pas de trafic, pas de facture. 10× plus de trafic, 10× la facture. La relation est linéaire et part de zero.

L'Inférence on-prem, c'est l'inverse. Une machine à 4× RTX Pro 6000 Blackwell ( T01 situe le TCO sur 3 and autour 58k € περιλαμβάνει — capex amorti, électricité, quote-part du chassis, συντήρηση) coûte ces 58k € qu'elle serve 1.000.000 μίλια. Le coût marginal du 200-millionième token du mois est le même que celui du deuxième : le kWh d'électricité qu'il a fallu pour le calculer, rien de plus. Le capex est un coût irrécupérable dès le jour de la livraison.

La conséquence comptable est brutale, et rarement intégrée par les acheteurs :

Ποσό χρήσης Εξυπηρέτηση Tokens / 3 ans (Pro 6000, Llama 70B FP8 batch 32) €/Mtok effectif
100% 45.4 Β 0.32
60% 27.2 Β 0.53
30% 13.6 Β 1.07
10% 4.5 Β 3.21
5% 2.3 Β 6.42

(Même matériel, même TCO de 14.4k € par carte sur trois ans , seul le denominateur αλλαγή.)

Le tarif cloud pour Llama 70B FP8 en 2026 se situe dans la fourchette €0.50–€1.50/Mtok selon le palier du fournisseur. Relisez le tableau avec cela en tête. À 5% d'utilisation soutenue, la machine on-prem revient συν cher que toutes les options cloud existantes. À 30%, elle fait jeu égal avec les fournisseurs les plus chers. À 60% και au-delà, le calcul lui donne largement raison.

Le piège : les clients comparent le capex à la charge actuelle, puis découvrent six mois plus tard que cette χρέωση αντιπροσωπεύουν 8% από τη μηχανή. Le matériel n'y est pour rien. Le dimensionnement, si.

À quoi μοιάζει με l'utilisation réelle en production

Nous disposons de données publiques et de nos propres relevés sur les εγκαταστάσεις Kentino AI que nous exploitons ou visitors, et le tableau est cohérent dans tout le secteur en 2026 :

Κατηγορία εργασίας Τυπική χρήση Παρατηρήσεις
Συνομιλία / chatbot destiné aux πελάτες 10-25% Trafic diurne, chute le weekend, machine inactive la moitié de la journée
Βοηθός εσωτερικού κώδικα 15-30% Ισχυρή χρέωση από τις 09:00 έως τις 18:00, σχεδόν μηδενική
Πράκτορας / ροή εργασιών d'appel d'outils 20-40% En rafales par session ; dépend du nombre d'agents
Recherche RAG + LLM (recherche sémantique) 25-50% Assez régulier, piloté par le débit de requêtes
Par lots Traitement (étiquetage automatique, βιογραφικό, ντοκουμέντο εξαγωγής) 60-90% Piloté par file d'attente, cadençable pour remplir la capacité
Entraînement continu / μικρορύθμιση 90% + Toujours à fond ; le cas facile

Les chiffres marquants issus des déploiements en production et des enquêtes auprès des opérateurs : la plupart des équipes qui γραμματοσειρά tourner leur propre inférence rapportent 20–40% d'utilisation GPU moyentés 40 εγκαταστάσεων 65 % ωριμάζει, . Au-delà de 65% en soutenu, il s'agit soit de pur traitement par lots, soit d'un cluster qui tourne assez chaud pour que le prochain pic mette des requêtes en file. Με 20%, la machine tourne surtout pour se rembourser, pas pour servir des utilisateurs.

Le chiffre qui surprend toujours les acheteurs : une charge de travail interactive — un chatbot, un assistant de code, un bot de support client — ne tient presque jamais plus 30%. La raison tient à la lumière du jour. Même un produit mondial a ses heures creuses ; un produit régional connaît 14 heures de faible χρέωση chaque jour. Le calcul sanctionne durement cette réalité.

Φορτίζει soutenues — le cœur de métier

L'économie de l'on-prem fonctionne sans hardé pour toute charge de travail où vous pouvez occuper les GPU la majeure party de la journée. Κατά προσέγγιση συχνότητα εγκατάστασης Kentino AI:

  • Assistant de code / backend d'IDE pour une équipe de plus de 30 ingénieurs. Χρεώστε régulière en semaine από τις 09:00 έως τις 18:00, συν légère le soir, σχεδόν μηδενικό για το Σαββατοκύριακο. Moyenne de 20–30% sur la semaine, avec des pointes à 60–80% pendant la journée de travail.
  • Chatbot για υποστήριξη πελάτη / devente avec un trafic 24h/24 et 7j/7. Le profil diurne suit la région desservie ; les produits mondiaux se situent à 25–35% en soutenu, les produits régionaux à 15–25%.
  • Backend RAG / recherche sémantique qui indexe et sert une base de connaissances interne. Le débit de requêtes est assez régulier ; la réindexation est une tâche nocturne planifiée qui met la machine à 95%. Συνδυασμός χρήσης 30–50%.
  • Επεξεργασία παρτίδας — resumé nocturne des documents de la veille, campagnes d'étiquetage automatique hebdomadaires, reclassements mensuels sur un corpus. Περάστε από το αρχείο d'attente, 70–90% d'utilisation tant que la file n'est pas vide, conçu pour aller jusqu'au bout.
  • Inférence pour flotte de robots — plusieurs unités tirant sur le même point de terminaison VLM pendant les heures d'exploitation, inactives en dehors (I01, I06).

La Constante : les charges soutenues couvrent soit assez de fuseaux horaires pour remplir la journée, soit comportent des composantes par lots qui comblent volontairement les creux. Η τεχνική du « remplissage des creux » είναι συν η συνεισφορά του TCO à la portée d'un client, et le plus négligé. Une machine qui fait du chat interactif 12 heures par jour à 30% et de l'étiquetage automatique la nuit à 90% tourne en moyenne autour de 60% — deux fois l'utilisation effect, deux fois moins cher par token.

Χρεώσεις en rafales — là où l'on-prem fait mal

La forme opposée est une charge qui exige une capacité énorme sur une courte fenêtre et presque rien le reste du temps. Les exemples que nous voyon régulièrement :

  • Campagne marketing/production de contenu en poussée. Générer des variantes pour une campagne publicitaire sur N marchés en 48 heures, puis plus rien pendant un mois.
  • Στιγμές περιεχομένου που έγιναν viral. Une application grand public lance une fonctionnalité, se fait repérer par une une newsletter tech, le trafic passe à 50× la normale pendant six heures et retrouve son niveau de base le lendemain matin.
  • Démos / événements pilotes. Un stand de salon qui fait tourner des démos d'inférence en direct pendant trois jours, puis plus rien.
  • Travaux par lots periodikues à boucler dans une fenêtre. Analyse de conformité mensuelle sur l'ensemble d'un corpus documentaire, à terminer avant une échéance réglementaire.
  • Analytique de soirée électorale ou d'événement en direct — une fenêtre de 12–48 heures où le volume est 100× la normale.

Παράδειγμα chiffre. Une charge de travail doit générer 10 εκατομμύρια μάρκες. Répartis sur 24 heures, cela fait environ 116 tok/s en cumulé — une seule L4 y suffit. Συμπληρώνει μια νέα τεχνολογία, 2,778 τόκους/δευτερόλεπτα — αν θέλετε μια μηχανή 4 GPU Pro 6000 σε πλήρες καθεστώς, ή περιβάλλον έξι L4.

Les mêmes 10 εκατομμύρια de tokens exigent donc soit une carte 24h/24 et 7j/7, soit six cartes pendant une heure. Pour les charges en rafales, la capacité on-prem reste inactive 23 heures sur 24. Le calcul de TCO s'effondre : Cette machine à six cartes à 4% d'utilisation revient à 13–25 €/Mtok dans l'éaudessus du table. Une rafale dans le cloud à 1.50 €/Mtok sert la même χρέωση pour 15 € ή συνολικά. Le point d'équilibre n'est même pas proche.

Το συμπέρασμα επιβάλλει : chercher à dimensionner l'on-prem pour le pic de rafale est l'erreur de surdépense la plus fréquente que nous rencontrons. Les clients veulent que la machine encaisse le pire mardi après-midi δυνατό, και achètent donc 4× les GPU δεν είναι πάνω σε μια κανονική κατάσταση. La facture arrive sous forme de capex irrécupérable et d'un parc inactif à 90%.

Το υβριδικό σχήμα

Αρχιτεκτονική υψηλών προδιαγραφών pour une vraie charge de production qui cumule les deux formes, c'est une base on-prem plus un débordement en rafale vers le cloud.

Ρουτερ καναπέ / LB
Διαδρομή toutes les requêtes. On-prem d'abord ; σύννεφο μοναδικότητα lorsque la profondeur de file on-prem dépasse le seuil.
→ κύριος
vLLM σε τοπικό επίπεδο
Διάσταση με χρέωση 70 εκατοστών. Tourne à une cible αξιοποίησης 50–70%. Tout le trafic είναι κανονική υπηρεσία.
Ρουτερ καναπέ / LB
βαθύς αρχειοθέτης > N ;
→ αποσυμφόρηση μοναδικότητας
Repli API cloud
Facturé au token. Χρησιμοποιήστε μοναδικές φωτογραφίες.

Routage hybride : on-prem d'abord, débordement cloud seulement quand la profondeur de file franchit le seuil configuré.

La bonne logique de routage n'est pas « envoyer X% au cloud, le reste en on-prem ». C'est on-prem d'abord, cloud uniquement quand l'on-prem est saturé . Le signal, c'est la profondeur de file ou l'utilisation du cache KV côté vLLM ( K03 détaille les métriques), μετά την επιδιόρθωση της αναδιαμέρισης.

Σκυρόδεμα με vLLM:

  1. Placez devant le cluster on-prem un router qui expose /v1/chat/completions. NGINX, HAProxy, le vLLM Router ou une petite passerelle maison font tous l'affaire.
  2. Εκθεμα vllm:num_requests_waiting comme jauge de profondeur de file. Fixez le seuil à, disons, 8–16 requêtes en attente par réplique avant le déclenchement du repli.
  3. En cas de débordement, routez vers un point de terminaison cloud portant le même nom de modèle. Το OpenRouter, το Together et Fireworks σερβίρουν τα μοντέλα της κατηγορίας Llama. Désignez-en un comme principal et un comme secours, pour ne pas tomber avec un seul fournisseur.
  4. Marquez les requêtes de débordement dans votre observabilité, afin de voir chaque jour quel pourcentage vous payez à l'extérieur. S'il dépasse 15% la plupart des jours, votre on-prem est sous-dimensionné ; s'il reste sous 1% pendant des semaines, il est surdimensionné.

La logique économique : payez le capex une fois pour la charge qui est toujours là , et payez des tarifs μεταβλητές cloud pour les pics. Bien menée, cette approche porte l'utilisation αποτελεσματική de la machine on-prem à 50–70% (c'est le seuil de routage que vous ajustez) tout en preservant vos engagements de latence de queue pendant les rafales.

Démarrage à froid : la réalité de l'autoscaling

La réponse naïve, à la mode cloud, face à une charge en rafales : « autoscaler le cluster on-prem » — αντίγραφα à μηδέν au repos, démarrage à la demande. Cela casse sérieusement pour le service de LLM, pour une seule raison : le temps de charge du modèle.

Ο φορτιστής Llama 70B FP8 (~75 GB poids) αποσύρεται από τον SSD NVMe Gen5 για 30–60 δευτερόλεπτα από καθαρό E/S à des vitesses delecture théoriques από 12–14 GB/s. Ajoutez la compilation des kernels CUDA, la mise en chauffe de l'ordonnanceur vLLM et la preallocation du cache KV, et une réplique neuve est prête à prendre sa première requête 60–120 secondes aprèmar le podé . Les modèles plus petits aident ratenellement — un 8B tient en 5–10 seconds — mais tout ce qui dépasse 30B entre dans la zone « les utilisateurs vont partir en timeout ».

Pour les charges par lots, c'est sans conéquence. Pour les charges interactives, c'est rédhibitoire. Deux minutes de latence sur la requête qui a déclenché la montée en charge, είναι απαράδεκτο.

Les parades, par ordre d'fort :

  • Gardez N répliques toujours chaudes. Le minimal qui απορροφά votre charge moyenne. Montez υπεύθυνος à la demande, ne descendez jamais στο μηδέν. Le schéma du minimal chaud est ce autour de quoi les opérateurs ωριμάζει construisent des produits entiers.
  • Η κρυφή λειτουργία του vLLM. Οι πιο πρόσφατες εκδόσεις του vLLM προβάλλονται σε φόρτιση και «ύπνο» ή les poids restent en memoire GPU pendant que le moteur libère les ressources de calcul. Le réveil est Ολοκληρώθηκε η ταχεία φόρτιση 18–20×. Χρησιμοποίησε τα μοντέλα μερικών συνεργατών της GPU για να χρησιμοποιήσεις τον πρώτο γύρο.
  • Cache de modèles préchauffé sur NVMe / NFS partagé. Les poids sont tirés une fois vers un cache local rapide que toutes les répliques montent. Le premier charge n'a lieu qu'au démarrage du cluster ; les répliques suivantes montent en quelques secondes.
  • Mise à l'échelle planifiée selon l'heure. Το Montez στις 08:30 και στις 09:00 πριν από την κυκλοφορία. Le schéma le plus simple et le plus efficace pour les charges diurnes previsibles. Les CronJobs qui lancent kubectl scale ne sont pas à la mode, mais ils fonctionnent.
  • NVIDIA NIM Operator avec des moteurs TRT-LLM precompilés. Des moteurs construits à l'avance, mis en cache sur disque et charges à la demande. Démarrage à froid plus rapide qu'une compilation à chaud, mais toujours de l'ordre de la dizaine de secondes pour un 70B.

Pour la clientèle Kentino AI — petits parcs, usages previsibles — la bonne réponse est preque toujours N répliques chaudes + mise à l'échelle planifiée + débordement en rafale vers le cloud. Le scale-to-zero est fait pour les plateformesless server, où quelqu'un d'autre encaisse le démarrage à froid.

Αυτόματη κλιμάκωση : un HPA fondé sur quoi ?

Αρχικά, το HPA de Kubernetes s'appuie sur les métriques CPU et memoire. Les deux sont inadaptées à l'inférence GPU. Ένα pod vLLM peut είναι 5% από CPU και πλήρης κορεσμός, ή 95% CPU και εξυπηρετεί χωρίς προβλήματα. La métrique dont vous avez réellement besoin est l'une des suivantes :

Μετρικός Αυτό είναι το μέτρο Ένα usilier quand
vllm:num_requests_waiting Profondeur de file (requêtes pas encore planifiées) Charges interactives sensibles à la latence
vllm:gpu_cache_usage_perc Χρήση du cache KV sur l'ensemble des GPU Contextes longs ou forte concurrence
vllm:num_requests_running Requêtes actives par replique Mise à l'échelle à saturation de débit
request_rate_per_replica Requêtes/s par réplique (υπολογισμός Προμηθέας) Κανονικές χρεώσεις
Προσωπικό : arriéré de tokens par seconde Tokens en αρχείο × temps de décodage estimé Χρεώσεις aux requêtes de longueurs variées

Le bon outil pour brancher cela sur Kubernetes, c'est KEDA (Kubernetes Event-Driven Autoscaling), ικανό να κατευθύνει τον καταναλωτή des quêtes Prometheus et de les transmettre à un HPA. Η στοίβα παραγωγής vLLM περιλαμβάνει την ενσωμάτωση της KEDA για την πρεμιέρα της τάξης, και το σύστημα fonctionne avec KServe στο OpenShift AI.

Un ScaledObject fonctionnel pour la mise à l'échelle sur la profondeur de file :

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: vllm-llama70b
spec:
  scaleTargetRef:
    name: vllm-llama70b
  minReplicaCount: 2     # plancher toujours chaud
  maxReplicaCount: 6     # plafond avant débordement cloud
  pollingInterval: 15
  cooldownPeriod: 300    # ne pas s'emballer sur une file bruyante
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://prometheus:9090
      query: avg(vllm:num_requests_waiting)
      threshold: '5'     # moy. 5 en attente par réplique → montée en charge

Το Deux leçons de production περιλαμβάνει à la dure:

  1. cooldownPeriod compte autant que le déclencheur. Une file bruyante provoque un embalment entre montées et descentes en charge, et chaque montée paie le démarrage à froid. 5 λεπτά είναι τουλάχιστον λογικό.
  2. minReplicaCount doit être dimensionné sur le creux, pas sur zero. Les deux pods qui restent inactifs à 03:00 sont les deux pods qui encaissent le pic de 09:00 sans partir en timeout.

Mise à l'échelle horizontale ou verticale

Un choix d'architecture subtil au moment du dimensionnement : achetez-vous plus de machines (οριζόντια) ou plus de GPU par machine (κατακόρυφα) ?

Κριτήριο Οριζόντια: 2× μηχανήματα με 4 GPU Κάθετη: 1× μηχανή με 8 GPU
Οι επενδύσεις Συν ύψος (σασί × 2) Plus faible (un seul châssis)
Περιμετρική πρόσκρουση d'une panne Η δύση του πάρκου Το σύνολο
κοκκοποίηση Μια μηχανή στα κάρβουνα Un GPU à la fois (dans la machine)
Μισό à l'echelle TP TP=4 au μέγιστο ανά νύχτα TP=8 δυνατό (με φόρο PCIe — voir K03)
Ηλεκτρικό κύκλωμα Δύο τριφασικά κυκλώματα 16 A Τριφασικό κύκλωμα 32 A
Ιδανικό για Λογική εξυπηρέτηση à la latence avec isolation des répliques Entraînement lourd sur un seul modèle ou inférence de classe 405B

Pour les charges d'inférence au trafic en rafales, l'horizontal l'emporte presque toujours. Deux machines για 4 GPU peuvent tourner και τετράτυπα αντίγραφα DP=2, encaisser la perte d'une machine sans interrompre le service and vous permettre d'augmenter la capacité par moitiés plutôt que par unité entières. Το κάθετο s'επιβάλλει pour l'entraînement et pour l'inférence sur de très grands models uniques, où le TP exige les GPU dans un même domaine électrique.

Le piège psychologique du « GPU inactive que je paie quand même »

Les clients qui visitent l'installation pour la première fois ouvrent souvent le tableau de bord Grafana, voient l'utilisation GPU à 18% μέχρι τις 14:30, και απαιτητικό pourquoi ils ont payé un matériel qui ne 80% temper.

La réponse honnête, c'est que pour toute charge sensible à la latence, une part d'inactivité est le prix d'une réponse à faible latence de queue. Une machine à 95% d'utilisation soutenue a une file d'attente. Une file d'attente, c'est de la latence sur les requêtes. Ο πελάτης qui veut 300 ms de time-to-first-token n'obtiendra pas en plus 95% d'utilisation sur la même μηχανή. Il faut choisir.

L'arbitrage qui peut être optimisé, c'est de déplacer le travail fixe vers les fenêtres creuses :

  • Travaux par lot (étiquetage automatique, extract documentaire, génération d'embeddings pour les nouveaux contenus) planifiés la nuit, quand le chatbot est calme.
  • Sessions de fine-tuning le weekend, quand aucun utilisateur n'est connecté.
  • Réindexation periodique des bases vectorielles au petit matin.

C'est la discipline qui αποτελείται από ένα traiter la machine on-prem comme un actif à διπλή χρήση : service interactif sensible à la latence le jour, travail par lots la nuit. Bien menée, le même matériel qui affiche 25% d'utilisation sur le tableau de bord interactif en affiche 65% sur le tableau de bord toutes χρεώσεις confondues. Le directeur financier voit le second.

Ce qui n'est pas une λύση : gonfler artificiellement le débit de requêtes pour « avoir l'air occupé ». Ορισμένοι πελάτες s'y esaient. Cela dégrade la latence de queue, rend la supervision inutile et ne change rien à la facture.

Ο πίνακας αποφάσεων

C'est la forme de la charge de travail, plus que son volume, qui dicte la bonne αρχιτεκτονική. Repérez la ligne la plus proche de votre κατάσταση :

Μορφή χρέωσης Μάρκες ανά μήνα Ανακατέψτε τις συνιστώμενες πλάκες
Interactive soutenu, profil diurne previsible <100 Μ Μοναδικότητα cloud API ; l'on-prem ne se rentabilisera pas
Interactive soutenu, profil diurne previsible 100 Μ – 1 Β Une machine 4 GPU L40 / 5090, pour la base seulement ; débordement en rafale vers le cloud
Interactive soutenu, profil diurne previsible 1 Β – 10 Β Machine 4 GPU Pro 6000 BW à 50–70% χρησιμοποίηση ; σύννεφο débordement au-delà
Interactive soutenu, fort trafic 24h/24 et 7j/7 > 10 Β Μηχάνημα 8 GPU Pro 6000, voire deux ; dimensionnée sur le 70e centile + débordement
Dominé par le traitement par lots, cadencé par la file αυτό που είναι Tout en on-prem ; dimensionner sur volume total / 30 jours × facteur de securité
Καθαρό rafale, < 6 ώρες/μήνα αυτό που είναι Μοναδικότητα στο σύννεφο ; n'achetez pas de matériel
Rafale hybride par-dessus une base soutenue αυτό που είναι Προετοιμασία βάσης, avec une cible de 60% d'utilisation ; σύννεφο απόρριψης
Réglementé / données qui ne peuvent pas sortir αυτό που είναι On-prem υποχρεωτικό ; dimensionner honnêtement pour le pic, αποδέκτης une αξιοποίηση συν faible

Ο Deux επιλέγει que cette matrice voit juste et que la planification improvisée rate :

  • Les charges en pure rafale ont leur place dans le cloud. Acheter du matériel pour une charge qui tourne quatre heures par mois relève de la faute professionnelle.
  • L'hybride « soutenu + rafale » réclame presque toujours les deux. Vouloir trancher pour l'un ou l'autre, c'est généralement se tromper.

Δεν γνωρίζουμε τίποτα, χωρίς παράκαμψη

La plupart des clients Kentino devraient tabler sur 30–50% d'utilisation soutenue en on-prem et utiliser le débordement cloud pour tout ce qui dépasse. Les clients qui atteignent 60–80% d'utilisation on-prem sont ceux qui γραμματοσειρά tourner du traitement par lot en parallèle de l'interactive — étiquetage automatique la nuit, τελειοποίηση στο Σαββατοκύριακο, génération d'embretings. Ceux qui plafonnent à 10–15% d'utilisation sont ceux qui ont dimensionné pour le pic.

Το L'erreur la plus coûteuse de toutes αποτελείται από ένα acheter pour le pire mardi après-midi. La deuxième, c'est de tout passer dans le cloud alors qu'une charge soutenue aurait remboursé le capex en 14 mois. La bonne réponse se situe presque toujours au milieu : une machine on-prem plus petite que celle que le client avait d'abord spécifiée, avec une voie de débordement cloud pour les pics.

Επαλήθευση κρουαζιέρας : à des tarifs cloud από 0.50 €/Mtok και avec une machine 4 GPU Pro 6000 à 58 € σε 3 και 14 δισεκατομμύρια ευρώ σε μάρκες. Répartis uniformément, cela fait ~150 tok/s en cumulé soutenu — largement à la portée de la machine à 25–35% d'utilization. En dessous de ce volume, louez. Au-dessus, possédez. C'est le même point d'équilibre que celui auquel T01 et T02 parviennent sous l'angle par carte et par token.

Η σουίτα, σκυρόδεμα

Démarche de planification de capacité pour un nouveau déploiement, à dérouler dans cet ordre :

  1. Mesurez ou estimez votre volume mensuel de tokens ρίξτε les 6–12 prochains mois. Soyez honnête : les projections de croissance sont généralement surévaluées d'un facteur 2–3×.
  2. Tracez la διανομή horaire du débit de tokens. Pas la moyenne — les 50e, 75e, 95e et 99e centiles des débits horaires sur les 30 derniers jours (ou votre meilleure estimation). La forme détermine tout ce qui suit.
  3. Fixez la cible de dimensionnement on-prem. Visez à absorber en on-prem l'heure du 70e–80e centile ; laissez le cloud prendre les 20–30% supérieurs. Vous arrivez ainsi à 50–60% d'utilization αποτελεσματική, là où le calcul fonctionne.
  4. Identifiez le travail par lots qui comblera les creux. Étiquetage automatique, rafraîchissement des embeddings, resume, fine tuning — tout ce qui peut être planifié à 03:00 sans se soucier de l'heure de fin. Sans cela, votre αξιοποίηση αποτελεσματική plafonne à la moyenne de l'interactif.
  5. Concevez la voie de débordement avant d'acheter le matériel. Choisissez le fournisseur cloud, obtenez une clé d'API, écrivez la logique de routage. Ne l'ajoutez pas après coup, dans l'urgence, le jour où le lancement devent viral.
  6. Fixez le plancher d'autoscaling au « minimal pour traverser le démarrage à froid ». Deux répliques chaudes constituent la valeur par défaut sûre. La latence de démarrage à froid sur les modèles de classe 70B est de 30–60 secondes ; il vous faut des pods déjà chauds pour absorber le pic pendant que les nouveaux se chargent.
  7. Suivez le €/Mtok effectif chaque mois, μετά τη χρήση GPU. Υπηρεσία διακριτικών TCO ÷. Si ce chiffre augmente avec le temps, la machine est sous-dimensionnée face à la croissance ou la charge a changé de forme ; s'il reste stable ou baisse, le dimensionnement était juste.

Les articles suivants de cette série reprennent les mêmes chiffres sous d'autres angles : l'économie par carte dans T01 , la comparaison par token entre on-prem et cloud dans T02 . Η υποδομή Le volet se trouve dans K03 (clustering et parallélisme), I04 (l'enveloppe électrique et thermique que vous ne pouvez pas dépasser) και I06 (les flottes multi-robots qui génèrent une charge d'utenféré).

La φράση à retenir : dimensionnez l'on-prem pour la charge qui est toujours là, et utilisez le cloud pour celle qui ne l'est pas. Vouloir faire l'un ou l'autre avec le mauvais outil, c'est ce qui fait exploser le budget.