Couverture tech bleu marine illustrant la percée de TurboQuant dans la compression du cache KV pour les grands modèles de langage.

TurboQuant: αποκρυπτογράφηση συμπίεσης της κρυφής μνήμης KV

Θερμοκρασίες διάλεξης : 10 λεπτά | Comment la compression 3 bits de Google rend les LLM à contexte long moins coûteux, et ce que cela nous dit des 18 prochains mois de l'inférence IA

Compression du cache KV — vue d'ensemble du pipeline TurboQuant en deux étapes

Il existe un problem discret au cœur de chaque longue συνομιλία que vous menez avec un grand model de langage, et c'est la raison pour laquelle ces συνομιλίες coûtent cher. Il s'appelle le cache KV et, aux grandes longueurs de contexte, il peut consommer plus de mémoire que le modèle lui-même. Le 24 Mars, une équipe de Google Research a publié TurboQuant , qui comprime ce cache à trois bits par valeur, sans perte de precision mesurable et sans affinage. Έξι μνημεία. Une προσοχή jusqu'à huit fois plus rapide sur une H100. Cela vaut la peine d'être bien compris, car la compression du cache KV est aujourd'hui l'un des problems à plus fort effet de levier de l'IA déployée, et TurboQuant est le signal public le plus net à ce jour que lee domain.

Je dirige Kentino. Cela consiste notamment à lire attentivement des articles comme celui-ci pour que nos clients — mineurs, intégrateurs, Européens curieux qui suivent la pile IA et crypto — n'aient pas à le faire. Ce texte est ma tentative d'expliquer ce que fait réellement TurboQuant, comment il s'inscrit dans la vague plus large de la recherche 2025-2026 sur la compression du cache KV, et ce qu'une personne raisonnable peut presentre des dix-huisit.

Le problème du cache KV, énoncé honnêtement

Quand un transformeur génère du texte, chaque nouveau jeton porte son προσοχή sur tous les jetons précédents. Pour éviter de recalculer à chaque étape les tenseurs de clés et de valeurs de ces jetons antérieurs, le modèle les conserve. Ce stockage, c'est le cache KV.

Le cache croît linéairement avec la longueur du contexte. Doublez la συνομιλία, vous doublez le cache. Pour un model 8B de taille moyenne exécutant un contexte de 128k jetons en FP16 , le cache KV peut facilement atteindre des dizaines de gigaoctets pour une seule session. Les poids en pèsent peut-être seize. Le cache les écrase.

Trois conséquences pratiques en découlent.

D'abord, l'inférence à contexte long est limitée par la mémoire avant de l'être par le calcul. Vous êtes à court de VRAM bien avant d'être à court de FLOPS.

Ιδιωτικό μπάνιο, le coût de service passe mal à l'échelle. Chaque utilisateur simultané a besoin de son propre cache. Un GPU qui pourrait traiter par lot cinquante συνομιλίες courtes n'en gérera peut-être que cinq longues.

Enfin, l'inférence sur l'appareil et en périphérie reste hors de portée pour les modèles qui y seraient réellement utiles, parce que c'est le cache, et non les poids, qui refuze d'entrer.

Bien comprimer le cache KV — c'est-à-dre agressivement, à bas coût et sans nuire à la qualité des sorties — n'est donc pas une mineure βελτιστοποίησης. Cela change les charges de travail viables et celles qui ne le sont pas. C'est le problème auquel s'attaque TurboQuant.

Ce que fait réellement TurboQuant

Το TurboQuant έχει αλγόριθμο και deux étapes. Les deux étapes se passent d'entraînement et sont indépendantes des données : aucun affinage, aucun jeu de calibration, aucun réglage par modele. Vous l'appliquez et cela fonctionne. Honnêtement, cela compte plus que le taux de compression, car c'est ce qui permet à la méthode de s'insérer sans friction dans une pile d'inférence existante.

Ηχογράφηση: PolarQuant

La première étape est PolarQuant, un article distinct du même groupe (Zandieh, Mirrokni et al., AISTATS 2026). Το L'idée est structurelle plutôt que statistique.

Quantifier des vecteurs de grande dimension en coordonnées cartésiennes est malcommode. Le réflexe naturel — normaliser sur la σφαίρα unité, puis quantifier la direction — se révèle coûteux, car calculer la norme de chaque vecteur est precisément le goulot d'étranglement que l'on cherchait à éviter. Les méthodes antérieures payaient ce coût et perdaient malgré tout en precision aux faibles largeurs de bit.

PolarQuant fait deux choses pour éviter le piège. Il applique d'abord une rotation aléatoire, ce qui, de manière un peu contre-intuitive, rend la géométrie de la διανομή des vecteurs plus previsible et plus maniable. Il convertit ensuite en coordonnées polaires — un rayon pour la magnitude, un angle pour la direction — and projette le tout sur une grille circulaire quantifiable sans passer par l'étape de normalisation. Le résultat est une représentation net, en faible nombre de bits, de chaque vecteur, qui en préserve la géométrie essentielle.

Συμπίεση du cache KV — περιστροφή PolarQuant et grille en coordonnées polaires

Δύο ταινίες: QJL

PolarQuant seul laisse une erreur résiduelle. La deuxième étape, Quantized Johnson-Lindenstrauss (QJL), la corrige avec un bit supplémentaire par valeur.

La transformée de Johnson-Lindenstrauss est un résultat classique : on peut projeter des vecteurs de grande dimension dans un espace de dimension bien inférieure au moyen d'une application lineaire aléatoire, en préservant approximativement les distances deux. QJL pousse l'idée plus loin en ne gardant que le bit de signe de chaque coordonnée projetée — plus un, moins un, rien d'autre. Aucun surcoût de stockage au-delà du bit lui-même.

Ce que QJL apporte, mathématiquement, c'est un εκτιμώμενη μη μεροληψία των scores d'attention. Il corrige le résidu de PolarQuant sans réintroduire le biais dont souffrent les schémas naïfs à faible nombre de bits. C'est là toute l'astuce. Un bit de signe, choisi avec soin, suffit à nettoyer l'erreur de la première étape.

Σχήματα

Combinées, les deux étapes aboutissent à trois bits par valeur, soit six fois moins que la référence FP16 . Sur une NVIDIA H100, le calcul des logits d'attention va jusqu'à huit fois plus vite en 4 bits qu'en 32 bit. Google a testé Gemma, Mistral et Llama-3.1-8B-Instruct sur LongBench, Needle In A Haystack, ZeroSCROLLS, RULER και L-Eval. La precision a été préservée sur les cinq bancs d'essai à contexte long. Un test annexe de recherche vectorielle sur GloVe-200 a également montré un meilleur rappel 1@k face aux références PQ et RabbiQ, ce qui suggère que la méthode se généralise au-delà des seuls caches KV.

TurboQuant: κύριες ενδείξεις
δείκτης αξία
Bits ανά αξία στην προσωρινή μνήμη 3 bits
Reduction de la memoire du cache KV 6 ×
Accélération de l'attention sur H100 (4 bit contre 32 bit) να 8 ×
Απαιτείται συγγένεια όχι
Απαιτήσεις βαθμονόμησης Données Όχι
Πέρτε ακριβείας μέτρησης Nulle sur LongBench, NIAH, ZeroSCROLLS, RULER, L-Eval
Μοντέλα δοκιμασμένων Τζέμα, Μιστράλ, Λάμα-3.1-8B-Εντολ.

Το L'exposé complet est publié sur le blog της Έρευνας Google . TurboQuant sera presenté à ICLR 2026, στο Ρίο ντε Τζανέιρο.

Η αόριστη νότα

Το TurboQuant n'est pas seul. C'est l'entrée récente la plus ορατό d'un domaine de recherche qui bouge vite, et le lire hors contexte exagère sa nouveauté. Plusieurs autres méthodes de fin 2025 και ντεμπούτο 2026 attaquent le même goulot d'étranglement sous des angles différents.

Μέθοδοι συμπίεσης KV 2025-2026
μέθοδος Δημοσίευση Πλησιάζω Κύριο αποτέλεσμα
TurboQuant ICLR 2026 PolarQuant + QJL, συμπερασματικά στοιχεία 3 bits, 6 × de memoire, προσοχή jusqu'à 8 × συν rapide, aucune perte de precision
KVTC (NVIDIA) ICLR 2026 Codage par transformée — ACP + ποσοτικοποίηση προσαρμογής + codage entropique Jusqu'à 20× de compression pour le stockage et la reutilisation de cache hors ligne
ChunkKV OpenReview, Σεπτέμβριος 2025 Unité de compression par segment Sémantique Jusqu'à +8.7 % de precision à taux de compression égal
PM-KVQ 2025 Precision mixte progressive pour les modèles de raisonnement Χρεωστική 2.73–5.18× ανώτερη au FP16, +8 % sur les bancs d'essai de raisonnement
KVPress (NVIDIA) Ανοιχτό πλαίσιο Banc d'essai et harnais de déploiement Permet aux praticiens de tester ces méthodes à grande échelle

Chacune vise une niche différente. Το KVTC χρησιμοποιείται για επαναχρησιμοποίηση hors ligne — stocker le cache d'une συνομιλία pour le recharger dans une autre, là où l'on peut se permettre un encodage plus lourd en échange d'une compression bien superieure. ChunkKV convient aux cas où il faut comprimer agressivement tout en préservant le sens, ce qui importe pour les tâches où perdre un jeton coûte plus cher que perdre une décimale de precision. Το PM-KVQ είναι το réglée pour les longues chaînes de raisonnement que produisent les modèles de raisonnement. Το KVPress est la tuyauterie qui permet au reste d'entre nous de les comparer honnêtement.

La συνεισφορά propre à TurboQuant, c'est la combinaison d'un fonctionnement sans entraînement, d'une aptitude à l'inférence en ligne et d'un εκτιμώμενη dont l'absence de biais est démontrée. C'est la méthode la plus susceptible d'arriver en premier dans les cadres de production, précisément parce qu'elle ne demande rien à l'exploitant du modelèle.

Αυτό το ντεμπούτο

En prenant du recul par rapport à l'article pour réfléchir à la suite : les effets pratiques sont plus faciles à nommer qu'à chiffrer.

L'inférence à contexte μακράς αποκλίνουσας δικτύου moins chère. Si votre cache KV est six fois plus petit, vous pouvez traiter par lots davantage d'utilisateurs sur le même GPU, ou server des contextes plus longs à budget σταθερά, ou les deux. Quiconque exploite un service d'inférence le ressent sur ses marges dans le trimestre qui suit l'integration.

Le déploiement en périphérie devient viable pour des categories de modeles jusqu'ici hors de portée. Un modèle 8B à contexte long sur un GPU de station de travail, ou un modèle 3B sur un portable, passe de « à peine possible » à « courant » και η cache se réduit d'un tel facteur. Le déploiement sur site pour les entreprises qui ne peuvent pas envoyer leurs données vers des API cloud — juridique, médical, télémétrie industrialelle — en profite tout autant.

Le volet matériel en découle directement, et c'est là que cela cesse d'être abstrait. Une compression comme TurboQuant ne change pas les GPU που υπάρχει ; elle change les charges de travail qui tiennent — et aujourd'hui, les charges que l'on veut réellement exécuter sur site sont les modèles chinois de frontière à poids ouverts, qui ont discrètement pris la place d'état de 2026.

La sélection actuelle mérite d'être nommée explicitement, car c'est ce sur quoi nos clients nous interrogent. Κύμη Κ2.5 de Moonshot AI — 1T των συνολικών παραμέτρων, 32B activists, Υπουργείο Παιδείας, πλαίσιο 256K, άδεια MIT — sorti le 27 janvier, il domine les bancs d'essai de code et de mathématiques parmi les poids ouverts. GLM-5 ντε Ζ.άι — 744 δισεκατομμύρια au συνολικά / 40B activists, πλαίσιο 204K, sous άδεια MIT — actuellement en tête de l'Intelligence Index des poids ouverts et de SWE-bench Verified. ΜίνιΜαξ Μ2.5 - 229 δισεκατομμύρια au συνολικά / 10B activists, πλαίσιο 200K — 12 fevrier, δασμολογική επιθετικότητα, συν 80 % σε SWE-bench. Qwen3-Coder-Next ντ'Αλιμπάμπα — 80 δισεκατομμύρια au συνολικά / 3B activists, πλαίσιο 256K σε φυσικό, επεκτάσιμο à 1M με Νήμα — sans oublier la famille Qwen3 au sens large, des modèles denses 0.8Β–27Β jusqu'au MoE 397Β-Α17Β. Tous à poids ouverts. Tous déployables dès aujourd'hui.

Στο Κεντίνο, nous construisons des machines precisément pour cette charge de travail ; soyons donc concrets sur les calculs. Notre server d'inférence phare est une διαμόρφωση 4× NVIDIA RTX 4090 - 96 GB αμοιβαιοποιημένο από την VRAM, AMD EPYC 7542 πάνω σε ASRock Rack ROMED8-2T, 256 GB de DDR4-2666 ECC RDIMM, 2 TB NVMeΔυο τροφές των 2 kW, Σε μια ράφι 24U. Au-dessus, nous construisons des configurations 4× RTX 5090 et 8× RTX 5090 (128 GB et 256 GB de VRAM mutualisée) ainsi que des configurations de classe center de données 4× L40 / L40S (192 GB αμοιβαιοποιήσεις σε ECC) pour la charge soutenue de classe entreprise et le service en production 24h/24 et 7j/7.

Ce que TurboQuant change dans ce tableau, c'est le terme du cache KV. Les modèles MoE modernes utilisent déjà une προσοχή compressée (προσοχή latente de type MLA chez Kimi, GQA chez Qwen3) : leur cache KV par jeton est donc déjà plus petit que les chiffres des anciens modèles de classe Llama. Ajoutez TurboQuant par-dessus et vous gagnez encore environ 6× . L'effet pratique, c'est que la fenêtre de contexte qu'une μηχανή donnée peut réellement servir — par αντίθεση à celle qu'elle affiche — αυξάνει την αίσθηση. Les poids n'ont pas bougé. Le goulot d'étranglement, si.

Serveur Kentino × model × TurboQuant
Διαμόρφωση του διακομιστή Kentino Αμοιβαιοποίηση VRAM Μοντέλο qui tient άνετο Avec la συμπίεσης KV TurboQuant
4× RTX 4090 (AMD EPYC 7542, 256 GB ECC) 96 GB Qwen3-Coder-Next 80 δισεκατομμύρια au συνολικά (FP8), Qwen3 πυκνό 27B (FP16) Qwen3-Coder-Next με πλαίσιο 256K en natif pour un utilisateur μοναδικό, ou 80B à 128K pour environ 3-4 utilisateurs simultanés
4× RTX 5090 128 GB Qwen3-Coder-Next avec de la marge, Qwen3 32B (FP16), Υπουργείο Παιδείας τάξης 100Β (INT4) Qwen3-Coder-Next με 1M από το πλαίσιο μέσω Νήμα, ou 80B à 256K en simultané
8× RTX 5090 256 GB ΜίνιΜαξ Μ2.5 (FP8, ~ 230 GB), Qwen3 397Β-Α17Β (INT4), GLM-5 (INT4) MiniMax M2.5 στην υπηρεσία παραγωγής avec le πλαίσιο 200K complet, ou Qwen3 397B à 128K en simultané
4× L40 / L40S 192 GB ECC ΜίνιΜαξ Μ2.5 (INT4), Qwen3-Coder-Next σε παραγωγή 24 ώρες το 24ωρο και 7 ημέρες την εβδομάδα Service de classe entreprise avec ECC en contexte μακρύ, φόρτιση soutenue

Το Deux κρατά honnêtes. D'abord, Κύμη Κ2.5 et GLM-5 en FP8 ολοκληρωμένο (1T et 744 δισεκατομμύρια au συνολικά de poids respectivement) dépassent encore ce que contiennent ces machines : pour ceux-là, il faut envisager une grappe ou αποδέκτης une ποσοτικοποίηση INT4 επιθετικός. Ensuite, les limites exactes en jetons dépendent de la taille des lots, de la configuration d'attention propre au modèle et du cadre logiciel (vLLM, SGLang et TensorRT-LLM implémentent tous le KV à faible nombre de bits différemment). Mais c'est la tendance qui compte : une machine 4× RTX 4090 qui, il ya un an, se justifiait pour des modèles denses 13B est aujourd'hui la bonne réponse pour Qwen3-Coder-Next με τους πλαίσιο 256K ολοκληρωμένο. Ένα 4× RTX 5090 gère confortablement le modèle de code de classe 80B activists avec de la place pour des utilisateurs simultanés. Une 8× RTX 5090 ή μια 4× L40S άνοιξε η φωνή ΜίνιΜαξ Μ2.5 et aux plus grandes variantes MoE de Qwen3 à l'échelle de la production. Le matériel n'a pas grossi ; c'est la charge de travail qui a rétréci.

Et toute charge d'inférence qui tourne en continu sur de la télémétrie opérationnelle en profite αναλογία. L'optimisation de flottes de minage en est un exemple concret : des exploitants comme OneMiners font tourner des systèmes d'efficacité pilotés par l'IA sur des milliers d'ASIC, et la couche d'inférence d'inférence d'inférence d'inférence des-àjacente contexte que chaque modèle peut conserver à bas coût. Cette catégorie de recherche ne transforme pas ces charges du jour au lendemain, mais elle déplace la courbe de ce qui est abordable.

La prévision honnête est incrémentale. Une reduction de memoire de 6× sur un seul goulot d'étranglement ne crée pas un monde nouveau. Elle produit une έκδοση légèrement moins chère, au contexte légèrement plus long et légèrement plus déployable du monde que nous avons déjà. Cela représente malgré tout, à l'échelle du secteur, beaucoup d'argent et d'ingénierie économisés.

Ce qu'il faut Surveiller στο 2026-2027

Quelques points precis, par ordre approximatif de probabilité.

Σύγκριση μεθόδων συμπίεσης κρυφής μνήμης KV dans la recherche 2025-2026

Ενσωμάτωση dans les cadres logiciels. vLLM , TensorRT-LLM και SGLang υιοθετούν μεθόδους τύπου TurboQuant d'ici quelques mois, πιθανότητα μέσω KVPress comme couche de référence. Εφαρμογή Triton open source publiée par l'équipe de Google rend la chose presque mécanique.

Βραβείο με χρέωση au niveau matériel. Η NVIDIA a signalé son intérêt pour les primitives d'attention à faible nombre de bits, à travers KVTC comme KVPress. Παρακολούθηση της γενιάς Blackwell traite les formats KV 3-4 bit comme des citoyens de première classe et non comme des πειραματισμοί.

Ενοποίηση των μεθόδων. Les cinq προσεγγίζει ci-dessus résolvent des problèmes qui se recoupent. Une pile unifiée — compression géométrique de type PolarQuant pour l'attention en ligne, codage entropique de type KVTC pour le stockage hors ligne, regroupement sémantique de type ChunkKV en amont — est l'aboutissement le. Aucun άρθρο ne l'atteint à lui seul ; la pile se forme au fil d'une année de travaux d'integration.

Baisses réelles des coûts de service. D'ici fin 2026, les coûts de service de l'inférence à contexte long devraient être visualment inférieurs à ceux d'aujourd'hui, l'essentiel du gain venant de la compression plutôt que d'un nouveau silicium. C'est la façon la plus nette de prédire que cette ligne de travaux aura réussi.

Συμπέρασμα

Το TurboQuant est une avncée réelle sur un goulot d'étranglement réel, et il arrive au sein d'une vague de recherche qui attaque le problème sous plusieurs angles à la fois. Les chiffres phares sont impressionnants en eux-mêmes — trois bits, six fois, huit fois — mais la propriété la plus importante est qu'il n'exige rien de l'exploitant du modèle. Ce sont les méthodes sans entraînement et indifférentes aux données qui finissent déployées.

Si vous exploitez de l'inférence à contexte long, à quelque échelle que ce soit, cela mérite d'être suivi. Sinon, cela mérite tout de même d'être compris, car l'économie des modèles que vous utiliserez un jour se décide, discrètement, dans des articles comme celui-ci.

Πόροι

G
Ιστολόγιο Google ResearchΠαρουσίαση του άρθρου TurboQuant
N
NVIDIA KVPressCadre de référence pour la compression KV
K
Serveurs d'inférence multi-GPU Kentino4× / 8× RTX 5090, 4× RTX 4090, L40 / L40S
B
Ιστολόγιο KentinoΑναλύει και καθοδηγεί τη διαμόρφωση
Cet άρθρο relève de l'analyse et du commentaire τεχνικές. Les chiffres de référence cités proviennent des publications reportnées (TurboQuant, KVTC, ChunkKV, PM-KVQ, KVPress) και στο blog της Έρευνας Google. Les configurations matérielles décrivent les serveurs d'inférence Kentino tels qu'ils sont proposés au moment de la rédaction ; les specifications exactes et la disponibilité peuvent changer. Les nombres de paramètres, les longueurs de contexte et les dates de sortie des modèles reflètent les chiffres annoncés publiquement pour les familles de modèles à poids ouverts concernées. 
Επιστροφή στο blog