Βελτιστοποίηση du noyau Linux pour servers IA : ce qui fait vraiment la différence

Le noyau Ubuntu par défaut d'une pile HWE 6.8 ή 6.11 suffit pour environ 80 % des charges de travail IA. Cet article s'addresse aux 20% restants : un EPYC multi-socket qui pousse huit GPU, une machine de service vLLM qui se heurte au mur vm.max_map_count sous charge, ou un serveur d'inférence dont la latence de queue est grignotée par les transitions d'états C du CPU.

La plupart des conseils publics de «réglage Linux pour l'IA» sont descommandations pour bases de données recyclées depuis 2015, και ένα μέρος μη αμελητέο d'entre eux degrade discrètement la latence d'inf. Voici l'ensemble plus restreint et plus honnête de modifications qui aident reellement sur une machine Kentino AI de classe Kentino (4 à 8 GPU sur Xeon ou EPYC, Ubuntu 22.04 / 24.04, noyau 6.x). Le pilote et la pile CUDA sont supposés installés conformément à L01 et L02.

La hiérarchie honnête des gains

Avant toute τροποποίηση sysctl, mesurez d'abord l'ampleur de l'enjeu :

Τροποποίηση Gain typique en inférence / entraînement
Placement des processus tenant compte du NUMA 10–30 % sur les μηχανές πολλαπλών πριζών
Κυβερνήτης CPU performance (από powersave) 5–15 % σε μηχανές σέρβις, TTFT συν βάση
Désactivation des états C βαθιά Quelques microsecondes de moins sur le P99, +30–50 W au repos / socket
THP κανονισμένο πάνω madvise 1–5 % στο PyTorch, moins de blocages en forte activité memoire
vm.max_map_count, ulimit -n Évite que le service ne s'effondre sous χρέωση
Affinité des IRQ au nœud NUMA local 5–15 % sur les chemins DataLoader réseau / RDMA
Dimensionnement des tampons TCP (rmem_max, wmem_max) Ne compte que pour le stockage / streaming >25 GbE
Οτιδήποτε άλλο 0–3 %, souvent du bruit

Si vous ne retenez qu'une chose de cet article : la prize en compte du NUMA et le gouverneur CPU sont les deux grands gains. Tout le reste relève de l'erreur d'arrondi tant que vous n'avez pas mesuré.

Gouverneur CPU : les 5–15 % les moins chers du marché

Το Ubuntu χρησιμοποιεί ως προεπιλογή powersave (intel_pstate) ou ondemand (acpi_cpufreq) selon le pilote. Les deux γραμματοσειρά monter les fréquences de façon réactive, ce qui coûte 5–15 % sur le TTFT d'inférence και sur la preparation coté CPU autour d'une passe avant vLLM : tokenisation, ordonnancement, dechanti.

Pour une machine de service, réglez sur performance και επιπλέον :

sudo apt install -y cpufrequtils
echo 'GOVERNOR="performance"' | sudo tee /etc/default/cpufrequtils
sudo systemctl restart cpufrequtils

# Vérification
for c in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do cat $c; done | sort -u

Sur EPYC Genoa / Turin avec un noyau 6.5+, le pilote amd-pstate αντικαθιστά acpi-cpufreqΑρχικό μνημείο: κανονικό scaling_governor στα performance. Η λειτουργία συν πρόσφατο amd-pstate-epp conserve les performances tout en autorisant le boost par cœur ; laissez EPP sur performance, και όχι πάνω balance_performance.

Απόχρωση : η ενσωμάτωση ενός μηχανήματος με ~ 100 % χρήση της κάρτας GPU, les CPU sont de toute façon chargés et le gouverneur compte moins. Le gros gain concerne les serveurs d'inférence qui restent au repos entre les requêtes et doivent monter en régime instantanément.

NUMA : ce qui separe une μηχάνημα EPYC rapide d'une μηχάνημα μέτρια

Les Serveurs Xeon ou EPYC mono-socket n'ont rien à se demander : un seul nœud NUMA, tous les accès mémoire sont locaux. C'est sur les μηχανές bi-socket que se jouent les 10–30 %.

L'ordonnanceur par défaut placera volontiers un worker vLLM sur le socket 0 και le fera défauter sur de la mémoire allouée au socket 1 : chaque charge devent un saut inter-socket UPI / Infinity Fabric. Pour un modèle dont des centaines de Go de poids sont parcourus à chaque token, l'effet est bien réel.

Επιθεώρηση:

numactl --hardware                            # nombre de nœuds, tailles, matrice de distances
nvidia-smi topo -m                            # affinité NUMA GPU↔CPU
cat /sys/class/net/<iface>/device/numa_node   # affinité NUMA de la carte réseau

Le schéma recherché — et que NCCL détecte automatiquement — est le GPU N épinglé au nœud NUMA qui héberge son complexe racine PCIe, et non à l'autre socket. Μεταφέρετε την επεξεργασία της επιρροής λογιστικής χειρολαβής, épinglez à la fois le CPU και la memoire sur le nœud local :

# vLLM sur un EPYC bi-socket, GPU 0–3 sur le nœud NUMA 0
numactl --cpunodebind=0 --membind=0 \
  python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.3-70B-Instruct --tensor-parallel-size 4

Δύο συνημμένα πρότυπα συνδέονται:

  • kernel.numa_balancing migre les pages vers le CPU qui les touche. Utile pour des charges de travail générales, parfois contre-productif pour l'IA : un prefill parcourt les poids une fois, le noyau migre les pages, la requête suivante les ramène. Laissez activé par defaut (1) ; si la gigue est corrélée à numa_pte_updates σε /proc/vmstat, essayez sysctl kernel.numa_balancing=0.
  • NCCL σε διπλή πρίζα — ρυθμιζόμενο NCCL_SOCKET_IFNAME sur la carte réseau d'administration et NCCL_IB_HCA sur la carte réseau située sur le même nœud NUMA que les GPU. Une mauvaise carte divise silencieusement par deux le débit inter-nœuds.

Serveur EPYC 9004/9005 μονο-πρίζα : αγνοήστε το τμήμα toute cette.

Διαφανείς τεράστιες σελίδες: madvise, Χώρα always

Le THP regroupe opportunément les pages de 4 Ko en pages de 2 Mo, ce qui réduit la pression sur le TLB. Ο PyTorch και ο πιλότος CUDA και η κερδοφόρα μετριοφροσύνη. Le piège, c'est le mode always en cas de forte activité memoire : le noyau bloque un pendant thread 50–100 ms pour compacter la mémoire, ce qui torpille n'importe quel SLO de latence.

Το καλό σκηνικό είναι madvise : les applications qui savet ce qu'elles γραμματοσειρά appellent madvise(MADV_HUGEPAGE) sur les allocations de longue durée et obtiennent le THP ; les autres non. À ορισμός μέσω /etc/default/grub :

GRUB_CMDLINE_LINUX_DEFAULT="... transparent_hugepage=madvise"

update-grub && rebootΗ ανασυγκρότηση συνεχίστηκε: defer+madvise laisse le compactage se faire en arrière-plan plutôt que dans le chemin du thread qui alloue :

echo defer+madvise | sudo tee /sys/kernel/mm/transparent_hugepage/defrag

Ρίξτε vLLM / SGLang / TensorRT-LLM στην παραγωγή, madvise est le bon réglage par défaut. PyTorch avec la memoire unifiée CUDA (code de recherche) profite parfois de always — mesurez avant de basculer.

Hugepages explicites de 1 Go : seulement si vous avez mesuré

Το Les largepages εξηγεί τις κρατήσεις au démarrage μέσω hugetlbfs apportent un petit gain supplémentaire sur de très gros poids de LLM en éliminant les défauts de TLB lors du balayage des poids. Le revers : la mémoire est réservée d'avance et indisponible pour le reste du system, l'application doit être conçue pour les utiliser, et le gain est de 1–3 % pour la plupart des charges of service.

GRUB_CMDLINE_LINUX_DEFAULT="... default_hugepagesz=1G hugepagesz=1G hugepages=64"

Cela vaut le coup pour une machine TensorRT-LLM dont le moteur tient en memoire verrrouillée et où vous courez après le dernier pourcent de TTFT. Cela n'en vaut pas la peine pour un serveur vLLM générique qui change de modèle, ni pour une machine d'entraînement. À écarter lors d'une première εγκατάσταση ; à revoir seulement si perf stat -e dTLB-load-misses révèle une pression sur le TLB et que vous avez de la RAM en reserve.

vm.max_map_count et nofile : les murs que vLLM rencontre à grande échelle

Από προεπιλογή, vm.max_map_count vaut 65530 sur Ubuntu : c'est le nombre de mappages memoire distincts qu'un processus peut détenir. vLLM servant un gros modèle avec une forte concurrence, ou tout framework utilisant de nombreux fragments safetensors en mmap, dépasse largement ce seuil et meurt avec Cannot allocate memory. La Valeur de 262144 héritée d'Elasticsearch est le αυστηρά ελάχιστο ; pour un vLLM servant du 70B+ avec des centaines de séquences simultanées, montez à 1048576. Cela ne coûte rien : c'est une limite souple, pas une κράτηση.

Από προεπιλογή, ulimit -n vaut 1024 στο Ubuntu. D'un ridicule achevé : vLLM, Triton, les working DataLoader de PyTorch, NCCL et la couche gRPC qui les relie ouvrent chacun des centaines descripteurs de fichiers. Atteignez la limite et vous obtenez EMFILE: too many open files ainsi qu'un processus qui se bloque silencieusement.

# /etc/sysctl.d/99-ai-server.conf
vm.max_map_count = 1048576

# /etc/security/limits.d/99-ai-server.conf
*    soft    nofile  1048576
*    hard    nofile  1048576

# /etc/systemd/system.conf.d/99-limits.conf
[Manager]
DefaultLimitNOFILE=1048576

sudo sysctl --system et systemctl daemon-reexecΕπαληθεύτηκε με ulimit -n et cat /proc/<pid>/limits.

Affinité des IRQ: épingler les interruptions de la carte réseau sur les CPU locaux

Sur une carte réseau ConnectX-6/7 100 GbE qui soutient plus 10 Go/s de streaming de jeux de données ou de trafic RDMA, les interruptions doivent arriver sur des CPU (a) situés sur le même nœud NUMA œsbquit œsbquit exécutent les working DataLoader. ΜΕΓΑΛΟ'irqbalance par défaut fait un travail αποδεκτό ; sous forte χρέωση, μη.

Le correctif le plus propre est le set_irq_affinity.sh de Mellanox, φούρνι με mlnx-tools :

sudo systemctl disable --now irqbalance
sudo /usr/sbin/set_irq_affinity.sh enp1s0f0                  # tous les cœurs locaux à la carte
sudo /usr/sbin/set_irq_affinity_cpulist.sh 4-11 enp1s0f0     # épingler sur des cœurs précis

La mauvaise manœuvre consiste à laisser irqbalance tourner sur une machine où vous avez aussi épinglé manuellement : les deux se αμφισβητούμενος. Choisissez. Μηχάνημα σέρβις avec une ou deux cartes RDMA : épinglez manuellement et désactivez irqbalance. Διεπαφές πολυσθενών μηχανών avec de nombreuses : laissez irqbalance ενεργό με --banirq pour exclure la carte κριτική.

Tampons réseau du noyau : μοναδικότητα pour les chemins de stockage rapide / streaming

Pour un serveur d'inférence mono-nœud qui διάλογος avec ses clients en TCP classique à des débits modestes, la valeur par défaut de net.core.rmem_max / wmem_max, soit 208 Ko, convient. Pour un nœud qui tire ses données d'entraînement d'un NFS 100 GbE ou d'un stockage objet, ou pour un frontend vLLM derrière un répartiteur de charge à fort RPS, ces valeurs par défaut produfonnent votter. Un jeu de départ pour une machine raccordée στα 100 GbE:

# /etc/sysctl.d/99-ai-network.conf
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456
net.ipv4.tcp_rmem = 4096 87380 268435456
net.ipv4.tcp_wmem = 4096 65536 268435456
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 65535

Ανώτατο όριο 256 Mo est surdimensionné pour du 100 GbE en rack (le BDP tourne autour de 1.25 Mo) mais reste sans risk : l'auto-ajustement TCP n'agrandit les tampons qu'au besoin, jusqu'au plafond. En RDMA (RoCE / IB) sur le chemin de données, ces réglages n'ont aucune girîng : RDMA contourne la pile TCP du noyau. Ils comptent toujours pour le plan d'administration, le NFS et les téléchargements de modèles.

États C : latence contre consommation au repos

Pour une machine de service sensible à la latence, l'amélioration de latence de queue la moins chère après le gouverneur CPU est la desactivation des états C βαθιά. L'entrée et la sortie du C6 se comptent en dizaines de microsecondes ; pour une requête censée répondre en 30 ms, un CPU qui sort du C6 pour gérer l'échantillonnage après token ajoute une gigue perceptible.

GRUB_CMDLINE_LINUX_DEFAULT="... intel_idle.max_cstate=1 processor.max_cstate=1"

update-grub && rebootΕπαληθεύτηκε με cpupower idle-info : seuls C0 et C1 doivent être διαθέσιμα. Coût : Υποδοχή 30–50 W de consommation au repos par parce que les cœurs n'entrent jamais en sommeil profond. Σερβίρετε δύο πρίζες με 8 GPU, μόνιμα ισχύ 60–100 W με μόνιμο — Ελαστικά αμελητέας πρόσοψης 3.5–4.5 kW και συνεχής με GPU με χρέωση.

À appliquer aux serveurs d'inférence sensibles à la latence et aux chaînes robotiques temps réel. À éviter sur les machines d'entraînement (la latence n'y compte pas et la consommation au repos s'accumule sur des mois) και sur les traitements par lots.

Réglages noyau liés au système de fichiers (aperçu de L04)

Ένα σημείο συστημάτων fs.* αρμόδιος:

fs.aio-max-nr = 1048576              # 65536 par défaut, trop bas pour les chargeurs de poids vLLM
fs.inotify.max_user_watches = 524288 # outils qui surveillent les dossiers de points de contrôle

fs.aio-max-nr est celui qui mord : les frames qui font des E/S asynchrones sur de nombreux fragments (DALI, chargeurs de poids vLLM) épuisent la Valeur par défaut de 65536 sur les gros models. Le choix du système de fichiers lui-même (XFS, ZFS ou ext4), les options de montage et la sémantique O_DIRECT υπάρχουν χαρακτηριστικά σε αυτό L04.

Απενεργοποίηση μονάδων noyau inutiles

Une machine de service sans écran n'a aucune raison de charger des modules pour le bluetooth, le son, la webcam, le Wi-Fi, le joystick ou le serveur d'impression. Chacun représente du code supplémentaire dans la surface d'attaque et un léger retard au démarrage. Αμελητέα pris isolément ; συλλογικότητα, une machine plus propre est plus facile à appréhender.

# /etc/modprobe.d/blacklist-ai-server.conf
blacklist bluetooth
blacklist btusb
blacklist snd_hda_intel
blacklist uvcvideo
blacklist joydev

# En complément
sudo systemctl disable --now bluetooth.service cups.service avahi-daemon.service \
                              ModemManager.service whoopsie.service apport.service

Le démarrage passe d'environ 30 s à environ 10 s sur une configuration EPYC typique et lsmod redevient ληξιπρόθεσμος. Aucun impact sur les performances d'inférence, et une réduction modeste de la surface d'attaque.

Deux profiles : inférence et entraînement

La forme du réglage est véritablement différente. Esquisses prêtes à l'emploi :

Συμπερασμός (/etc/sysctl.d/99-ai-inference.conf)

vm.max_map_count = 1048576
vm.swappiness = 1
vm.overcommit_memory = 1
kernel.numa_balancing = 1
fs.aio-max-nr = 1048576
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456
net.ipv4.tcp_rmem = 4096 87380 268435456
net.ipv4.tcp_wmem = 4096 65536 268435456
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 65535

À ajouter sur la ligne de commande du noyau: transparent_hugepage=madvise intel_idle.max_cstate=1 processor.max_cstate=1Κυβερνήτης: performance. IRQ de la carte réseau épinglées sur des cœurs NUMA locaux, irqbalance άτομα με ειδικές ανάγκες.

Ψυχαγωγία (/etc/sysctl.d/99-ai-training.conf)

vm.max_map_count = 1048576
vm.swappiness = 1
vm.overcommit_memory = 1
kernel.numa_balancing = 0       # migrer des pages en pleine époque n'est que du brassage inutile
fs.aio-max-nr = 1048576
fs.inotify.max_user_watches = 524288
net.core.rmem_max = 536870912
net.core.wmem_max = 536870912
net.ipv4.tcp_rmem = 4096 131072 536870912
net.ipv4.tcp_wmem = 4096 131072 536870912

Γραμμή εντολής του νούαου: transparent_hugepage=madvise (sans épinglage des états C : l'entraînement est limité par le débit et la consommation au repos s'accumule sur des semaines). Κυβερνήτης: performance si vous avez le budget électrique. NCCL épinglé sur le NUMA τοπική μέσω NCCL_IB_HCA.

Le piège du « j'ai tout réglé et c'est devenu plus lent »

Le mode d'échec le plus courant est le copier-coller dogmatique : récupérer une centaine de sysctls dans un article de blog, redémarrer, constater de moins bonnes performances et n'avoir aucune idée du réglage à annuler. La méthode qui fonctionne:

  1. Établissez une référence — nccl-tests all_reduce_perf, το benchmark_throughput.py de vLLM, le temps par étape d'entraînement. Notez les chiffres.
  2. Αλλάξτε μια δική σας επιλογή.
  3. Relancez le même benchmark, trois fois pour lisser le bruit.
  4. Conservez si la médiane est neettement meilleure. Revenez en arrière sinon.
  5. Documentez la modification et sa raison, en gestion de versions, à côté du fichier sysctl.

Nous avons vu des machines de production avec 40 lignes de réglages sysctl qui étaient, au σύνολο, 2 % συν lentes que les valeurs par défaut d'Ubuntu — chaque modification prize isolément neutre ou néfaste, mais «réglaquetée» βοηθός».

Le tuned 2.27 από το Red Hat embarque des profiles ai-inference et ai-training explicites et constitue un raccourci crédible sur RHEL / Rocky. Ubuntu ne le fournit pas ; apt install tuned fonctionne mais est moins abouti. Sur Ubuntu, des fichiers maison déposés dans /etc/sysctl.d/ et une ligne de commande GRUB propre sont plus faciles à auditer et vous savez exactement ce qui est défini.

Ποιος έχει ιδιωτικό μπάνιο

Une séquence de réglage noyau raisonnable pour une une nouvelle configuration Kentino Kentino AI, κατά σειρά προτεραιότητας:

  1. Κανόνες του κυβερνήτη της CPU στην CPU performance. Ελέγξτε με cpupower frequency-info. Le plus gros gain sans frais.
  2. εκτόξευση numactl --hardware et nvidia-smi topo -m. Comprenez la topologie avant d'épingler quoi que ce soit. Sur les machines bi-socket, prévoyez quels GPU vont avec quel nœud NUMA.
  3. Καθορισμός ορίων vm.max_map_count et nofile. Elles évitent des pannes, pas de la lenteur. Faites-le avant la première mise en παραγωγή.
  4. Καθορίζω transparent_hugepage=madvise sur la ligne de commande du noyau.
  5. Épinglez les IRQ de la carte réseau sur le nœud NUMA local de la carte avec set_irq_affinity.shΑπενεργοποίηση irqbalance αν το έχεις κάνει.
  6. Pour les machines d'inférence uniquement : désactivez les états C profonds μέσω intel_idle.max_cstate=1 processor.max_cstate=1.
  7. Προσαρμόστε τα ταμπόν σε ένα τεστ que si vous avez mesuré un goulet d'étranglement sur un chemin de stockage ou de streaming 25/100 GbE.
  8. Laissez de côté les largepages explicites de 1 Go sauf si un benchmark montre une pression sur le TLB.
  9. Τροποποίηση Mesurez avant et après chaque. Η Une επέλεξε το à la fois. Documentez.

Αναφορές κρουαζέ : L01 pour le pilote et l'épinglage du noyau, L02 pour la pile CUDA / conteneurs, L04 pour la couche système de fichiers, L05 pour la supervision.

Sous Linux moderne, le réglage du noyau relève surtout d'une configuration faite une fois, et non d'une partye d'optimisation sans fin. Réglez correctement le gouverneur, le placement NUMA et les limites. Laissez le reste de côté, sauf si votre benchmark dit le contraire.


Cet άρθρο fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires και διορθώσεις bienvenus à info@kentino.com.