Χειρισμός σφαλμάτων σε συμπλέγματα τεχνητής νοημοσύνης: Τι πραγματικά χαλάει και πώς να το ανακτήσετε

Η κατανεμημένη εκπαίδευση είναι το μόνο φόρτο εργασίας όπου οι βλάβες υλικού δεν αποτελούν σπάνια ενόχληση — είναι ένας λειτουργικός φόρος που πληρώνετε συνεχώς. Η δημοσιευμένη μελέτη Llama 3.1 405B της Meta καταγράφει 419 απροσδόκητες διακοπές σε διάστημα 54 ημερών σε ένα σύμπλεγμα 16,384 GPU: ένα συμβάν κάθε τρεις ώρες, με τα σφάλματα GPU και HBM να ευθύνονται για περίπου τα μισά. Αυτή είναι η εμπειρία σταθερής κατάστασης της σκληρής λειτουργίας χιλιάδων GPU.

Οι περισσότεροι πελάτες του Kentino δεν θα δουν ποτέ τέτοιους αριθμούς. Οι μικρορυθμίσεις ενός κόμβου με 8 GPU είναι στατιστικά αθόρυβες. Αλλά οι τρόποι αστοχίας, τα διαγνωστικά εργαλεία και τα μοτίβα αποκατάστασης είναι τα ίδια. Αυτό το άρθρο είναι ένας ειλικρινής κατάλογος: τι αποτυγχάνει, πώς το παρατηρείτε, τι κάνετε γι' αυτό και πού η μηχανική προσπάθεια αξίζει πραγματικά τον κόπο σε δική μας κλίμακα.

Οι πραγματικοί τρόποι αστοχίας

Δύο κατηγορίες έχουν σημασία — συμβάντα υλικού (GPU, PSU, NIC, δίσκος που κάνει κάτι φυσικό) και συμβάντα λογισμικού (CUDA, NCCL, το framework, το λειτουργικό σύστημα αντιδρά άσχημα σε μια παροδική κατάσταση). Παρακάτω παρουσιάζεται κατά προσέγγιση η συχνότητα με την οποία το καθένα επηρεάζει έναν σταθμό εργασίας με πολλές GPU ή ένα μικρό σύμπλεγμα.

Σφάλματα GPU XID

Τα αρχεία καταγραφής του πυρήνα (dmesg, journalctl -k) είναι η πηγή της αλήθειας. Η NVIDIA εκπέμπει μια γραμμή XID σε οποιοδήποτε σφάλμα GPU. Αυτά που βλέπετε στην πραγματικότητα:

XID Νόημα Τι πραγματικά σημαίνει
13 Εξαίρεση μηχανής γραφικών Σφάλμα εφαρμογής, παράνομη πρόσβαση στη μνήμη — συνήθως CUDA OOM
31 Σφάλμα σελίδας μνήμης GPU Σφάλμα εφαρμογής ή πρόβλημα προγράμματος οδήγησης, περιστασιακά κακή VRAM
43 Διακοπή επεξεργασίας Πρόβλημα στην πλευρά της εφαρμογής, η GPU είναι μια χαρά
48 Σφάλμα ECC διπλού bit Υλικό. Η μνήμη έχει εξαφανιστεί, η GPU θα έπρεπε να αποσυρθεί.
63 Εκκρεμεί απόσυρση σελίδας ECC / επανααντιστοίχιση γραμμών Υποβάθμιση υλικού. Προγραμματίστε αντικατάσταση.
74 Σφάλμα NVLink Σφάλμα καλωδίου, ανυψωτήρα ή πλακέτας
79 Η GPU έπεσε από το λεωφορείο Τροφοδοσία, PCIe, ανυψωτήρας ή θερμική διακοπή λειτουργίας
92 Υψηλό ποσοστό σφάλματος ECC ενός bit Υποβάθμιση υλικού
94 Περιεχόμενο σφάλμα ECC (κλάση Hopper) Ένα μόνο φόρτο εργασίας τερματίστηκε, η GPU συνεχίζει να λειτουργεί.
119 Χρονικό όριο RPC GSP Πρόβλημα με το πρόγραμμα οδήγησης/υλικολογισμικό, που συχνά επιλύεται με επανεκκίνηση

Δύο σημειώσεις από την εμπειρία:

  • Το XID 79 είναι αυτό για το οποίο πανικοβάλλονται οι πελάτες. «Η GPU εξαφανίστηκε». Σε μια έκδοση με ανυψωτήρα 4× ή 8×, το XID 79 είναι σχεδόν πάντα πρόβλημα με τον ανυψωτήρα PCIe, μια υποδοχή τροφοδοσίας που υπέστη υποχώρηση κατά τη διάρκεια θερμικού κύκλου ή μια θερμική απενεργοποίηση — όχι μια νεκρή GPU. Επανατοποθετήστε, επανασυνδέστε τα καλώδια, δοκιμάστε ξανά πριν από την RMA.
  • Τα XID 48 και 63 είναι πραγματικά. Τα ελαττώματα ECC εμφανίζονται σταδιακά με την πάροδο των μηνών σε κάρτες που χρησιμοποιούνται πολύ. Η GPU αποσύρει αυτόματα τις σελίδες μέχρι να εξαντληθούν οι εφεδρικές σειρές. Μετά από αυτό, η κάρτα δεν είναι ασφαλής για εκπαίδευση. Οι περισσότεροι χειριστές την αντικαθιστούν.

Η μνήμη του CUDA εξαντλήθηκε στη μέση της εκτέλεσης

Η πιο συνηθισμένη αποτυχία εκπαίδευσης στο υλικό μας, και σχεδόν πάντα φταίει ο χειριστής, όχι το υλικό. Τυπικό μοτίβο: η εκπαίδευση εκτελείται κανονικά για 200 βήματα και μετά καταρρέει με CUDA error: out of memoryΗ αιτία είναι συνήθως:

  1. Η μνήμη ενεργοποίησης αυξάνεται με το μήκος της ακολουθίας — τα μεγαλύτερα δείγματα αργότερα στην εποχή υπερβάλλουν τον προϋπολογισμό.
  2. Μια ομότιμη διεργασία στην ίδια GPU. nvidia-smi δείχνει δύο PID. Το ένα υποτίθεται ότι θα σκοτωνόταν και δεν σκοτώθηκε.
  3. Κατακερματισμός μνήμης. Ο εκχωρητής προσωρινής αποθήκευσης του PyTorch αρνείται ένα μεγάλο συνεχόμενο μπλοκ ακόμη και με επαρκή ελεύθερη μνήμη. Διόρθωση: PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True.

Ο διπλασιασμός της GPU δεν βοηθάει. Η σωστή απάντηση είναι η μείωση του μεγέθους των μικρο-παρτίδων, η ενεργοποίηση του gradient checkpointing ή η θραύση του optimizer (βλ. K02 ).

Χρονικά όρια NCCL και σφάλματα δικτύου

Συλλογές NCCL (all_reduce, all_gather, reduce_scatter) είναι συγχρονισμένα σε όλες τις βαθμίδες. Εάν μια βαθμίδα σταματήσει — κακή κάρτα δικτύου (NIC), συμφόρηση στον διακόπτη, πρόβλημα στον χρονοπρογραμματιστή πυρήνα, μία αργή GPU — κάθε άλλη βαθμίδα περιμένει στην επόμενη ομάδα και ολόκληρη η εργασία μπλοκάρεται. Χωρίς χειρισμό ασύγχρονων σφαλμάτων, η καθυστέρηση είναι σιωπηλή. Η εργασία φαίνεται να "κολλάει" μέχρι να ενεργοποιηθεί ένα χρονικό όριο watchdog (προεπιλογή 30 λεπτά).

Η λύση είναι μία μεταβλητή περιβάλλοντος:

export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=20000  # for post-mortem analysis

Το PyTorch στη συνέχεια διακόπτεται με SIGABRT σε μια συλλογική εργασία με χρονικό όριο. Σε συνδυασμό με το torchelastic, η εργασία επανεκκινείται από το τελευταίο σημείο ελέγχου. Σημείωση: το παλαιότερο NCCL_ASYNC_ERROR_HANDLING είναι απαρχαιωμένο.

Αποσύνδεση κόμβου και βλάβες PSU

Σε συμπλέγματα πολλαπλών κόμβων, ένας κόμβος μπορεί να παρουσιάσει πτώση λόγω επαναφοράς της κάρτας δικτύου (NIC), σφάλματος θύρας διακόπτη, πανικού πυρήνα, χτύπημα OOM-killer ή συμβάντος τροφοδοσίας. Η ανίχνευση είναι η ίδια με το χρονικό όριο του NCCL. Για δομές 8 GPU ενός κόμβου — οι περισσότεροι πελάτες μας — αυτή η κατηγορία δεν ισχύει.

Ένα τροφοδοτικό που δεν λειτουργεί είναι μια σοβαρή αποτυχία. Σε έναν διακομιστή 8 GPU με διπλές τροφοδοτικές μονάδες ATX σε διαμόρφωση split-rail , μια βλάβη τροφοδοτικού δεν ισοδυναμεί με πλεονασμό. Η τροφοδοτική μονάδα A τροφοδοτεί τις GPU 0–3, η τροφοδοτική μονάδα B τροφοδοτεί τις GPU 4–7. Αν χαθεί η τροφοδοτική μονάδα B, τέσσερις GPU εξαφανίζονται στο XID 79 μέσα σε χιλιοστά του δευτερολέπτου. Η ανάκτηση σημαίνει φυσική αντικατάσταση. Ο πραγματικός πλεονασμός απαιτεί μονάδες CRPS σε 1+1 hot-swap, η οποία είναι μια έκδοση κλάσης διακομιστή, όχι ένας σταθμός εργασίας GPU καταναλωτή.

Αποτυχίες εγγραφής αποθήκευσης κατά τη διάρκεια του ελέγχου

Λιγότερο συνηθισμένο αλλά επώδυνο. Η εργασία εκτελείται δέκα ώρες, φτάνει σε ένα σημείο ελέγχου και η εγγραφή αποτυγχάνει επειδή ο διακομιστής NFS είναι γεμάτος, το τοπικό NVMe έχει υπερβεί την κατανομή DWPD και εισέρχεται σε λειτουργία μόνο για ανάγνωση, έχει επιτευχθεί ένα όριο inode ή έχουν αλλάξει τα δικαιώματα. Η ζημιά είναι ανάλογη με το διάστημα ελέγχου. Αν την εντοπίσετε μόνο στην επόμενη προσπάθεια, μπορεί να χάσετε μία ώρα ή και περισσότερο.

Αργές διαρροές ECC

Ο αθόρυβος δολοφόνος. Μια GPU αρχίζει να εκπέμπει XID 92 (ECC ενός bit) μία φορά την εβδομάδα, έπειτα καθημερινά και έπειτα ανά ώρα. Κάθε συμβάν "περιέχεται" και η εργασία συνεχίζει να εκτελείται, αλλά η ακρίβεια μετατοπίζεται και η απώλεια εκπαίδευσης αναπτύσσει μια αργή ανοδική τάση. Μέχρι να το προσέξει κάποιος, εκατοντάδες σελίδες έχουν αποσυρθεί και η κάρτα κατευθύνεται προς το XID 48. Αυτός είναι ο λόγος για τον οποίο η ενότητα παρακολούθησης έχει μεγαλύτερη σημασία από την ενότητα ανάκτησης.

Ανίχνευση — τι να προσέξετε

Τρία επίπεδα: επίπεδο πυρήνα (γραμμές XID σε dmesg), προμηθευτής GPU (εξαγωγέας DCGM στον Prometheus, dcgmi diag για ενεργούς ελέγχους), και σε επίπεδο πλαισίου (παρακολούθηση PyTorch, προσωρινή μνήμη ιχνηλασιμότητας NCCL, ειδοποιήσεις απώλειας/απόδοσης).

Οι ειδοποιήσεις που έχουν σημασία:

  • Κάθε XID 48 / 63 / 79 / 92 γραμμή στο dmesg → σελίδα
  • Θερμοκρασία GPU > 85 °C για περισσότερο από 5 λεπτά → σελίδα
  • Αύξηση του αριθμού ασταθών σφαλμάτων ECC → εισιτήριο, όχι σελίδα
  • DCGM dcgm_thermal_violation μη μηδενικό → πρόβλημα ψύξης, ελέγξτε τη ροή αέρα
  • Η απώλεια προπόνησης δεν μειώνεται για >100 βήματα → αξίζει να το δείτε

Παραδείγματα πραγματικών αρχείων καταγραφής βλαβών

Αυτό που πραγματικά βλέπεις στο journalctl -k όταν ενεργοποιείται το XID 79 (RTX 5090, το καλώδιο ανύψωσης έχει υποχωρήσει κατά τη διάρκεια του θερμικού κύκλου):

Apr 22 03:14:17 kentino-ai-04 kernel: NVRM: Xid (PCI:0000:c1:00): 79, pid='<unknown>', name=<unknown>, GPU has fallen off the bus.
Apr 22 03:14:17 kentino-ai-04 kernel: NVRM: GPU 0000:c1:00.0: GPU is on Board .
Apr 22 03:14:17 kentino-ai-04 kernel: NVRM: A GPU crash dump has been created. If possible, please run
Apr 22 03:14:17 kentino-ai-04 kernel: NVRM: nvidia-bug-report.sh as root to collect this data before
Apr 22 03:14:17 kentino-ai-04 kernel: NVRM: the NVIDIA kernel module is unloaded.

Πώς μοιάζει ένα χρονικό όριο NCCL, συντομευμένα:

[E ProcessGroupNCCL.cpp:475] [Rank 3] Watchdog caught collective operation timeout:
WorkNCCL(SeqNum=842, OpType=ALLREDUCE, NumelIn=268435456, NumelOut=268435456,
Timeout(ms)=1800000) ran for 1800321 milliseconds before timing out.
[E ProcessGroupNCCL.cpp:489] [Rank 3] Some NCCL operations have failed or timed out.
terminate called after throwing an instance of 'std::runtime_error'

Η κατάταξη 3 το αναφέρει, αλλά η κατάταξη 3 σχεδόν ποτέ δεν είναι το πραγματικό πρόβλημα. Η αργή κατάταξη είναι αυτή που δεν έφτασε. Το buffer ιχνηλασιμότητας του NCCL εμφανίζει ποιες κατάταξεις μπλοκαρίστηκαν σε ποια κλήση — έτσι βρίσκετε τον πραγματικό ένοχο.

Μοτίβα ανάκαμψης

Ελέγχετε αρκετά συχνά ώστε μια επανεκκίνηση να είναι φθηνή

Για μια βελτιστοποίηση 7B σε 8× RTX 5090 με τοπικά σημεία ελέγχου NVMe: ~14 GB γραμμένα με ρυθμό ~3 GB/s ≈ 5 s ανά σημείο ελέγχου, κάθε 30 λεπτά είναι 0.3% επιβάρυνση και η απώλεια στη χειρότερη περίπτωση είναι 15 λεπτά. Για ένα σημείο ελέγχου 70B FSDP με θραύση στο ίδιο κουτί: ~140 GB μοιρασμένα σε 8 GPU παράλληλα, παρόμοια επιβάρυνση. Φθηνό, κάν'το.

Ένα πλήρες σημείο ελέγχου προ-εκπαίδευσης Llama-70B μέσω δικτυακού χώρου αποθήκευσης εκτείνεται σε ~520 GB και μπορεί να διαρκέσει 20+ λεπτά. Εκεί τα καταστήματα κλάσης Meta εισάγουν ασύγχρονα, κλιμακωτά σημεία ελέγχου (γρήγορη τοπική εγγραφή, αργή αποστράγγιση σε ανθεκτική αποθήκευση). Στο μέγεθος Kentino: σημείο ελέγχου κάθε 15-30 λεπτά με το τοπικό NVMe, συγχρονισμός με το NAS στο τέλος της εκτέλεσης. Οτιδήποτε πιο περίπλοκο είναι υπερβολική μηχανική.

Αυτόματη επανεκκίνηση με torxelastic

torchrun υποστηρίζει την ελαστική προπόνηση αμέσως μόλις το αγοράσω:

torchrun \
    --nnodes=1:1 \
    --nproc-per-node=8 \
    --max-restarts=3 \
    --rdzv-backend=c10d \
    --rdzv-endpoint=localhost:29500 \
    train.py --checkpoint-dir /mnt/nvme/ckpt

Με TORCH_NCCL_ASYNC_ERROR_HANDLING=1, η αλυσίδα είναι: Το συλλογικό NCCL κολλάει → Ο watchdog PyTorch ανεβάζει → η διεργασία διακόπτεται με SIGABRT → το torchelastic τερματίζει τις αδελφικές τάξεις και επανεκκινείται από latest_checkpoint.ptΗ συνολική ακολουθία είναι συνήθως 60–120 δευτερόλεπτα. Παροδικά σφάλματα εμφανίζονται. Ένα μόνιμο σφάλμα (η GPU πήγε στο XID 79) καίει το --max-restarts προϋπολογισμό και στη συνέχεια ένας άνθρωπος είναι στον κύκλο.

Η επιχειρησιακή πρακτική

Ο μεγαλύτερος μοχλός μείωσης του κόστους αποτυχίας δεν είναι ο κώδικας αποκατάστασης — είναι αυτό που κάνετε πριν ξεκινήσει η εργασία.

Έλεγχοι πριν από την πτήση

Πριν ξεκινήσετε οτιδήποτε θα εκτελεστεί για περισσότερες από μερικές ώρες, εκτελέστε την ακολουθία επικύρωσης:

# 1. Per-GPU stress test — catches silent thermal/ECC issues
gpu-burn 600                        # 10 minutes per GPU at full load

# 2. DCGM diagnostic — finds latent hardware faults
sudo dcgmi diag -r 3                # level 3 = thorough, ~15 min

# 3. NCCL fabric test — validates inter-GPU bandwidth on the box
mpirun -np 8 ./build/all_reduce_perf -b 8 -e 1G -f 2 -g 1

# 4. PyTorch dry-run — one step, full batch size, all ranks
torchrun --nproc-per-node=8 dryrun.py
Έλεγχος Αλιεύματα
gpu-burn Θερμικός στραγγαλισμός, αθόρυβα σφάλματα ECC που εμφανίζονται μόνο υπό φορτίο
dcgmi diag Παλινδρομήσεις πλάτους σύνδεσης PCIe, προβλήματα τροφοδοσίας, σφάλματα μνήμης, NVLink
nccl-tests Κακή σύνδεση ανύψωσης, αργή λωρίδα PCIe, σπασμένη γέφυρα NVLink, λανθασμένα διαμορφωμένος διακόπτης
ξηρή λειτουργία OOM, σφάλματα κώδικα, κολλάει το πρόγραμμα φόρτωσης δεδομένων, λάθος tokenizer

Σε έναν καθαρό διακομιστή 8× RTX 5090, all_reduce_perf θα πρέπει να φτάνει στο εύρος ζώνης διαύλου 50–80 GB/s ανάλογα με την τοπολογία PCIe. Σημαντικά κάτω από αυτό σημαίνει πρόβλημα riser ή τοπολογίας — διορθώστε το πριν από την εκπαίδευση. Εκτελούμε το gpu-burn για μια ολόκληρη ώρα ως μέρος του ελέγχου ποιότητας πριν από την αποστολή σε κάθε έκδοση που φεύγει από το Kentino.

Προσέξτε για αργές διαρροές

Οι πραγματικές βάσεις κώδικα συσσωρεύουν μνήμη: ένα άγκιστρο καταγραφής διατηρεί μια αναφορά τανυστή, μια διαδρομή εξαίρεσης ξεχνά να καθαρίσει ένα buffer, ένας χρονοπρογραμματιστής LR διαρρέει ένα κλείσιμο. Το αποτέλεσμα είναι OOM στο βήμα 5000 μιας εκτέλεσης 10000 βημάτων. Ο φθηνότερος μετριασμός: εκτύπωση torch.cuda.memory_allocated() κάθε N βήματα προς το αρχείο καταγραφής εκπαίδευσης. Εάν αυξάνεται, δεν θα έπρεπε να αυξάνεται.

Η στατιστική πραγματικότητα σε κλίμακα Kentino

Εδώ είναι που η ειλικρίνεια σχετικά με το μέγεθος μετράει. Τα ποσοστά αποτυχίας αυξάνονται με τις ώρες λειτουργίας της GPU. Τα μεγάλα clusters αποτυγχάνουν συνεχώς επειδή έχουν πολλές GPU σε λειτουργία για πολλές ώρες.

διαμόρφωση GPU-ώρες/μήνα Αναμενόμενα συμβάντα υλικού/μήνα
Ένας σταθμός εργασίας, 4 GPU 2,880 ~0.05 — δηλαδή μία κάθε 1–2 χρόνια
Ένας διακομιστής, 8 GPU 5,760 ~0.1 — μία φορά το χρόνο σε περίπτωση έντονης χρήσης
Μικρό σύμπλεγμα, 32 GPU 23,040 ~0.5 — μία φορά κάθε 2 μήνες
Μικρό σύμπλεγμα, 32 GPU 24/7 Πλήρης κύκλος λειτουργίας ~1/μήνα
Υπερκλίμακα, GPU 16,384 ~ 12M 232/μήνα (Μέτα Λάμα 3)

Εκτιμήσεις βαθμονομημένες με βάση τα μεταδεδομένα (μία βλάβη ανά ~50,000 ώρες GPU που παρατηρήθηκαν). Οι πραγματικοί αριθμοί ποικίλλουν ανάλογα με το μοντέλο GPU — οι καταναλωτικές κάρτες 4090 και 5090 με ανυψωτήρες παρουσιάζουν βλάβη συχνότερα από τις κάρτες L40 κέντρων δεδομένων στο εγγενές τους πλαίσιο, κυρίως λόγω φθοράς PCIe και συνδέσμων τροφοδοσίας.

Συμπέρασμα: σε κλίμακα 8 GPU ενός κόμβου, αναμένεται ένα συμβάν υλικού ανά έτος βαριάς χρήσης, όχι ανά εβδομάδα. Οι περισσότερες μικρορυθμίσεις ολοκληρώνονται χωρίς να βλέπουν κανένα. Οι πελάτες που τις βλέπουν εκτελούν συνεχή εκπαίδευση και η κυρίαρχη λειτουργία βλάβης είναι η πλευρά του riser/PSU, όχι το πυρίτιο της GPU.

Κόστος επανεκκίνησης

Το κόστος επανεκκίνησης είναι ο χαμένος χρόνος εκπαίδευσης συν ο χρόνος του μηχανικού διάγνωσης. Σε μια έκδοση 8× RTX 5090, ας πούμε, με απόσβεση 300€/ημέρα, τα επιπλέον 30 λεπτά κοστίζουν 6€. Ο χρόνος που χρειάζεται ο μηχανικός για τη διάγνωση, την επανατοποθέτηση ενός καλωδίου και την επανεκκίνηση είναι μία έως τρεις ώρες. Η απώλεια υπολογισμού είναι σφάλμα στρογγυλοποίησης. Η εργασία είναι το κόστος. Γι' αυτό η σωστή επένδυση είναι η παρακολούθηση και η προ-πτήση, όχι η εξωτική υποδομή αποκατάστασης.

Το μεγαλύτερο μέρος του διαδικτυακού περιεχομένου που αφορά τη διαχείριση σφαλμάτων γράφεται για το επίπεδο υπερκλίμακας. Στο μέγεθος του Kentino, το μεγαλύτερο μέρος του είναι υπερβολικά επεξεργασμένο. Το 80/20 είναι: παρακολούθηση αρχείων καταγραφής πυρήνα, σημείο ελέγχου σε τοπικό NVMe, ορισμός TORCH_NCCL_ASYNC_ERROR_HANDLING=1, εκτελέστε την εντολή gpu-burn πριν από μεγάλες εργασίες.

Τι να κάνω μετά

Εάν χειρίζεστε ένα κουτί πολλαπλών GPU σε κλίμακα Kentino, οι συγκεκριμένες ενέργειες:

  1. Ρύθμιση του εξαγωγέα DCGM + μια ελάχιστη ειδοποίηση Prometheus σε σφάλματα ECC και θερμικές παραβιάσεις. Μισή μέρα. Εντοπίζει το 80% των προβλημάτων υλικού που εμφανίζονται αργά.
  2. Πρόσθεση TORCH_NCCL_ASYNC_ERROR_HANDLING=1 και --max-restarts=3 στο σενάριο εκκίνησής σας σήμερα. Μηδενική προσπάθεια, αποτρέπει το κρέμασμα κατά τη διάρκεια της νύχτας.
  3. Επιλέξτε ένα διάστημα σημείου ελέγχου ανάλογα με τη διάρκεια της εργασίας. Κάτω από 2 ώρες: μην ασχοληθείτε. 2–24 ώρες: κάθε 30 λεπτά στο τοπικό NVMe. Πολυήμερη: κάθε 15 λεπτά με περιοδικό συγχρονισμό σε μόνιμη αποθήκευση.
  4. τρέξιμο gpu-burn και dcgmi diag -r 3 μετά την παράδοση, πριν από τον πρώτο πραγματικό φόρτο εργασίας. Εντοπίζει τις κάρτες DOA και τις ζημιές από την αποστολή. Επαναλαμβάνεται ανά τρίμηνο.
  5. Διάβασε τα άρθρα για το riser και το τροφοδοτικό πριν κατηγορήσεις την GPU. Σε διακομιστές GPU καταναλωτών, ο ανυψωτήρας και η γραμμή τροφοδοτικού αποτελούν την πηγή βλάβης δύο φορές πιο συχνά από την πλακέτα GPU.

Συνοδευτικά άρθρα: K02 (κατανεμημένη εκπαίδευση και μορφές σημείων ελέγχου), K04 (αποθήκευση συστάδων), N06 (ανατομή καθυστέρησης).


Αυτό είναι μέρος του Kentino Wiki, μιας σειράς αναφοράς για την υπολογιστική Τεχνητή Νοημοσύνη, τη ρομποτική και τα συστήματα που τα συνδέουν. Σχόλια και διορθώσεις είναι ευπρόσδεκτα στο info@kentino.com.