GPU-Treiber

Unsere Trooper.AI Blibs werden vorkonfiguriert mit installierten und während des Provisionierungsprozesses getesteten NVIDIA-Treibern geliefert, um sofortige Kompatibilität und optimale Leistung zu gewährleisten. Wir verwenden die neuesten stabilen Treiber für Ubuntu 22.04 LTS, um ein breites Spektrum an Anwendungen und Workloads zu unterstützen. Während wir die anfängliche Konfiguration übernehmen, haben fortgeschrittene Benutzer die Flexibilität, Treiberversionen unabhängig über SSH-Zugriff oder durch Verwendung unserer speziellen GPU-Treiber-Update-Vorlage zu ändern. Dies ermöglicht die Anpassung an spezifische Anwendungsanforderungen oder das Experimentieren mit neueren Treiberversionen. Wir empfehlen, alle benutzerdefinierten Treiberänderungen zuerst in einer Nicht-Produktivumgebung zu testen.

Beispielhafte Treiber-Ausgabe

Dies powerai.l1 Der Blib, der unser internes LLM bereitstellt und Ubuntu 22.04 ausführt, ist vorkonfiguriert mit der NVIDIA-Treiberversion 565.57.01, die CUDA 12.7 unterstützt und eine vollständige Leistungsaufnahme von 450W für optimale Leistung bietet. Alle regulären Kunden haben vollen Root-Zugriff und können unabhängig voneinander auf neuere Treiberversionen, wie z. B. 570 oder höher, aktualisieren, um spezifische Anwendungsanforderungen wie CUDA 12.8+ zu erfüllen.

nvidia-smi output example
nvidia-smi Ausgabe Beispiel

Offizieller Nvidia-Treibersupport und SLA

Weitere Informationen zur offiziellen Treiberunterstützung für Linux finden Sie hier. Dieser Beitrag wird regelmäßig von Nvidia-Entwicklern aktualisiert. https://forums.developer.nvidia.com/t/unix-graphics-feature-deprecation-schedule/60588