Hardware Ready Ready to Bench?
Scott Hanselman, Manager und Entwickler bei Microsoft, hat gputaskman erstellt, ein Open-Source-Projekt zur Überwachung der GPU-Aktivitäten. Die Anwendung ist für Windows, Linux und macOS verfügbar und zeigt Video-Speicherbedarf, aktive Prozesse, Taktraten und Temperaturen an, mit spezifischen Funktionen zur Analyse von KI-Modellen.
Der Windows-Task-Manager ist ein weit verbreitetes Werkzeug zur Kontrolle der Hardware-Ressourcen des PCs und zur Identifizierung von Prozessen, die viel Speicher oder Leistung benötigen. Bei GPUs sind die verfügbaren Informationen jedoch weniger detailliert als bei CPUs. Um diese Lücke zu schließen, hat Scott Hanselman, Vizepräsident und Member of Technical Staff bei Microsoft, gputaskman entwickelt, ein Open-Source-Projekt, das einen tiefen Einblick in die Vorgänge innerhalb der GPU bietet.
gputaskman: Warum das wichtig ist
Der Name bezieht sich bewusst auf den Windows-Task-Manager, doch die Anwendung konzentriert sich auf grafische Verarbeitung und Hardware-Beschleunigung. Das Programm ist für Windows, Linux und macOS verfügbar und präsentiert Informationen über eine textbasierte Oberfläche in einem Terminal-Fenster. Die Idee hinter dem Projekt entstand aus einem persönlichen Bedürfnis von Hanselman, der dies in sozialen Medien erklärte: „In meiner GPU passiert viel. Ich erstelle einen Task-Manager für GPUs, um zu verstehen, wo mein Grafikspeicher hinfließt“.
Mit gputaskman können verschiedene Parameter beobachtet werden, darunter die GPU-Auslastung, die Betriebstaktraten, der VRAM-Verbrauch und die Temperaturen. Das interessanteste Merkmal ist die Möglichkeit, die von einzelnen Prozessen genutzten Ressourcen anzuzeigen, statt nur einen Gesamtwert für die Grafikkarte zu zeigen.
Die Oberfläche ist in drei Hauptabschnitte organisiert. Der obere Bereich sammelt die GPU-Überwachungsdaten mit Diagrammen, die den Verlauf der Arbeitslast, des verwendeten Videospeichers und der Temperatur in Echtzeit anzeigen. Der mittlere Teil listet die Prozesse auf, die die GPU nutzen, und gibt für jeden Informationen wie Runtime, VRAM-Verbrauch und Paging-Speicher-Nutzung an. Wenn man einen Prozess auswählt, zeigt der untere Abschnitt weitere Details zur Anwendung. Diese Organisation erleichtert es, festzustellen, welche Programme den Videospeicher belegen.
In den von Hanselman veröffentlichten Beispielen ist ein System mit einer GeForce RTX 4080 Super zu sehen, bei dem der Prozess mit dem höchsten VRAM-Verbrauch der Desktop Window Manager ist, die Windows-Komponente für die Komposition und Darstellung grafischer Benutzeroberflächenelemente. In der Liste erscheinen auch Anwendungen für künstliche Intelligenz und andere in Windows übliche Prozesse.
Was ändert sich und welche Auswirkungen hat das?
Besonderer Fokus lag auf Arbeitslasten im Zusammenhang mit künstlicher Intelligenz und großen Sprachmodellen (LLM). gputaskman integriert einen Model Inspector, der Informationen zu den von aktiven Prozessen verwendeten KI-Modellen liefert. Wird beispielsweise der Prozess llama-server.exe ausgewählt, kann das Programm anzeigen, welches Sprachmodell läuft, und eine Aufschlüsselung der genutzten Ressourcen bereitstellen. Zu den verfügbaren Daten gehören Architektur, Quantisierung, Modellgewichte, Anzahl der Parameter, Anzahl der Ebenen und Speicher für die KV-Cache, eine Struktur, die bei der Textgenerierung verwendet wird, um Zwischeninformationen zu speichern und das Wiederholen bestimmter Berechnungen zu reduzieren. Im vom Entwickler geteilten Beispiel erscheint Qwen3-0.6B, ein Modell mit etwa 600 Millionen Parametern. Die Möglichkeit, den Verbrauch für Gewichte von dem der KV-Cache zu unterscheiden, ist besonders nützlich für Nutzer, die KI-Modelle lokal ausführen und verstehen möchten, wie der verfügbare Videospeicher verteilt wird.
Im Vergleich zum Windows-Task-Manager, der bereits einige Informationen zur GPU-Aktivität und den sie nutzenden Prozessen bietet, zielt gputaskman auf ein höheres Detailniveau ab. Sein Ansatz kann vor allem für erfahrene Nutzer interessant sein, für Menschen, die mit anspruchsvollen Grafik-Anwendungen arbeiten, und für jene, die gleichzeitig mehrere Tools nutzen, die auf GPU-Beschleunigung basieren.
Das Projekt wird unter der MIT-Lizenz veröffentlicht, einer permissiven Open-Source-Lizenz, die es erlaubt, die Software zu verwenden, zu ändern und weiterzuverteilen, sofern die entsprechenden Bedingungen eingehalten werden. Der Quellcode und technische Informationen sind auf GitHub verfügbar, während Hanselman auch ausführbare Pakete für Windows veröffentlicht hat. Neben der Funktion als eigenständiges Überwachungstool verdeutlicht gputaskman eine Lücke in den in Windows integrierten Tools. In Antwort auf einige Kommentare in sozialen Medien ließ Hanselman durchblicken, dass Windows in Zukunft erweiterte GPU-Überwachungsfunktionen integrieren könnte.
Quelle und weiterführende Informationen zu gputaskman: Originalartikel.
* Inhalt erstellt mit Unterstützung von KI-Systemen.