Recomandare: GPU Task Manager, o aplicatie cu care puteti urmari ce se intampla in GPU

Scott Hanselman a făcut o aplicație de Windows/Linux/macOS denumită gputaskman cu ajutorul căruia utilizatorii pot urmări cum e alocată memoria GPU și ce procese sunt acolo. E un Task Manager dedicat pentru GPU, care oferă mult mai multe detalii decât soluțiile existente pe Windows/Linux/macOS. Chiar el spune că este un utlitar de tip htop, dar pentru GPU.

gputaskman arată în acest moment modul în care memoria e folosită de fiecare proces în parte și ajută la identificarea acelor procese (sau aplicații) care consumă cel mai mult. În era AI-ului, e o soluție bună să vedeți cine vă fură din putarea de procesare.

Cred că utilitatea maximă va fi pentru aceia care rulează local LLM-uri și pot să încerce diverse opțiuni pentru a optimiza încărcarea GPU-ului mai ales că există și detalii legate de temperatura curentă.

Fiind o aplicație la început de drum e foarte posibil să mai dea și rateuri, din acest motiv Scott îi invită pe toți cei interesați să participe la dezvoltarea ei să o cloneze din GitHub și să încerce să o extindă. Utilitarul gputaskman poate fi instalat cu PyPI și merge pe Windows, Linux/WSL, macOS dacă există Python 3.11+ și un driver GPU adecvat (NVIDIA/AMD).

Pentru Windows merge încercată și modalitatea de instalare cu winget:

winget install --id Git.Git --exact
winget install --id astral-sh.uv --exact

Pe Linux puteți alege să descărcați un pachet:

tar -xzf gputaskman-VERSION-linux-x64.tar.gz
cd gputaskman-VERSION-linux-x64
./gputaskman

sau să clonați direct repo-ul:

git clone https://github.com/shanselman/gputaskman.git
cd gputaskman
uv run --locked gputaskman

Pe macOS merge doar pe varianta Apple Silicon descărcată pentru Python, nu are încă un pachet instalabil:

uv run gputaskman

Poate fi lansat așa:

uv run --locked gputaskman              # live TUI
uv run --locked gtm                     # shorter alias
uv run --locked gputaskman -i 2         # sample every two seconds
uv run --locked gputaskman --once       # one text snapshot
uv run --locked gputaskman --json       # one JSON snapshot; implies --once
uv run --locked gputaskman diff before.json after.json   # compare two --json snapshots
uv run --locked gputaskman record -o session.jsonl --duration 300   # append one --json snapshot per second for 5 minutes
uv run --locked gputaskman --no-host    # WSL: don't read Windows host counters through interop
uv run --locked gputaskman --no-system  # don't sample system RAM/CPU: no panel, columns, or JSON section
uv run --locked gputaskman --help

gputaskman are opțiunea de a salva un snapshot al memoriei și proceselor în vederea realizării de comparații. Și cine vrea poate să folosească opțiunea de înregistrare ca să urmărească modul în care este alocată memoria GPU.

După cum am zis la început, gputaskman e un utilitar ce seamănă foarte mult cu cele din seria SysInternals, făcute de Mark Russinovich pentru Windows/Linux/macOS.

Dacă vi se pare interesant, aruncați un ochi pe Git ca să vedeți tot ce poate face acum și eventual cum puteți să contribuiți să îl faceți mai bun.