kill all processes using gpu

Cách fixed lỗi Failed to initialize NVML: Driver/library version mismatch

khiemnd5 IT, Linux , , , ,

Nguyên nhân Failed to initialize NVML: Driver/library version mismatch là do chúng ta chưa tắt auto update driver.

Cách fix:

Bước 1: Tắt hết các tiến trình đang chạy GPU Nvidia

lsof /dev/nvidia* | awk '{print $2}' | xargs -I {} kill {}

Bước 2: Xoá một vài module đã update

sudo rmmod nvidia_drm
sudo rmmod nvidia_modeset
sudo rmmod nvidia_uvm
sudo rmmod nvidia

Bước 3: Kiểm tra lại xem được chưa

nvidia-smi

Bước 4: Chặn auto update

cat /proc/driver/nvidia/version # lấy version và thực hiện chặn update version đó ở lệnh dưới
sudo apt-mark hold nvidia-utils-<version_number>