有时候在使用 GPU 服务器时执行 nvidia-smi 会遇到以下报错：
Failed to initialize NVML: Driver/library version mismatch
NVML library version: 535.161
这说明 Nvidia 显卡驱动与内核版本不一致，我们可以查看一下内核版本：
cat /proc/driver/nvidia/version
显示结果如下：
NVRM version: NVIDIA UNIX x86_64 Kernel Module 535.154.05 Thu Dec 28 15:37:48 UTC 2023
GCC version: gcc version 12.3.0 (Ubuntu 12.3.0-1ubuntu1~22.04)
因此显卡驱动的版本 535.161 比内核版本 535.154.05 更高，遇到这种情况可能重启服务器后即可恢复正常，如果没有重启条件则按以下方法尝试解决。
1. 卸载内核驱动
先卸载当前内核驱动：
sudo rmmod nvidia
此时可能会遇到报错：rmmod: ERROR: Module nvidia is in use by: nvidia_uvm nvidia_modeset，需要先卸载依赖：
sudo rmmod nvidia_uvm
sudo rmmod nvidia_modeset
卸载第二个依赖时会提示：rmmod: ERROR: Module nvidia_modeset is in use by: nvidia_drm，根据提示继续卸载依赖即可：
sudo rmmod nvidia_drm
如果遇到报错：rmmod: ERROR: Module nvidia_drm is in use，需要进行以下操作：
sudo lsof -n -w /dev/nvidia* # 查看哪些进程使用了nvidia*
sudo kill <ID> # 结束相关进程
lsmod | grep nvidia # 查看kernel mod的依赖情况
sudo systemctl isolate multi-user.target # 隔离多用户
sudo rmmod nvidia_drm
sudo rmmod nvidia_modeset
sudo rmmod nvidia
最后重新查看一下 GPU 信息：
nvidia-smi
2. 重装显卡驱动
卸载当前显卡驱动：
sudo apt-get purge nvidia*
然后查找可用的驱动版本：
ubuntu-drivers devices
结果如下：
== /sys/devices/pci0000:00/0000:00:02.0/0000:02:00.0/0000:03:0c.0/0000:06:00.0 ==
modalias : pci:v000010DEd00001B02sv000010DEsd000011DFbc03sc00i00
vendor : NVIDIA Corporation
model : GP102 [TITAN Xp]
driver : nvidia-driver-545 - distro non-free
driver : nvidia-driver-390 - distro non-free
driver : nvidia-driver-450-server - distro non-free
driver : nvidia-driver-535-server - distro non-free
driver : nvidia-driver-418-server - distro non-free
driver : nvidia-driver-535 - third-party non-free
driver : nvidia-driver-470-server - distro non-free
driver : nvidia-driver-470 - distro non-free recommended
driver : xserver-xorg-video-nouveau - distro free builtin
安装对应版本驱动：
sudo apt-get update
sudo apt-get install nvidia-driver-535-server
最后重新查看一下 GPU 信息：
nvidia-smi
