问题说明：我是服务器上面的docker拉到本地30卡想用的，但是失败，报错如下： 服务器上面显存驱动是450，本地30卡驱动是470
nvidia-docker run -it --name 20230821_3 --shm-size 16g -p 10029:22 --privileged 20230821_img bash
docker: Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #1: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy'
nvidia-container-cli: device error: GPU-18275fc2-f525-f872-0355-f0c386cc0de3: unknown device: unknown.
https://blog.csdn.net/weixin_43135178/article/details/131416191
故障原因：
nvidia-docker最古老的容器内nvidia gpu的调用是需要在镜像（或容器）中安装与宿主机nvidia显卡驱动兼容的驱动版本，但是这一要求比较难以满足，因为如果宿主机的nvidia驱动略低于docker容器下nvidia驱动版本就很容易出现forward compatibility错误，而比较可行的就是容器内的nvidia驱动版本略低于宿主机版本。正是因为最早的nvidia-docker这个难以保证宿主机和容器的nvidia驱动版本匹配，因此现在的nvidia-docker使用的方案是在制作docker镜像时不安装nvidia driver和cuda，而是在nvidia-docker容器启动时自动把宿主机中的nvidia driver和cuda映射给容器，对应的nvidia-docker启动容器时附加参数为 --gpus all，但是有一些人对这个原理并不是很了解因此在制作镜像的时候依旧会把nvidia driver和cuda打包进去【应该是在做镜像的时候不应该把--gpus all参数加进去】。由于wsl下对物理机的nvidia显卡是使用模拟的方式，这时的wsl中使用的nvidia驱动其实是wsl-nvidia-driver，也正是由于该驱动的一些特性导致在wsl中如果使用nvidia-docker启动自身带有nvidia driver和cuda的容器就会在启动时报错。其报错的故障具体点为wsl使用nvidia-docker启动容器时在自动创建/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1文件和/usr/lib/x86_64-linux-gnu/libcuda.so.1文件时会判断镜像中是否有相同的文件，如果有则报错，也就是本文开头说提的报错信息，而在ubuntu物理机上使用nvidia-docker首次启动容器时即使镜像中存在/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1文件和/usr/lib/x86_64-linux-gnu/libcuda.so.1文件也会对其进行强制覆盖（强制映射）（该种覆盖并不会影响容器的保存，比如在使用docker commit时对应的文件依旧是原镜像中的文件，而不是nvidia-docker映射给的宿主机中对应的文件）。
简单来说就是显卡驱动版本一致的docker才能用！
服务器上面的docker， nvidia-docker进不去，需要用
docker run -it --name my yhl_20230821_img:latest /bin/bash
才能进去
root@e990c35cc59b:/# nvidia-smi
root@e990c35cc59b:/# cd /usr/lib/x86_64-linux-gnu/
root@e990c35cc59b:/usr/lib/x86_64-linux-gnu# ls libnvidia*
libnvidia-allocator.so.1 libnvidia-cfg.so.450.102.04 libnvidia-fatbinaryloader.so.418.67 libnvidia-ml.so.455.23.05 libnvidia-ptxjitcompiler.so.1
libnvidia-allocator.so.450.102.04 libnvidia-cfg.so.455.23.05 libnvidia-ml.so libnvidia-opencl.so.1 libnvidia-ptxjitcompiler.so.418.67
libnvidia-allocator.so.455.23.05 libnvidia-compiler.so.418.67 libnvidia-ml.so.1 libnvidia-opencl.so.418.67 libnvidia-ptxjitcompiler.so.450.102.04
libnvidia-cfg.so.1 libnvidia-compiler.so.450.102.04 libnvidia-ml.so.418.67 libnvidia-opencl.so.450.102.04 libnvidia-ptxjitcompiler.so.450.80.02
libnvidia-cfg.so.418.67 libnvidia-compiler.so.455.23.05 libnvidia-ml.so.450.102.04 libnvidia-opencl.so.455.23.05 libnvidia-ptxjitcompiler.so.455.23.05
root@e990c35cc59b:/usr/lib/x86_64-linux-gnu# ls libcuda*
libcuda.so libcuda.so.1 libcuda.so.418.67 libcuda.so.450.102.04 libcuda.so.450.80.02 libcuda.so.455.23.05
root@e990c35cc59b:/usr/lib/x86_64-linux-gnu#
可以看到这个是显卡驱动是450版本或者455
但是我本地可以用的其他的docker进去，看到是470版本的
root@9af74680a946:/# cd /usr/lib/x86_64-linux-gnu/
root@9af74680a946:/usr/lib/x86_64-linux-gnu# ls libnvidia*
libnvidia-allocator.so.1 libnvidia-cfg.so.1 libnvidia-compiler.so.470.103.01 libnvidia-ml.so.470.103.01 libnvidia-opencl.so.470.103.01 libnvidia-ptxjitcompiler.so.465.19.01
libnvidia-allocator.so.470.103.01 libnvidia-cfg.so.470.103.01 libnvidia-ml.so.1 libnvidia-opencl.so.1 libnvidia-ptxjitcompiler.so.1 libnvidia-ptxjitcompiler.so.470.103.01
root@9af74680a946:/usr/lib/x86_64-linux-gnu# ls libcuda*
libcuda.so libcuda.so.1 libcuda.so.465.19.01 libcuda.so.470.103.01
root@9af74680a946:/usr/lib/x86_64-linux-gnu#
