基本很少有人会想到要关闭NVIDIA显卡的CUDA计算功能，这东西不想用就不跑cuda代码不就可以了吗，但是作为一个深度学习服务器集群的管理者来说，这个功能还是有用处的。前一阵使用实验室的一台服务器的显卡报错，只要是这个显卡满载就会导致服务器死机，从操作系统日志和服务器硬件监控日志来看这个错误是硬件错误，也就是说不是pcie槽的相关部分（供电、芯片等）出现了故障就是这块显卡出现了硬件故障，相关见：实验室服务彻底死机记录——硬件故障——主板pcie槽坏掉或显卡坏掉 。
既然确定好了问题点，那么直接联系厂家不就解决了嘛，毕竟这是硬件问题，但是实际操作起来还是蛮复杂的，首先服务器上跑的有国家级的项目，这个也是各位领导的钱袋子，这个服务器上的数据就是迁移也是需要时间的，争取最小时间损失是必须要考虑的，这时候就有一个神奇的选项，那就是将这个坏掉的显卡的CUDA功能关闭掉，其他显卡依然可以正常运行，这样就可以在保障服务器上的项目依然可以运行的同时一边做备份和迁移一边去和厂家联系硬件维修的事情。
=====================================
参考：
https://www.twblogs.net/a/5ca8603cbd9eee59d3332b72
标签：坏掉,NVIDIA,硬件,CUDA,服务器,显卡 From： https://www.cnblogs.com/devilmaycry812839668/p/16862642.html