[Mellanox] 安装MLNX_OFED

虽然已经安装过很多遍了，但是这里还是再次写一遍安装过程，方便以后查阅。

Mellanox的这堆东西其实每个安装起来都不难，难点在于版本要匹配。所以最重要的是我们要知道1.我们需要哪个版本的驱动；2.这些软件的版本对应关系。

查看当前的各种配置版本

MLNX_OFED的版本对操作系统发行版本和内核版本有一定要求。用下面的命令可以查看你的当前版本。

• 查看内核版本

$ uname -r
5.4.0-26-generic

• 查看操作系统版本

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 20.04.6 LTS
Release:        20.04
Codename:       focal

• 或者一个命令就可以

$ hostnamectl
   Static hostname: worker4
         Icon name: computer-server
           Chassis: server
        Machine ID: 56fc3d3889fa427091ee490613ed7c91
           Boot ID: 16989882503d406ca788a4afbe52f8c9
  Operating System: Ubuntu 20.04.6 LTS
            Kernel: Linux 5.4.0-26-generic
      Architecture: x86-64

通常来讲，我们可能会安装Mellanox的三个东西：固件Firmware，驱动MLNX_OFED，以及工具MFT。其中Firmware的版本主要取决于你网卡的版本（如ConnectX-5对应16.35.x），下载地址在NVIDIA Networking Firmware Downloads。MFT在安装MLNX_OFED的时候也会顺带安装上，只不过实际使用时不知道为啥可能会找不着。如果想要单独安装MFT而不重装MLNX_OFED，可以参考[Mellanox] 安装MFT并配置网卡为以太网模式 - CQzhangyu - 博客园 (cnblogs.com)。

下面的命令用于检查你已经安装好的firmware,MLNX_OFED,MFT版本。

• 查看firmware版本

$ ibstat
CA 'mlx5_1'
        CA type: MT4119
        Number of ports: 1
        Firmware version: 16.35.3006
        Hardware version: 0
        Node GUID: 0x1070fd03002fd421
        System image GUID: 0x1070fd03002fd420
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 100
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x00010000
                Port GUID: 0x1270fdfffe2fd421
                Link layer: Ethernet

• 查看MLNX_OFED版本

$ ofed_info  -s
MLNX_OFED_LINUX-5.4-3.6.8.1:

• 查看mft版本

$ sudo mst start
$ sudo mst version
mst, mft 4.21.0-102, built on Aug 18 2022, 21:58:43. Git SHA Hash: f1a12d7

查看MLNX_OFED对应的内核版本

• 进入Linux InfiniBand Drivers (nvidia.com)

• 在MLNX_OFED Download Center里选择MLNX_OFED版本，选择你的OS Distribution和Architecture，在Download/Documentation里打开Release Notes。

• 以Release Notes - NVIDIA Docs为例，在左侧栏进入General Support。

• 以General Support - NVIDIA Docs为例，可以看见当前OFED版本支持的操作系统版本，以及NIC firmware版本。

安装MLNX_OFED

• 在这里下载你想要的版本：Linux InfiniBand Drivers (nvidia.com)，在Documentation->User Manual中可以看到安装教程。这里我下载的版本是MLNX_OFED_LINUX-5.4-3.6.8.1-ubuntu20.04-x86_64.iso。

• $ sudo mkdir -p /mnt/MLNX_OFED
  $ sudo mount -o ro,loop MLNX_OFED_LINUX-5.4-3.6.8.1-ubuntu20.04-x86_64.iso /mnt/MLNX_OFED
  $ cd /mnt/MLNX_OFED
  $ sudo ./mlnxofedinstall --without-dkms --add-kernel-support --kernel 5.4.0-26-generic --without-fw-update --force
  

• 重启驱动

  sudo /etc/init.d/openibd restart
  

现在MLNX_OFED就已经安装完成了，可以用上面的命令来检查你当前安装好的版本。