37 KVM管理设备-管理设备直通
设备直通技术是指将host上的物理设备直接呈现给一台虚拟机，虚拟机可以直接访问该设备资源的一种使用方式。使用设备直通的方式可以让虚拟机获得良好的I/O性能。
当前设备直通使用的是VFIO方式，按照直通的设备类型可以分为PCI直通和SR-IOV直通两种类型。
37.1 PCI直通
PCI直通是指将host上的物理PCI设备直接呈现给一台虚拟机，供虚拟机直接访问的一种使用方式。PCI直通使用了vfio设备直通方式，为虚拟机配置PCI直通的xml配置如下：
<hostdev mode='subsystem' type='pci' managed='yes'>
<driver name='vfio'/>
<source>
<address domain='0x0000' bus='0x04' slot='0x10' function='0x01'/>
</source>
<rom bar='off'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</hostdev>
表 1 PCI直通设备配置项
| 参数名 | 说明 | 取值 |
|---|---|---|
| hostdev.source.address.domain | host OS上的PCI设备的domain号。 | >=0 |
| hostdev.source.address.bus | host OS上的PCI设备bus号。 | >=1 |
| hostdev.source.address.slot | host OS上的PCI设备的device号。 | >=0 |
| hostdev.source.address.function | host OS上的PCI设备的function号。 | >=0 |
| hostdev.driver.name | 可选配置项，指定PCI直通的后端驱动。 | vfio（默认配置项） |
| hostdev.rom | 直通设备的ROM是否呈现给虚拟机。 | 可以配置为“on/off”，默认为“on”。on：表示直通设备的ROM呈现给虚拟机，例如：直通网卡虚拟机需要从该网卡的PXE启动时，可以将该选项配置为“on”，HBA卡直通虚拟机需要从ROM中启动时可以将该选项配置为“on”。off：表示直通设备的ROM不呈现给虚拟机。 |
| hostdev.address type | PCI设备呈现的Guest内bdf号。 | 0x03-0x1e说明：domain为域信息，bus为总线号，slot为插槽号，function为功能除了slot插槽号，这里其余均默认为0。第一个slot插槽号0x00被系统占用，第二个slot号0x01被IDE控制器和USB控制器占用，第三个slot号0x02被video占用。最后一个slot号0x1f被pvchannel占用。 |
说明： VFIO直通方式的最小直通单位是iommu_group，host根据硬件上的ACS位，来划分iommu_group。同一个iommu_group中的设备只允许直通给同一台虚拟机（一个PCI设备上的若干个function，如果属于同一个iommu_group，只允许直通给一个虚拟机使用）。
37.2 SR-IOV直通
37.2.1 概述
SR-IOV（Single Root I/O Virtualizaiton）是一种基于硬件的虚拟化解决方案，通过SR-IOV技术可以将一个PF（Physical Function）虚拟成多个VF（Virtual Function），每个VF都可以单独被直通给一个虚拟机，极大地提升了硬件资源利用率和虚拟机的I/O性能。一种典型的应用场景就是网卡SR-IOV设备直通，利用SR-IOV技术可以将一个物理网卡（PF）虚拟成多个VF网卡，再把VF直通给虚拟机使用。
- SR-IOV需要物理硬件支持，使用SR-IOV前请确保要直通的硬件设备支持该能力，并且Host侧的设备驱动程序工作在SR-IOV模式下。
- 查询网卡具体型号的办法如下： 例如下述回显，第一列为网卡的PCI号，19e5:1822为网卡的厂商号设备号。
# lspci | grep Ether 05:00.0 Ethernet controller: Device 19e5:1822 (rev 45) 07:00.0 Ethernet controller: Device 19e5:1822 (rev 45) 09:00.0 Ethernet controller: Device 19e5:1822 (rev 45) 0b:00.0 Ethernet controller: Device 19e5:1822 (rev 45) 81:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01) 81:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
37.2.2 操作方法
请使用root用户按照如下操作步骤配置SR-IOV直通网卡：
37.2.2.1 开启网卡的SR-IOV模式
-
请确保Guest OS有网卡供应商提供的VF驱动支持，否则Guest OS内VF无法正常工作。
-
在host OS的BIOS中开启SMMU/IOMMU的支持。不同厂家服务器的开启方式可能不同，请参考各服务器的帮助文档。
-
HOST驱动配置，开启SR-IOV的VF模式。这里以Hi1822网卡为例，开启16个VF。
# echo 16 > /sys/class/net/ethX/device/sriov_numvfs
37.2.2.2 获取PF和VF的PCI BDF信息
-
获取当前单板上的网卡资源列表，参考命令如下：
# lspci | grep Eth 03:00.0 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family (4*25GE) (rev 45) 04:00.0 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family (4*25GE) (rev 45) 05:00.0 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family (4*25GE) (rev 45) 06:00.0 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family (4*25GE) (rev 45) 7d:00.0 Ethernet controller: Huawei Technologies Co., Ltd. Device a222 (rev 20) 7d:00.1 Ethernet controller: Huawei Technologies Co., Ltd. Device a222 (rev 20) 7d:00.2 Ethernet controller: Huawei Technologies Co., Ltd. Device a221 (rev 20) 7d:00.3 Ethernet controller: Huawei Technologies Co., Ltd. Device a221 (rev 20) -
查看VF的PCI BDF信息，参考命令如下：
# lspci | grep "Virtual Function" 03:00.1 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:00.2 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:00.3 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:00.4 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:00.5 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:00.6 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:00.7 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:01.0 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:01.1 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) 03:01.2 Ethernet controller: Huawei Technologies Co., Ltd. Hi1822 Family Virtual Function (rev 45) -
选择一个可用的VF，根据其BDF信息将其配置写入虚拟机的配置文件中。以03:00.1设备为例，对应的bus号是03，slot号是00，function号是1。
37.2.2.3 识别和管理PF/VF对应关系
-
识别PF对应的VF关系，以PF 03.00.0为例：
# ls -l /sys/bus/pci/devices/0000\:03\:00.0/可显示如下的软链接信息，根据信息可以获得其对应的VF编号（virtfnX）和PCI BDF号。
-
识别VF对应的PF关系，以VF 03:00.1为例：
# ls -l /sys/bus/pci/devices/0000\:03\:00.1/可显示下述软连接信息，即可获得其对应PF的PCI BDF号。
lrwxrwxrwx 1 root root 0 Mar 28 22:44 physfn -> ../0000:03:00.0 -
获知PF/VF对应的网卡设备名称，例如：
# ls /sys/bus/pci/devices/0000:03:00.0/net eth0 -
设置VF的mac/vlan/qos信息，确保VF在直通之前处于UP状态。以VF 03:00.1为例，假设PF为eth0，VF编号为0。
# ip link set eth0 vf 0 mac 90:E2:BA:21:XX:XX # 设置mac地址 # ifconfig eth0 up # ip link set eth0 vf 0 rate 100 # 设置VF出口速率，单位Mbps # ip link show eth0 # 查看mac/vlan/qos信息，确认设置成功
37.2.2.4 挂载SR-IOV网卡到虚拟机中
创建虚拟机时，在虚拟机配置文件中增加SR-IOV直通的配置项。
<interface type='hostdev' managed='yes'>
<mac address='fa:16:3e:0a:xx:xx'/>
<source>
<address type='pci' domain='0x0000' bus='0x06' slot='0x11' function='0x6'/>
</source>
<vlan>
<tag id='1'/>
</vlan>
</interface>
表 1 SR-IOV配置选项说明
| 参数名 | 说明 | 取值 |
|---|---|---|
| hostdev.managed | libvirt处理PCI设备的两种模式。 | no：默认配置，表示直通设备由用户自行管理。yes：表示直通设备由libvirt管理。SR-IOV直通场景需要配置为yes。 |
| hostdev.source.address.bus | host OS上的PCI设备bus号。 | >=1 |
| hostdev.source.address.slot | host OS上的PCI设备device号。 | >=0 |
| hostdev.source.address.function | host OS上的PCI设备function号。 | >=0 |
# echo 0 > /sys/class/net/eth0/device/sriov_numvfs
37.2.3 HPRE加速器SR-IOV直通
加速器引擎是TaiShan 200服务器基于Kunpeng 920处理器提供的硬件加速解决方案。HPRE加速器用于加速SSL/TLS应用，可以显著降低处理器消耗，提高处理器效率。 在鲲鹏服务器上，需要把主机Host上的HPRE加速器的VF直通给虚拟机，供虚拟机内部业务使用。
表 1 HPRE加速器说明
| 项目 | 说明 |
|---|---|
| 设备名称 | Hi1620 on-chip RSA/DH security algorithm accelerator (HPRE engine) |
| 功能 | 模幂运算、RSA密钥对运算、DH计算、部分大数辅助运算(模幂、模乘、取模、乘法、模逆、素数测试、互质测试) |
| VendorID | 0x19E5 |
| PF DeviceID | 0xA258 |
| VF DeviceID | 0xA259 |
| 最大VF数量 | 一个HPRE PF最多支持创建63个VF |
说明： 当虚拟机正在使用VF设备时，不允许卸载Host上的驱动，加速器不支持热插拔。 VF操作(VFNUMS为0表示关闭VF，hpre_num用来标识具体的加速器设备)：
# echo $VFNUMS > /sys/class/uacce/hisi_hpre-$hpre_num/device/sriov_numvfs
标签：直通,VF,rev,虚拟机,KVM,37,controller,Ethernet,设备 From： https://blog.51cto.com/u_237826/6404529