PVE直通intel amd核显全系rom作方式

根据黑苹果屋相关教程整理

非常重要：
1.如果您之前定制过OVMF固件实现的直通，需要将定制的文件复原，否则可能会导致本次定制rom后直通不成功
2.如果你之前修改过PVE下的很多模块，也有可能会导致定制rom后直通不成功，这种情况建议重新安装PVE环境

本文的内容理论上适用于Intel 4-14代与amd的cpu核显（也许支持Intel14代更高版本）
PVE版本为：Proxmox Virtual Environment 8.0.4
内核版本：Linux6.2.16-6-pve
BIOS默认已经开了虚拟化vt-d, iommu相关直通设置，没开的自己进BIOS设置

BIOS设置(主要是就csm还有Graphics两处,每个人的或许不一样,BIOS设置不对,也是无法直通成功的

GTT Size 8M

Aperture Size 1024M

DVMT Pre-Allocated 64M

DVMT Total Gfx Mem 256M

GSM Enabled

Network UEFI

Storage UEFI

Video UEFI

Other PCI devices UEFI

参考设置

一、BIOS设置

启用 VT-d
禁用 CSM # i44fx机型建议开启此项,并且设置csm里的其他项目为UEFI
ACS Enable # 如果存在，设置为已启用（自动不起作用）
启用 4G解码 4G Decoding
禁用 Resizable BAR/Smart Access Memory智能访问内存 #（如果启用，AMD GPUS（Vega 及更高版本）会遇到“代码 43 错误”）
启用 IOMMU # 如果存在，主要用于 AMD 主板
将主显示器设置为 CPU/iGPU # 如果您的 CPU 有 iGPU
预分配内存为 64M

二、获取BIOS

如果您无法通过以下方式提取您物理机BIOS,物理bios可以到华擎官网下载与自己同代处理器的都可以通用 https://www.asrockind.com/zh-cn/single-board-computer

建议使用AFUWIN5.12（win10完美运行）版本，win10系统（已经测试在winpe也行）上提取bios，运行软件点下存储就可以。（AFUWIN软件运行，不支持根目录文件夹名称有中文字符的情况运行，所以我们将文件夹重新命名为英文字符）

三、从bios.rom中提取核显相关的GOP与vbios模块

可以用UBU工具或MMTOOL

使用mmtool64工具打开bios.rom文件,venderid和deviceid都为空(N/A)的个就是核显gop，其他1002开头的都是amd的核显vbios(intel平台一般为8086)

(1).打开bios.rom
(2).切换到Option ROM
(3).导出Option ROM
(4).选择要导出的gop或vbios
(5).浏览处选择导出的位置,后续导出只需要修改最后的文件名
(6).点击“应用”,在所选位置处就多出来一个导出的文件

重复动作，分别导出几项模块(一般为四项)

四、合并生成rom

windows CMD 模式，进入EfiRom文件夹，执行如下命令

# amd处理器
.\EfiRom.exe -b .\15e7 .\164c .\1638 -e .\gop -f 0x1002 -i 0xffff -o amd.rom
ffff可以可以替换成你的核显设备id，如164c，amd.rom可自定义


# Intel处理器
.\EfiRom.exe -e .\gop .\IgdAssignmentDxe.efi .\PlatformGOPPolicy.efi -f 0x8086 -i 0xffff -o Intel.rom
ffff可以可以替换成你的核显设备id，如3185，Intel.rom可自定义

运行结束后,EfiRom文件中就获取到xx.rom的文件.

将获取到的显卡rom上传到PVE的指定目录中(PVE开机状态),上传路径:/usr/share/kvm

五、PVE下直通PCI设备设置直通

#忽略一些错误(非必须)

nano /etc/modprobe.d/kvm.conf
options kvm ignore_msrs=Y report_ignored_msrs=0
# 按 Ctrl + X，然后按 Y + Enter 保存更改。

#启动内核IOMMU支持

nano /etc/default/grub # 将以下行粘贴到其中，并在旧标签前面添加一个注释标签#,以下为常用的一些写法。
# 对于 Intel CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream,multifunction pci=nommconf"
# 对于 AMD CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet iommu=pt initcall_blacklist=sysfb_init pcie_acs_override=downstream,multifunction pci=nommconf"
或者
GRUB_CMDLINE_LINUX_DEFAULT="quiet initcall_blacklist=sysfb_init"
注意,对于 AMD CPU：initcall_blacklist=sysfb_init 屏蔽掉pve7.2以上的一个bug，方便启动时候就屏蔽核显等设备驱动。pve8的grub里面不需要加入amd_iommu=on pcie_acs_override=downstream,multifunction这些参数，一般默认就开启了，如果后面直通不成功，在加上这些参数。
# 其他的一些写法(如果是AMD处理器,将intel改为amd)
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt i915.enable_gvt=1 video=efifb:off" # 这是GVT模式，也就是共享模式，少部分cpu支持，但体验很好
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off" # 这是独占模式，都支持，但显示器没有pve的控制台输出，也只能直通个一个虚拟机
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on initcall_blacklist=sysfb_init pcie_acs_override=downstream,multifunction"
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on" #本期教程我使用的就是这个
# 参数释义
1.iommu=pt：启用 Intel VT-d 或 AMD-Vi 的 IOMMU。这是一种硬件功能，用于管理设备对系统内存的访问。在虚拟化环境中，启用 IOMMU 后，可以将物理设备直通到虚拟机中，以便虚拟机可以直接访问硬件设备。“iommu=pt”不是必须的，PT模式只在必要的时候开启设备的IOMMU转换，可以提高未直通设备PCIe的性能，建议添加。
2.initcall_blacklist=sysfb_init：禁用 sysfb_init 内核初始化函数。这个函数通常用于在内核启动过程中初始化系统帧缓冲。在使用 GPU 直通的情况下，这个函数可能会干扰直通操作，因此需要禁用它。
3.i915.enable_gvt=1：启用 Intel GVT-g 虚拟 GPU 技术。这个选项用于创建一个虚拟的 Intel GPU 设备，以便多个虚拟机可以共享物理 GPU 设备。启用 GVT-g 需要在支持虚拟 GPU 的 Intel CPU 和主板上运行，并且需要正确配置内核和虚拟机。想开启GVT-g的就添加这条，显卡直通的就不要添加了。
4.initcall_blacklist=sysfb_init：屏蔽掉pve7.2以上的一个bug，方便启动时候就屏蔽核显等设备驱动；
5.pcie_acs_override=downstream,multifunction：便于iommu每个设备单独分组，以免直通导致物理机卡死等问题
6.pci=nommconf：意思是禁用pci配置空间的内存映射,所有的 PCI 设备都有一个描述该设备的区域（您可以看到lspci -vv），访问该区域的最初方法是通过 I/O 端口，而 PCIe 允许将此空间映射到内存以便更简单地访问。

#更新grub,重启

update-grub
reboot

#验证是否开启iommu
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
# 如果没有输出，则说明有问题。你应该看到这样的东西；“DMAR: IOMMU enabled”
# 另外一种验证方式
dmesg | grep iommu
# 出现如下例子。则代表成功
[ 1.341100] pci 0000:00:00.0: Adding to iommu group 0
[ 1.341116] pci 0000:00:01.0: Adding to iommu group 1
[ 1.341126] pci 0000:00:02.0: Adding to iommu group 2
[ 1.341137] pci 0000:00:14.0: Adding to iommu group 3
[ 1.341146] pci 0000:00:17.0: Adding to iommu group 4
# 此时输入命令
find /sys/kernel/iommu_groups/ -type l
# 出现很多直通组，就代表成功了。如果没有任何东西，就是没有开启

#验证是否 启用IOMMU中断重映射，（与其它教程结合）
#dmesg | grep remapping
# intel
[    0.175675] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.177198] DMAR-IR: Enabled IRQ remapping in x2apic mode
# amd
AMD-Vi: Interrupt remapping enabled
#https://www.cnblogs.com/MAENESA/p/18005241 教程网址

#如果失败或者没有，可能没有 启用IOMMU中断重映射 ，会导致无法直通，请如下操作。

nano /etc/modprobe.d/iommu_unsafe_interrupts.conf # 添加以下行；请注意，此选项可能会使您的系统不稳定。
options vfio_iommu_type1 allow_unsafe_interrupts=1

#启用必要模块
nano /etc/modules # 添加以下行；
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

#将驱动程序模块列入黑名单

nano /etc/modprobe.d/pve-blacklist.conf # 添加以下行；
# Nvidia
blacklist nvidiafb
blacklist nouveau
blacklist nvidia

# AMD
blacklist amdgpu
blacklist radeon

# Intel UHD
blacklist snd_hda_codec_hdmi
blacklist snd_hda_intel
blacklist snd_hda_codec
blacklist snd_hda_core
blacklist i915

#屏蔽hdmi声音驱动
options vfio_iommu_type1 allow_unsafe_interrupts=1
# 屏蔽三大显卡驱动，

#检查直通设备，并更新initramfs,重启
lspci -nn 
#查看需要直通设备，核显一般带VGA，连同核显音频ID也记录，用于确保后续直通核显ID正确。

update-initramfs -u -k all
reboot

六、虚拟机配置调整

直通Intel核显
所选的虚拟机类型必须为i440fx 7.2版本或者最新以上机型（不能选q35！）
系统类型为推荐使用Linux，Windows或其他类型可能会导致安装核显驱动后，出现43错误，驱动不成功。
固件类型选择ovmf UEFI，
TPM选择开启，安全启动随意(最好关闭)
CPU类型选HOST，否则可能会出现装不上驱动
光驱选择ide，硬盘选择sata或者scsi（选择ide和sata是为了核显直通打游戏需要，你也可以坚持选其他），其他保持默认设置
创建后进入Options，打开QEMUGuestAgent和UseLocalTimeforUTC以获得更好体验

直通amd核显
基本与Intel核显一致,只不过所选的虚拟机类型必须为q35,这是特别需要注意的一点

虚拟机创建后先不要启动，为创建的虚拟机添加核显pcie，将显示设置为无 none。并同时添加负责声音的pcie设备。进入后在配置文件中增加一行，这行用于设置核显额外参数，包括把设备地址设置为02.0，设置x-igd-gms大小并启用x-igd-opregion(AMD核显不需要此行配置文件,可添加此行配置文件args: -cpu host,hypervisor=off )。

nano /etc/pve/qemu-server/100.conf

#100为虚拟机ID 

#对于Intel
args: -set device.hostpci0.addr=02.0 -set device.hostpci0.x-igd-gms=1 -set device.hostpci0.x-igd-opregion=on

#对于AMD例子
args: -cpu host,hypervisor=off 

添加或修改hostpci0开头的这一行，这行用于添加核显，开启 legacy-igd 模式，加载 romfile。

#对于Intel例子
hostpci0: 0000:00:02,legacy-igd=1,romfile=xx.rom

#对于AMD例子(AMD的加了直通了声卡)
hostpci0: 0000:06:00.0,pcie=1,romfile=xx.rom,x-vga=1
hostpci1: 0000:06:00.1,rombar=0

然后，一定记得把虚拟机的 显卡改为 None，避免虚拟显卡和直通的核显争抢总线地址。

七、附例

#对于Intel例子
agent: 1
args: -set device.hostpci0.addr=02.0 -set device.hostpci0.x-igd-gms=0x2 -set device.hostpci0.x-igd-opregion=on
bios: ovmf
boot: order=virtio0;ide2;net0
cores: 4
cpu: host
efidisk0: local-lvm:vm-100-disk-0,efitype=4m,size=4M
hostpci0: 0000:00:02.0,legacy-igd=1,romfile=i3_10105_igd_efi.rom
hostpci1: 0000:00:1f.3
ide2: none,media=cdrom
memory: 4096
meta: creation-qemu=8.0.2,ctime=1698238750
name: i44fx
net0: virtio=BA:A1:1D:08:A9:5B,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
scsihw: virtio-scsi-single
smbios1: uuid=b3176867-4e41-4637-b3c1-a68810d70644
sockets: 1
tpmstate0: local-lvm:vm-100-disk-1,size=4M,version=v2.0
vga: none
virtio0: local-lvm:vm-100-disk-2,cache=writeback,discard=on,iothread=1,size=32G
vmgenid: fb5d54dc-02a5-44c2-8a04-2649d69249b2

#对于AMD例子(AMD的加了直通了声卡) MacOS参数
agent: 1
args: -set device.hostpci0.bus=pci.0 -set device.hostpci1.bus=pci.0 -set device.hostpci0.addr=0x01.0 -set device.hostpci1.addr=0x02.0 -cpu host,hypervisor=off -device isa-applesmc,osk="ourhardworkbythesewordsguardedpleasedontsteal(c)AppleComputerInc" -smbios type=2 -device usb-tablet -global nec-usb-xhci.msi=off -global ICH9-LPC.acpi-pci-hotplug-with-bridge-support=off -cpu Cascadelake-Server,vendor=GenuineIntel,+invtsc,-pcid,-hle,-rtm,-avx512f,-avx512dq,-avx512cd,-avx512bw,-avx512vl,-avx512vnni,kvm=on,vmware-cpuid-freq=on
bios: ovmf
boot: order=usb1;sata0;virtio1
cores: 4
cpu: Haswell
efidisk0: local-lvm:vm-100-disk-0,efitype=4m,size=4M
hostpci0: 0000:06:00.0,pcie=1,romfile=5700U.rom,x-vga=1
hostpci1: 0000:06:00.1,rombar=0
machine: q35
memory: 4096
meta: creation-qemu=7.2.0,ctime=1685719709
name: macOS
net0: virtio=DA:D8:83:DC:DF:55,bridge=vmbr0
numa: 0
ostype: other
sata0: local-lvm:vm-100-disk-1,size=1436M
scsihw: virtio-scsi-pci
smbios1: uuid=6bea0641-7c93-44b4-af72-409c6649ff38
sockets: 1
tags: imacos.top;macos;sonoma14.4.1_23e224
usb0: host=1-3,usb3=1
usb1: host=2-2,usb3=1
vga: none
virtio1: local-lvm:vm-100-disk-2,discard=on,iothread=1,size=50G
vmgenid: a8e70cbd-61a1-4ec0-9eed-aff32fabddeb

启动虚拟机后，正常就可以看到PVE BIOS的开机画面，此时你可直通USB键盘，并按ESC进入UEFI设置，所有直通的操作就完成了。

注:只有Intel核显才需要添加args: -set device.hostpci0.addr=02.0 -set device.hostpci0.x-igd-gms=1 -set device.hostpci0.x-igd-opregion=on这一行参数,amd核显不需要,amd的将这行参数修改为：-cpu host,hypervisor=off (可以解决启动报错关于cpu方面的问题),如过你使用amd安装mac,那么还需要添加-set device.hostpci0.bus=pci.0 -set device.hostpci1.bus=pci.0 -set device.hostpci0.addr=0x01.0 -set device.hostpci1.addr=0x02.0 ,用于解决黑苹果卡900的参数.