2020年末 AM4平台PCIe虚拟化情况

Juzi丶

主板只以华擎为准
华硕/技嘉有待实验
微星连ECC都不给开说个锤子呢（笑

BIOS版本不太重要，毕竟需要东西初始BIOS都会有了
重点是AGESA版本，理论上Combo-AM4 1.0.6.0开始就已经非常完善了
这里说到的都是版本Combo-AM4 V2 1.1.0.0或之后的为前提，AMD总不会又把做好的东西缩回去对吧（不过AMD确实这么做过，笑

例子主板用的B550M Phantom Gaming 4
CPU不建议使用Zen1/Zen+

BIOS中设置
SR-IOV开启
AMD CBS中设置
IOMMU开启
PCIe ARI及其关联选项全开

先说下Linux下的（以下说到的组件全部apt安装）

系统版本Ubuntu 20.04.01
内核版本linux-xanmod-lts-5.4
内核参数加

1. amd_iommu=on iommu=pt

复制代码

但某些设备可能会因为PCIe ASPM问题而一直报错（内核log会被霸屏，虽然可以正常用），建议可以加多一条

1. pcie_aspm=off

复制代码

直接安装qemu和virt

1. sudo apt install qemu-kvm qemu-utils libvirt-daemon-system libvirt-clients bridge-utils virt-manager ovmf

复制代码

经过测试，驱动使用ixgbe，qede，mlx4，mlx5的设备都可以正常设置VF并且分配给VM
当然直接直通整个PF/PCIe设备也可以可以的

DPDK 19.11.03+OVS 2.13.0
排除掉OVS上DPDK的某些兼容性问题基本的功能都能用

然后是ESXI 7.0U1

PF可以整个直通，VF也能正常设置
直通整个PF/PCIe设备暂时没问题（当然不包括中断某些关键设备）
但分配VF给VM的话，某些系统会导致在引导期间整个VM崩掉（毛线报错都没有，正常的ACPI断电，不得不说ESXI真是阴间玩意）

Proxmox VE毕竟也是基于Debian所有情况和Ubuntu是一样的

总的来说兼容情况已经无限接近牙膏厂服务器平台了
但这些还有一个前提，就是虚拟化设备不能挂在那稀烂HUB（芯片组）上，因为那HUB上的设备是一整个IOMMU组

如果是PCIe x16+M.2 x4转接/PCIe x16分割卡/支持双X8的主板/大力出奇迹上PLX的情况下PCIe够用+内存带宽够用（只要颗粒能上，UDIMM ECC也是可以4000+的，时序难看点，带宽是能摸某些4通道屁股的，重点还是FCLK同步）完全可以用AM4平台做服务器使用，当然也不是没有缺失的地方，比如AMD PTDMA驱动还在linux next tree里面咕咕叫...

比如
双X8连CPU的主板可以选择，x8 网卡+x8 HBA/x8倍增x16的PLX+M.2 x4转PCIe
或者
单X16连CPU的主板可以选择，x16倍增x32的PLX+M.2 x4转PCIe
的方案都能够满足绝大多数人的需求了

PLX的话可能会遇到奇怪的DMA问题

重点还是CPU性能因为频率和IPC，核心数量一对一，绝大多数情况下无论单核多核性能都可以轻松超过Xeon和哪怕EPYC（内存带宽肯定是无的，但FCLK同步3600+的情况下至少也有53k的读写，而且延迟对比服务器平台不知低到哪里去了）

Juzi丶

还有比较蛋疼的一点就是，用GF硅渣工艺做的io die功耗实在不行，PCIe通道拉满的情形最低都整个18w起步
相比之下1个Zen2核心在1.4V电压下满载都很难超过8w
半U密集节点里一个20A供电的48U标准长宽机柜中全部机器仅通电就因为io die吃掉至少1300w功耗了，而且这功耗是吃死的，开机就会有，也是对比LGA11xx做密集节点的一个劣势吧

Juzi丶

蘭子・クリス 发表于 2020-12-14 05:05
说起这个我就不困了，今年入了renoir之后一直在折腾虚拟化，啥都好就是核显么的直通 ...

肯定不行的，其实还挺期待navi核显看农企搞不搞个定制能开sr-iov的，云桌面（不玩游戏那种）这下又能省钱了

Juzi丶

goat 发表于 2020-12-14 05:08
然而还是没有acs

PCIe ACS的问题早就没有了

Juzi丶

sqlamour 发表于 2020-12-14 08:48
iommu開著的話，有些網卡開機一段時間之後就會瘋狂報IO_PAGE_FAULT的錯誤，的確實不影響使用。
原來是ASPM ...

ASPM普遍有问题，反正开了的之后大概率是不生效的...或者还有各种PCIe节能的私有实现

Juzi丶

sqlamour 发表于 2020-12-14 14:36
話說微星好像有少數幾張X470是有做ECC的？
其實PCIe相關的東西可能真的是華擎做的比較好
但是永擎的AM4卻又 ...

新版agesa没ECC开关的，配置了开检测到ECC内存就自动开了
永擎的话BIOS没本家好，BMC又放弃治疗不知道说啥好...

Juzi丶

nlnjnj 发表于 2020-12-14 15:39
用过技嘉的bmc，真是怕了。

华硕本身好像也做服务器板子，和永擎分开的 ...

技嘉现在还可以，虽然也是公版砌砖，但也是都能跑起来难看点而已