记录一下这几天折腾gen8+Unraid

红与黑

HP micro server gen8

嗯……十年了，之前最早就跑个群晖，中间加了内存和换了E3-1265L的U折腾过各种ESXI的直通头疼问题，后来干脆一直跑着freenas（truenas）当存储用。

可是呢，zfs虽然好，但gen8这个小机箱放4块3.5硬盘进去，加上一个2.5的ssd，发热量太大总是爱坏，3.5的硬盘已经换了两块了，虽然做了raid，但是想想普通使用的硬盘十几年前的都还建在，每每要担心它啥时候坏掉，说实话都不经常登录Truenas，每次进去一堆警告和错误，心慌。

最近又想折腾了，特别是那个电信光猫的tr069，动不动就换我光猫超级密码，我打算买根猫棒，丢掉光猫，换RouterOS！ 那么，不如换unraid来玩吧，本身可以做存储共享，再装个RouterOS，然后各种docker基本也够玩了。

1 安装，没有难度，U盘插上进系统，常规激活可用

2 修改默认绑定管理网口，这个是因为本身gen8自带2张千兆网卡，我自己插了张pci万兆的，Unraid每次都预先加载板载千兆，默认绑定eth0为管理网口，那就默认把我的一块千兆网卡绑成管理网口了，但我需要直通这两个口给RouterOS，这会有很多问题（后续直通会讲到）。

         需求：希望能开机绑定PCI万兆网卡为管理网口而不是板载千兆口
         尝试1（可以不看）：在网卡管理页面修改，貌似修改成功了，但如果拔掉板载网卡的网线，万兆网卡不可单独管理Unraid，这也许是个bug
         尝试2（可以不看）：开机进bios关掉板载网卡（不启用 disable掉），此时安装Unraid会把万兆网卡默认为eth0，并作为管理网卡（开心了5分钟），但当我以为再次启用板载网卡会如我所愿的时候，奇葩的事情发生了，Unraid再次重新分配标识，板载网卡改为eth0，只连万兆网卡不可管理。
         解决方案：关机，手动修改Unraid启动盘config目录下的network-rules.cfg，每个网卡都记录了一行数据，每行最后有这块网卡的标识，这个地方修改你需要的网卡为eth0，保存重启，一切就完美了。记得把原来的eth0换个名字！！

3 网卡直通

         需求：两块板载千兆网卡直通给RouterOS虚拟机，一个wan口，一个lan口。（我家宽带没破千兆，所以千兆网卡给路由器已经够用了，万兆留给内网吧）
         
         直通遇到的坑：Operation not permitted。 只要开了网卡直通，就会报这个错误，虚拟机启动失败，网上搜寻，说必须在虚拟机管理设置里面开启：pcie acs覆盖 和 VFIO允许不安全中断。如果是别的机器装Unraid，基本按照这个修改就解决问题了。但咱这是gen8呀，不能这么简单，各种折腾之后，在官方论坛发现，gen8的iommu-rmrr有bug，必须关掉这个功能！否则直通都会一直报错。
      
         解决方案：在启动参数中加入
        

1. intel_iommu=relax_rmrr vfio_iommu_type1.allow_unsafe_interrupts=1

复制代码

         前面一个参数是停止rmrr，后一个参数等同于在虚拟机管理界面启用 VFIO允许不安全中断，但千万别开启PCIe acs覆盖，否则会报错，别问我咋知道的！

         
         

         此方案只适用于Unraid6.10以上版本，因为内核已经打上了IOMMU-RMRR的补丁，如果你的版本是6.9或更低的版本，需要打内核补丁，具体方法可以参考官方原帖：关于gen8 IOMMU RMRR



这么一套下来，基本上Unraid安装成功了，并且可以直通了，其他硬件直通原理一样的。我的RouterOS也跑起来了，光是上面这些坑，说起来简单，我特么折腾了2个晚上！
记录下来，备查！
         

悱言

换了gen10 plus，没继续折腾8了。

红与黑

悱言 发表于 2024-3-13 08:23
换了gen10 plus，没继续折腾8了。

换了也好 10有10的玩法 哈哈

qp6g3o

悱言 发表于 2024-3-13 08:23
换了gen10 plus，没继续折腾8了。

gen10 plus 有什么好玩的~