Chiphell - 分享与交流用户体验

标题: 记录一下这几天折腾gen8+Unraid [打印本页]

作者: 红与黑 时间: 2024-3-12 02:47
标题: 记录一下这几天折腾gen8+Unraid
HP micro server gen8

嗯……十年了，之前最早就跑个群晖，中间加了内存和换了E3-1265L的U折腾过各种ESXI的直通头疼问题，后来干脆一直跑着freenas（truenas）当存储用。

可是呢，zfs虽然好，但gen8这个小机箱放4块3.5硬盘进去，加上一个2.5的ssd，发热量太大总是爱坏，3.5的硬盘已经换了两块了，虽然做了raid，但是想想普通使用的硬盘十几年前的都还建在，每每要担心它啥时候坏掉，说实话都不经常登录Truenas，每次进去一堆警告和错误，心慌。

最近又想折腾了，特别是那个电信光猫的tr069，动不动就换我光猫超级密码，我打算买根猫棒，丢掉光猫，换RouterOS！那么，不如换unraid来玩吧，本身可以做存储共享，再装个RouterOS，然后各种docker基本也够玩了。

1 安装，没有难度，U盘插上进系统，常规激活可用

2 修改默认绑定管理网口，这个是因为本身gen8自带2张千兆网卡，我自己插了张pci万兆的，Unraid每次都预先加载板载千兆，默认绑定eth0为管理网口，那就默认把我的一块千兆网卡绑成管理网口了，但我需要直通这两个口给RouterOS，这会有很多问题（后续直通会讲到）。

      需求：希望能开机绑定PCI万兆网卡为管理网口而不是板载千兆口
      尝试1（可以不看）：在网卡管理页面修改，貌似修改成功了，但如果拔掉板载网卡的网线，万兆网卡不可单独管理Unraid，这也许是个bug
      尝试2（可以不看）：开机进bios关掉板载网卡（不启用 disable掉），此时安装Unraid会把万兆网卡默认为eth0，并作为管理网卡（开心了5分钟），但当我以为再次启用板载网卡会如我所愿的时候，奇葩的事情发生了，Unraid再次重新分配标识，板载网卡改为eth0，只连万兆网卡不可管理。
      解决方案：关机，手动修改Unraid启动盘config目录下的network-rules.cfg，每个网卡都记录了一行数据，每行最后有这块网卡的标识，这个地方修改你需要的网卡为eth0，保存重启，一切就完美了。记得把原来的eth0换个名字！！

3 网卡直通

      需求：两块板载千兆网卡直通给RouterOS虚拟机，一个wan口，一个lan口。（我家宽带没破千兆，所以千兆网卡给路由器已经够用了，万兆留给内网吧）

      直通遇到的坑：Operation not permitted。只要开了网卡直通，就会报这个错误，虚拟机启动失败，网上搜寻，说必须在虚拟机管理设置里面开启：pcie acs覆盖和 VFIO允许不安全中断。如果是别的机器装Unraid，基本按照这个修改就解决问题了。但咱这是gen8呀，不能这么简单，各种折腾之后，在官方论坛发现，gen8的iommu-rmrr有bug，必须关掉这个功能！否则直通都会一直报错。

       解决方案：在启动参数中加入

intel_iommu=relax_rmrr vfio_iommu_type1.allow_unsafe_interrupts=1

复制代码

      前面一个参数是停止rmrr，后一个参数等同于在虚拟机管理界面启用 VFIO允许不安全中断，但千万别开启PCIe acs覆盖，否则会报错，别问我咋知道的！

      (, 下载次数: 88)
      (, 下载次数: 77)

      此方案只适用于Unraid6.10以上版本，因为内核已经打上了IOMMU-RMRR的补丁，如果你的版本是6.9或更低的版本，需要打内核补丁，具体方法可以参考官方原帖：关于gen8 IOMMU RMRR

这么一套下来，基本上Unraid安装成功了，并且可以直通了，其他硬件直通原理一样的。我的RouterOS也跑起来了，光是上面这些坑，说起来简单，我特么折腾了2个晚上！
记录下来，备查！

作者: 悱言 时间: 2024-3-13 08:23
换了gen10 plus，没继续折腾8了。

作者: 红与黑 时间: 2024-3-14 08:19

悱言发表于 2024-3-13 08:23
换了gen10 plus，没继续折腾8了。

换了也好 10有10的玩法哈哈

作者: qp6g3o 时间: 2024-3-20 16:05

悱言发表于 2024-3-13 08:23
换了gen10 plus，没继续折腾8了。

gen10 plus 有什么好玩的~

作者: endou007 时间: 2024-5-6 00:04
升级到6.12.10后直通网卡遇到同样的问题，一直报错 Operation not permitted，
按楼主的方式修改启动U盘后，这下好了，直接系统起不来了。。。。
是不是我哪一步走错了。。

作者: endou007 时间: 2024-5-6 07:40

endou007 发表于 2024-5-6 00:04
升级到6.12.10后直通网卡遇到同样的问题，一直报错 Operation not permitted，
按楼主的方式修改启动U盘后 ...

不知道哪里出了差错，重新写U盘，就好了。。。
多谢楼主避坑指点。

作者: tjsoft 时间: 2024-5-6 19:31
多谢楼主指点。

作者: 红与黑 时间: 2024-5-10 22:00

endou007 发表于 2024-5-6 07:40
不知道哪里出了差错，重新写U盘，就好了。。。
多谢楼主避坑指点。

有时候就是U盘质量原因，会出现莫名秒问题

作者: tf0083 时间: 2024-6-18 04:00
unraid适合有一堆各种容量闲置硬盘的，用来存放电影和备份一些不是很重要的数据挺合适，搞个洋垃圾16盘位服务器，加一块大船做缓存，很久没玩了，现在貌似直接支持zfs了

作者: zylicheng 时间: 2024-7-10 13:43
我德涛2个gen8，很多很多年前就咸鱼了。
上个星期鬼使神差的买了一个玩玩，感觉已经不是一个时代的东西，两天后又咸鱼了。
现在1821+，1517+

作者: nemyth 时间: 2024-8-1 13:27
我觉得gen8 不如银欣的CS330 ，matx架构可以安装9块硬盘

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)