Chiphell - 分享与交流用户体验

标题: ESXI的网卡和核显直通 [打印本页]

作者: okango 时间: 2022-7-1 01:19
标题: ESXI的网卡和核显直通
本帖最后由 okango 于 2022-7-1 01:53 编辑

N5105刚入手直装爱快,忍不住心痒痒还是折腾了ESXI

设备:
N5105装ESXI+软路由+win10LTSC 4个2.5G口规划接入：
1.光猫
2.主用PC
3.黑群晖
4.交换机关联其他N十个设备

规划:

有4个2.5G网口,ESXI的管理端口绑定LAN1板载网卡,只能虚拟,只剩下3个2.5G网卡能直通

主用PC和黑群晖追求传输和性能,必占两个,加上WAN口占一个.没了

剩虚拟的板载网卡留给交换机带N十个设备,这样配合是否合理,会不会影响整体性能?各位大佬有没有更合适的方案?

我专门试了用USB网卡绑定ESXI,但好像重启就取消绑定,必须手动设置一遍才能连接.有没有特别的设置可以用USB网卡绑定ESXI不会跳

第1个2.5G口绑定ESXI,再交换爱快系统,从爱快系统里面看到的LAN是全双工1000M.从计算机看到的链接速度是2500M.这样是否正常?还是需要特别的设置?

ESXI的爱快,纯路由用,什么配置合理?我的分配如下请大佬指正一下

四核的N5105分配1个内核 1G内存 5G硬盘

内核会不会太少了? 内存能再少? 硬盘好像2G也够了,爱快似乎只需要用到记录功能.

N5105目前有直通核显的办法吗

N5105的USB控制器能强制直通吗

从板载虚拟网卡接入的PC,传输文件到ESXI,很慢,只有15-20M/s,有什么办法可以提升PC到ESXI的传输性能?

作者: dumsss 时间: 2022-7-1 01:29
n5105搞个 all in boom 肯定是没问题的

就是没搞明白你这个主用PC是个什么鬼？你是不是对主用PC这个词有什么误解？每天就拿这玩意主搞？我建议还是善待自己另外整个主用PC吧你这all in boom 适合丢在弱电箱或者电视柜里你的主用PC应该在书房

作者: okango 时间: 2022-7-1 01:32

dumsss 发表于 2022-7-1 01:29
n5105搞个 all in boom 肯定是没问题的

就是没搞明白你这个主用PC是个什么鬼？你是不是对主用PC这个词有 ...

你误会了,我的主用PC指的是另一台设备,不是N5105上的

作者: dumsss 时间: 2022-7-1 01:41

okango 发表于 2022-7-1 01:32
你误会了,我的主用PC指的是另一台设备,不是N5105上的

那建议你这样写：不容易搞误会
N5105装ESXI+软路由+win10LTSC 4个2.5G口规划接入：
1.光猫
2.主用PC
3.黑群晖
4.交换机关联其他N十个设备

作者: okango 时间: 2022-7-1 01:51

dumsss 发表于 2022-7-1 01:41
那建议你这样写：不容易搞误会
N5105装ESXI+软路由+win10LTSC 4个2.5G口规划接入：
1.光猫

多谢建议,已修改,我的4个2.5G口的直通分配,朋友有什么指导意见吗

作者: lovezhiqi 时间: 2022-7-1 02:05
虚拟机之间可以直接万兆直连

作者: zhfreal 时间: 2022-7-1 05:07
弱CPU虚拟网卡速度低是可以预见的，但10-20m有点夸张，建议试试不同的虚拟网卡。我记得VMware家的有好几种虚拟nic，效率不一。

作者: okango 时间: 2022-7-1 11:23
本帖最后由 okango 于 2022-7-1 11:31 编辑

zhfreal 发表于 2022-7-1 05:07
弱CPU虚拟网卡速度低是可以预见的，但10-20m有点夸张，建议试试不同的虚拟网卡。我记得VMware家的有好几种 ...

在哪里修改呢，我是板载网卡的端口，外接pc，pc传输给esxi后台慢，不是在虚拟机里的系统

作者: okango 时间: 2022-7-1 20:33
昨天ESXI+爱快，不到两小时爱快就掉一次，今天专门升了最新和3.6.6爱快测试版，暂时稳定大半天

作者: okango 时间: 2022-7-1 20:39
N5105的两个2.5G口分别外接PC和黑群晖，PC升级了PCIE 口 EDUP的8156B螃蟹卡，黑群晖3.0usb口接了一个绿联的8156B网卡，测试PC往黑群晖传输200-230M/s+，离280M/s有点距离，还凑合，黑群晖往PC传输速度只有80-90M/s，不知道啥情况，网上测试了几个驱动，竟然每个驱动性能都不一样，其他驱动性能都更差。同个PC切换到黑苹果，双向传输都能突破200M/s，怎么破解？目前再买了一个usb2.5网卡准备插到PC排除看看是不是这个pcie网卡问题

作者: dumsss 时间: 2022-7-2 13:48
ESXI的爱快,纯路由用,什么配置合理?四核的N5105分配1个内核 1G内存 5G硬盘内核会不会太少了? 内存能再少? 硬盘好像2G也够了,爱快似乎只需要用到记录功能.
这搞法不合适反正是vcpu 直接怼4个 i225的RSS好像是2 总之怼满CPU没害处反正又不是怼多少用满多少别担心
内存需要跑起来看你分个1G 跑起来看高峰期多少内存占用少了就加多了就减保证高峰期不超过60%即可
家用ikuai 硬盘1G足够了哪有那么多log需要看的？

N5105目前有直通核显的办法吗
直通核显干什么用？直通网上教程很多但是直通了如果还想外接显示输出的话 esxi直接劝退首选win10+hyperv 次选unraid

N5105的USB控制器能强制直通吗
从板载虚拟网卡接入的PC,传输文件到ESXI,很慢,只有15-20M/s,有什么办法可以提升PC到ESXI的传输性能?

我自己是因为esxi核显直通无法外接显示输出的原因直接就win10+hyperv了所以你后面的问题我不懂但是这些问题在win10+hyperv的方案里根本就不是问题

其实我很费解的是你都“N5105装ESXI+软路由+win10LTSC ”了

为什么不是“N5105装win10LTSC 启hyperv+软路由”

结构还简单一些想直通想USB网卡想…… 想什么有什么除非你这个“N5105装ESXI+软路由+win10LTSC ”当中你去掉win10 那我就不这么推荐了

作者: okango 时间: 2022-7-2 14:32
本帖最后由 okango 于 2022-7-2 14:54 编辑

dumsss 发表于 2022-7-2 13:48
ESXI的爱快,纯路由用,什么配置合理?四核的N5105分配1个内核 1G内存 5G硬盘内核会不会太少了? 内 ...

多谢朋友耐心指导.

虚拟机不是很内行,但是hyper的性能印象不太好,之前win10的hyper虚拟网卡千兆只能跑个两百来兆的样子

esxi系统级虚拟,性能应该会好一点

-------------------------------------------------

我的黑群晖J3455据说是BUG CPU,寿命可能短,N5105以后可能会替补黑群晖

EXSI里的win10LTSC我规划用来挂轻度网游,甚至可能偶尔乱安装折腾.所以做主系统可能不太适合

所以ESXI或PVE方案应该更适合我

目前ESXI+Win10LTSC+爱快3.6.6这样搭配貌似稳定一天

----------------------------------------------------------------------

爱快的内存整整一天平均350M左右,期间经常测速传输,跑满千兆.几乎没波动.貌似可以设置成500M内存

CPU内核我的N5105四核暂时分配了2个.以后要是有不够用再重新设置吧

----------------------------------------------------------------------

Lan1虚拟 Lan2 Lan3 Lan4 都直通给爱快

----------------------

虚拟 Lan1 给交换机带几十个设备 (这点很纠结,虚拟网卡会不会影响软路由通过这个口的带机量和网络性能)(物理PC接在这个口能顺利跑满千兆,延迟等其他性能不知道怎样)

直通 Lan2 给电信千兆做WAN口

直通 Lan3 给黑群晖

直通 Lan4 给PC

作者: dumsss 时间: 2022-7-2 15:23
“esxi系统级虚拟,性能应该会好一点”

win10+hyper-v就是系统级虚拟看起来win10是宿主机其实win10是运行在hyper-v虚拟层上的第一个虚拟机但是他们之间的关系有点复杂相互依托如果win10上只装hyper-v 其他任何东西都没有的话他就是一个系统级虚拟平台但是一旦在win10里乱搞也就无法保证hyper-v的稳定性了

esxi之所以稳定是因为他除了管理虚拟机以外他什么都干不了刚好相反 win10太浪了什么都能干

至于性能的问题大可不用担心 hyper-v已经10多岁了不再是婴幼儿期

作者: okango 时间: 2022-7-2 15:43

dumsss 发表于 2022-7-2 15:23
“esxi系统级虚拟,性能应该会好一点”

win10+hyper-v就是系统级虚拟看起来win10是宿主机其实win10是运行 ...

win10的hpyer,我上次试过千兆网络只能跑一两百兆,不知道是不是哪里设置不好

作者: okango 时间: 2022-7-2 21:04

dumsss 发表于 2022-7-2 15:23
“esxi系统级虚拟,性能应该会好一点”

win10+hyper-v就是系统级虚拟看起来win10是宿主机其实win10是运行 ...

今天在esxi里的win10，测试外网速度，千兆网络只能跑100-200兆，好像虚拟网卡无论任何系统都是这个性能

作者: dumsss 时间: 2022-7-3 00:39
你是如何测试的？iperf吗？

作者: summerq 时间: 2022-7-3 01:14
你这cpu本来就是个弟弟，不该追求太多。你esxi上传慢是正常的。要快就用你的pc或者其他nas开nfs，之后esxi里面mount上去就快了。其次你爱快给2核就能跑满千兆，前提是不要跑流控。最后win不需要转码就不用直通显卡。win网络速度慢你可以在esxi里选择vmxnet3网卡，之后win启动了安装vmtools就有驱动了。速度我很早之前试过，虽然不满也有800-900mb。如果你拷贝文件就看瓶颈在哪里了，这个不好说。win你给2核就够了。跑黑裙我没经验。总体上说，你这配置能跑起来肯定是可以的，但是除了带宽之外，一旦你跑bt下载，并发40000个链接以上就卡的不行了。总结就是，我推荐你这机器就跑个卵路由加科学上网结束了。不要指望太多

作者: okango 时间: 2022-7-3 02:17

dumsss 发表于 2022-7-3 00:39
你是如何测试的？iperf吗？

测试外网用电信10000.gd.cn，比speedtest更稳更准。我后面切换了另外的虚拟网卡好像又能跑到四五百兆

测试内网用的是群晖矿神的homebox套件

作者: okango 时间: 2022-7-3 02:18

summerq 发表于 2022-7-3 01:14
你这cpu本来就是个弟弟，不该追求太多。你esxi上传慢是正常的。要快就用你的pc或者其他nas开nfs，之后esxi ...

谢谢，换了vmxnet3，安装vmtools，用homebox测试，大概700-800M内网速度

作者: okango 时间: 2022-7-8 15:30
本帖最后由 okango 于 2022-7-8 15:36 编辑

dumsss 发表于 2022-7-2 15:23
“esxi系统级虚拟,性能应该会好一点”

win10+hyper-v就是系统级虚拟看起来win10是宿主机其实win10是运行 ...

我最近饶了一圈,发现似乎

物理安装win10 LTSC 然后通过hyper 直通网卡给爱快这样的方案最适合我

我个人更偏向于PVE,PVE的直通特性更加自由,并且以后万一想折腾op或nas之类的,扩展也简单.但后来了解到11代之后的CPU,虚拟机安装win,蓝屏几乎无解

只要虚拟机安装的win系统,挂机,几小时随机蓝屏.所以综合下来发现还是直装win10或server+hyper最适合我

-----------------------------------------------------------------

我比较疑惑的是,多数人选择的方案是windows server 2022.

如果win10能用,我偏向于win10

但多数人选择的server让我有点懵逼,他们使用server主要也是用上面的hyper而已,server本身

的功能几乎没用到,是server挂的hyper跟win10挂的hyper有什么特殊之处?

作者: jiangyang123 时间: 2022-7-8 15:33
提示: 作者被禁止或删除内容自动屏蔽

作者: liuleisail 时间: 2022-7-8 15:35
server我的理解是稳定……

没用过win server做底层，一般都是pve或者exsi

作者: jiangyang123 时间: 2022-7-8 15:36
提示: 作者被禁止或删除内容自动屏蔽

作者: okango 时间: 2022-7-8 15:39

jiangyang123 发表于 2022-7-8 15:33
n5105这点性能还是物理机装爱快算了
前几天试着 hypev装爱快,一天给我重启了七八次,最后彻底死机了
...

N5105如果直装爱快,还不如J1900用到天荒地老

爱快你测试什么版本?我esxi+爱快3.6.5的时候2小时就掉了一次.

用3.6.6内测版坚挺了3天,有的人坚挺了两个月稳定

作者: jiangyang123 时间: 2022-7-8 15:46
提示: 作者被禁止或删除内容自动屏蔽

作者: qiujiawei 时间: 2022-7-8 15:52
试试winsever2022做底层吧，有奇效

作者: okango 时间: 2022-7-8 16:19

qiujiawei 发表于 2022-7-8 15:52
试试winsever2022做底层吧，有奇效

奇效是哪方面，大佬话别讲一遍
我想直接安装win10搭配hyper
但是担心server有不同奇效

作者: qiujiawei 时间: 2022-7-8 16:38

okango 发表于 2022-7-8 16:19
奇效是哪方面，大佬话别讲一遍
我想直接安装win10搭配hyper
但是担心server有不同奇效 ...

我不是大佬...我折腾了很多方案最后选的server2022,显卡直通直接用plex jellyfin emby的win服务端就行，爱快跟openwrt网卡直通几行命令搞定，B站有教程，不过这个up主昨天上传了个unraid下直通的教程，还没发完，看你需求那个也行，Unraid的爱快可能有点问题，会重启，esxi，pve下的爱快都有这个问题，我目前是33个小时没重启了。

作者: dumsss 时间: 2022-7-8 22:38

okango 发表于 2022-7-8 15:30
我最近饶了一圈,发现似乎

物理安装win10 LTSC 然后通过hyper 直通网卡给爱快这样的方案最适合我

对我而言 winsvr的优势就是网卡其他的对于单节点来说好像没什么差别包括直通显卡

同样是hyper-v虚拟网卡 win10的虚拟网卡经常会莫名其妙只有1.8~1.9Gbps winsvr就8.9~9.1Gbps 完全不知道为什么

winsvr dda直通网卡没问题 win10直通不了直通后虚拟机启动不了找了无数资料有个网站说了一句 win10不支持dda直通网卡当然这个说法或许也不权威但是其他的找不到任何资料了参看已知问题最后一条： https://networkcookbook.com/2020/06/hyperv-dda/

winsvr 可以sr-iov直通网卡
win10不支持参照svr的方法在win10下powershell操作也无法实现
http://woshub.com/configure-sr-iov-hyperv-vm/

作者: okango 时间: 2022-7-8 22:56

dumsss 发表于 2022-7-8 22:38
对我而言 winsvr的优势就是网卡其他的对于单节点来说好像没什么差别包括直通显卡

同样是hyper-v虚拟网 ...

不能直通网卡?那还是得server,省得再折腾一遍,我需要hyper装爱快直通网卡

作者: okango 时间: 2022-7-9 15:29

dumsss 发表于 2022-7-8 22:38
对我而言 winsvr的优势就是网卡其他的对于单节点来说好像没什么差别包括直通显卡

同样是hyper-v虚拟网 ...

朋友,请问你的winserver 使用的是sr-iov直通网卡.还是用shell方法命令型直通

shell方法应该是真正的物理直通

sr-iov有的人说好,性能跟物理直通几乎差不多,有的人说不行. 这个方法感觉设置方便.

作者: dumsss 时间: 2022-7-10 00:21
本帖最后由 dumsss 于 2022-7-11 02:26 编辑

okango 发表于 2022-7-9 15:29
朋友,请问你的winserver 使用的是sr-iov直通网卡.还是用shell方法命令型直通

shell方法应该是真正的物理 ...

[del]从性能来说 dda和sr基本我没用出差别来[/del] 以前是搞的是intel82576和i350 但是昨天实测万兆被打脸了

sr的好处是可以复用但是开启mac地址欺骗会降级提示sr-iov未运行重新添加vm网卡就好了但是开启mac地址欺骗性能会好很多

dda怎么说呢？成也独占败也独占

作者: dumsss 时间: 2022-7-10 01:42
我的测试机是R720 svr2022 vm是win10ltsc

host自带Intel(R) Ethernet 10G 4P X520/I350 rNDC网卡双口万双口千

按说i350也能sr-iov 我之前用i350am2实测可用但是不知道为什么这个dell双万双千集成网卡的i350不行我用x520演示1个dda和1个sr给你看看效果

vm里：
Intel(R) 82599 Virtual Function 是sr-iov共享的
Intel(R) Ethernet 10G 4P X520/I350 rNDC 是dda直通的

(, 下载次数: 33)

作者: dumsss 时间: 2022-7-11 01:19
本帖最后由 dumsss 于 2022-7-11 02:19 编辑

用R720实测了各种虚拟机的网卡模式结果被打脸了不知道是哪里没弄对或者是别的什么原因

测试是Intel(R) Ethernet 10G 4P X520/I350 rNDC网卡结果很不好看
之后插了一张 Intel(R) Ethernet Server Adapter X520-2 结果可笑的是系统没识别到太晚了明天再弄

用dda、sr和虚拟网卡分别做了iperf多线程长时测试 iperf -c 10.0.10.113 -P 12 -t 600 测试结果

dda：稳9.45Gbps CPU占用12~14%
虚拟网卡： 9Gbps左右 CPU占用18~20%
sr-iov： 6Gbps左右 CPU占用8~12%

其实CPU占用直接和带宽成正比带宽大占用就多当然虚拟网卡的占用会更多一些

(, 下载次数: 38)
(, 下载次数: 46)
(, 下载次数: 44)

作者: fangl2002 时间: 2022-9-25 15:43
我也是这个CPU，物理机爱快和op我都试过了，扛不住1.2W以上的链接数的。就安心的搞搞物理机op或者单爱快吧，别完其他的了。更别说跑PT、BT或者网心云这些业务了，8000链接+50%宽带使用率迸发就能让你网络卡顿。16000的链接数+80%宽带使用率，就能让你怀疑网络是不是炸了。

作者: 警报 时间: 2022-9-25 18:03
直接加个交换机不就完了，软路转发效率不行，专业的事还是给专业的设备来干。。。

作者: CRazy-牛牛 时间: 2023-2-1 11:17

fangl2002 发表于 2022-9-25 15:43
我也是这个CPU，物理机爱快和op我都试过了，扛不住1.2W以上的链接数的。就安心的搞搞物理机op或者单爱快吧 ...

为什么你这个会卡，
我的J4125 +210网卡，+M2 225V B3 ,三条电信，2条双拔，上传800Mbps
跑过10万链接，还可以正常吃鸡。

作者: hemlock 时间: 2023-2-1 12:01
J1425 EXSI 虚拟爱快会不定时丢失虚拟交换机的网络链接一般几秒就重连上有时候几天出现一次有时几个星期都不出现

作者: fangl2002 时间: 2023-2-1 14:43

CRazy-牛牛发表于 2023-2-1 11:17
为什么你这个会卡，
我的J4125 +210网卡，+M2 225V B3 ,三条电信，2条双拔，上传800Mbps
跑过10万链接， ...

不知道，很奇怪，我卖了J4125换了R86S的N5105就好了，再也没出现过类似问题了。

作者: imyz 时间: 2023-2-1 14:45

dumsss 发表于 2022-7-8 22:38
对我而言 winsvr的优势就是网卡其他的对于单节点来说好像没什么差别包括直通显卡

同样是hyper-v虚拟网 ...

Windows Server 2012 R2 之后的版本有个极不起眼但蛮有意思的功能：AVMA，而且这东西专属 Datacetre 版的，只要实体机有合法授权、只要你的硬件撑得住，Hyper-V 里就随便你开多少台 Server。

对于需要 WinServer 较多的人来讲这是个不错的东东

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)