Chiphell - 分享与交流用户体验

标题: PVE下ROS虚拟机CPU占用很高的问题 [打印本页]

作者: HZJ 时间: 2023-4-24 12:44
标题: PVE下ROS虚拟机CPU占用很高的问题
本帖最后由 HZJ 于 2023-4-24 12:48 编辑

CPU是10500es，分配了4个线程，host模式，网卡已直通。实际运行时CPU频率在3.7GHz。
看下面，qb下载，连接数才几十，而且下载速度也才26MiB/s, CPU占用就有36%。
speedtest带宽测速，CPU占用35%，此时带宽380Mbps。以上两种情况占用率已经很高了吧？毕竟连接数和带宽都不高，这点资源就占用35%的话，那假如是千兆宽带，然后qb多下几个种子把带宽占满，同时连接数一大岂不是直接爆满了？别说用qb了，光带宽测试就35%，怕是跑个千兆带宽的测试都能占满了。感觉很不正常啊，听说过螃蟹的千兆网卡导致cpu占用率高，驱动问题？还是纯粹的虚拟机的问题，设置的问题？4线程skylake 3.7GHz，CPU不可能是瓶颈吧，虽然NAT会浪费性能，但是光带宽测速占用也很高啊。

(, 下载次数: 89)

(, 下载次数: 92)

作者: Emmerich 时间: 2023-4-24 13:10
排除法试试，网卡不用直通用virtio试试，可能ROS的螃蟹网卡驱动优化还不太好
还有CPU是Genunie？CPU模拟类似是Host吗，可以看看host会不会有效果
我ESXI6.7,ROS配置双核9900t,1G内存，跑满千兆才2%，全虚拟化没直通

作者: blanksign 时间: 2023-4-24 13:14
虚拟化一直都这样。能直接装物理机的就物理机装。

作者: HZJ 时间: 2023-4-24 13:31

Emmerich 发表于 2023-4-24 13:10
排除法试试，网卡不用直通用virtio试试，可能ROS的螃蟹网卡驱动优化还不太好
还有CPU是Genunie？CPU模拟类 ...

是的，pve里设置的是host模式，这占用太不正常了。网卡型号倒是能识别，只能虚拟化网卡试试了

(, 下载次数: 109)

作者: rx_78gp02a 时间: 2023-4-24 13:41
虚拟化效率真不高，J4125+PVE+ROS+虚拟网卡，300M的宽带 cpu 70%，J4125裸机跑ROS，1150Mbps跑满 cpu 55%。数据实测，非iperf测速。另外ROS的RTL驱动没问题，占用率比mellanox的CX5低点。

作者: normanlu 时间: 2023-4-24 13:59
i5 7500的pve，alpinelinux虚拟机做的pppoe路由，speedtest跑满千兆宽带，感觉cpu占用还好，直通x710两口。

(, 下载次数: 91)

作者: HZJ 时间: 2023-4-24 14:10

rx_78gp02a 发表于 2023-4-24 13:41
虚拟化效率真不高，J4125+PVE+ROS+虚拟网卡，300M的宽带 cpu 70%，J4125裸机跑ROS，1150Mbps跑满 cpu 55%。 ...

驱动没问题的话，虚拟网卡应该不如直通了。
不过，裸机跑ros，占用也高啊。

作者: eval 时间: 2023-4-24 14:11

HZJ 发表于 2023-4-24 13:31
是的，pve里设置的是host模式，这占用太不正常了。网卡型号倒是能识别，只能虚拟化网卡试试了

...

virtio 好点

作者: yugu91 时间: 2023-4-24 14:11
要看你网卡是否直通了，要直通pci设备才算，你说的host只是cpu用原生指令，
如果你只是添加网络设备，没有添加pci设备，这就是没直通，虚拟网卡就是这速度

作者: 数不清 时间: 2023-4-24 15:15
不如硬路由效率高

(, 下载次数: 105)

作者: jason1st 时间: 2023-4-24 15:30
看到楼主10500这样就放心了，我的j4125虚拟ros跑满500m PT下载占用也是30-40%。

作者: cnnas 时间: 2023-4-24 16:31
你们的4125千兆都 55% 是不是不正常
我J1900跑满千兆最高不超过30%
直装的 7.8系统

作者: rx_78gp02a 时间: 2023-4-24 16:48

cnnas 发表于 2023-4-24 16:31
你们的4125千兆都 55% 是不是不正常
我J1900跑满千兆最高不超过30%
直装的 7.8系统 ...

跑分≠吞吐量，网络消耗大量中断资源，这个看CPU核心数量、主频、内存带宽，和高级指令没关系。

作者: HZJ 时间: 2023-4-24 18:12

yugu91 发表于 2023-4-24 14:11
要看你网卡是否直通了，要直通pci设备才算，你说的host只是cpu用原生指令，
如果你只是添加网络设备，没有 ...

是直通PCI设备

作者: HZJ 时间: 2023-4-24 18:13

jason1st 发表于 2023-4-24 15:30
看到楼主10500这样就放心了，我的j4125虚拟ros跑满500m PT下载占用也是30-40%。 ...

你这好歹pt跑满了500M，我这下载速度相当于200多M就36%了

作者: lilarcor 时间: 2023-4-24 18:33
我9100t，跑满500 cpu 不到30%，没开ft。pve

作者: aitkots 时间: 2023-4-25 00:35
有个办法可以辅助定位是哪里导致了CPU占用过高，还是看你 Resources ，点右侧的 CPU 。
看是哪个具体的 CPU 核心占用高。
然后使用 Tool - Profile 功能，先看看 CPU 全核心时，都在执行什么指令。
然后，指定你刚才看到的那个占用最高的 CPU 在执行什么指令。

最后根据具体情况进一步分析。

作者: Joe_Li 时间: 2023-4-26 13:52
pve倒没试过，esxi尝试过直通博通的四口千兆，跟虚拟网卡差不太多，ros对小螃蟹的支持应该是算比较差的，看看直通行不行，实在不行可以尝试一下虚拟网卡换成e1000.

作者: ishadow 时间: 2023-4-26 14:56
很正常啊，只要有下载或者测速，速度到了一定数值，cpu占用就是高，平时占用就不高。

作者: fishensl 时间: 2023-4-27 11:21
2286m 物理网卡bcm57810 分4个核心给ros virtio网卡，跑满千兆PT 130-140MB/S CPU占用25-35%左右
(, 下载次数: 98)

你这带宽也不高，要么螃蟹卡的原因，要么ros加载了太多规则，cpu性能应该不至于差距这么大

作者: sillencehitman 时间: 2023-4-28 14:01
这肯定不正常，我ESXI里虚拟的ROS7.8，CPU占用率一直在0-1%之间徘徊，我的是8代NUC i7 cpu

作者: HZJ 时间: 2023-5-2 16:46
本帖最后由 HZJ 于 2023-5-2 16:51 编辑

aitkots 发表于 2023-4-25 00:35
有个办法可以辅助定位是哪里导致了CPU占用过高，还是看你 Resources ，点右侧的 CPU 。
看是哪个具体的 CPU ...

以太网最高，应该和设置的规则没关系了吧。根据ros文档的说明以太网就是接受和发送包时导致的CPU占用，所以就是单纯的下载导致CPU占用高，没其他原因，这效率也太低了。。。
(, 下载次数: 101)
(, 下载次数: 88)
(, 下载次数: 87)

作者: dgulan 时间: 2023-6-12 14:04
会不会是没有开启 Fasttrack？
https://wiki.mikrotik.com/wiki/Manual:IP/Fasttrack

作者: tmdodd 时间: 2023-6-12 16:05
esxi+ros+350-t4直通+1000M PT，占用率很低，个位数。cpu：g5400

作者: tmdodd 时间: 2023-7-13 18:21

rx_78gp02a 发表于 2023-4-24 13:41
虚拟化效率真不高，J4125+PVE+ROS+虚拟网卡，300M的宽带 cpu 70%，J4125裸机跑ROS，1150Mbps跑满 cpu 55%。 ...

物理ros，是自己买授权，还是用克隆盘？

作者: rx_78gp02a 时间: 2023-7-13 18:42

tmdodd 发表于 2023-7-13 18:21
物理ros，是自己买授权，还是用克隆盘？

克隆盘，其实可以自己克隆，我自己就克了四五个。winhex备份整个盘，然后用开卡工具弄成一样的容量，固件版本和型号，把备份的固件用WINHEX灌进去。克隆盘只要你不破坏分区，可以用官方的ISO随便安装，不丢授权。甚至可以克隆到了NVME上。

作者: tmdodd 时间: 2023-7-14 09:12

rx_78gp02a 发表于 2023-7-13 18:42
克隆盘，其实可以自己克隆，我自己就克了四五个。winhex备份整个盘，然后用开卡工具弄成一样的容量，固件 ...

好的谢谢老铁还能这么操作学习了

作者: ghostvarg 时间: 2024-5-20 22:16

rx_78gp02a 发表于 2023-4-24 13:41
虚拟化效率真不高，J4125+PVE+ROS+虚拟网卡，300M的宽带 cpu 70%，J4125裸机跑ROS，1150Mbps跑满 cpu 55%。 ...

兄弟，我是RTL网卡 x86物理机，跑不满网速，帮忙看看？别人说是RTL网卡问题

作者: farwish 时间: 2024-11-11 01:05

rx_78gp02a 发表于 2023-7-13 18:42
克隆盘，其实可以自己克隆，我自己就克了四五个。winhex备份整个盘，然后用开卡工具弄成一样的容量，固件 ...

太牛了

作者: qhdxy 时间: 2024-11-11 02:19

jason1st 发表于 2023-4-24 15:30
看到楼主10500这样就放心了，我的j4125虚拟ros跑满500m PT下载占用也是30-40%。

我g4560，500Mb 占用也是30-40

作者: 老饭 时间: 2024-11-11 02:24
cpu里面的profile可以看是什么进程占用

作者: netcao 时间: 2024-11-12 10:54
J4125，RTL8125B，Esxi6.7，CHR 7.16，CPU 50%，感觉不正常。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)