pve 超融合 ceph性能问题

Baishui

用4个pve 8.0节点万兆互联与7块儿nvme 硬盘组了个ceph超融合集群，rbd写入性能奇差，只有机械盘的水平。

7块儿盘组下来性能还不到单盘零头有点儿难以接受，求指点，有什么建议的优化配置吗？

Baishui

TWSzzz 发表于 2023-8-8 23:54
在某乎有看到相关的优化，我也是个纯新手，膜拜一下大佬
分布式对于家用环境来说过于复杂，纯固态环境个人 ...

到源码层面的优化没必要了，就是正常点儿有个50%的损耗也认了，现在看起来远不止这点儿损耗。

Baishui

MatthewLXJ 发表于 2023-8-9 09:37
之前发过关于ceph的性能测试，但是后续性能优化的部分没有继续写下去了，虽然尝试做了很多优化，但是性能距 ...

我的顺序读写比例和这个类似，也顺序写和随机写性能奇差。。确实很难接受。

Baishui

hanyou7 发表于 2023-8-9 17:48
PVE没试过 之前12个P3700  3节点 40G内网 rbd顺序读写差不多有4G左右 你这个明显有问题 理论上单个rbd的读 ...

顺序写不是问题，4k随机写iops 900，和nfs或者本地磁盘有几十到几百倍的差距。。

Baishui

myouc 发表于 2023-12-21 00:21
性能有多差？参考这个跑个分看看？只有万兆互联的话瓶颈估计在网络

哦对，你不会每个nvme独立作为一个osd ...

就和链接里一样差，fio测就那样，试过一个nvme 4个osd没什么用。单盘本地挂载性能差不多能有十倍以上，特别是随机读写

Baishui

myouc 发表于 2023-12-21 19:47
链接那篇文章里面测的是机械盘啊，你这个不应该这么差，万兆内网的延迟多少？ ...

1ms。。。网络规模并不大

Baishui

myouc 发表于 2023-12-21 23:02
1ms有点高，正常应该0.1ms左右

64 bytes from 192.168.x.246: icmp_seq=1 ttl=64 time=0.079 ms
64 bytes from 192.168.x.246: icmp_seq=2 ttl=64 time=0.077 ms
64 bytes from 192.168.x.246: icmp_seq=3 ttl=64 time=0.073 ms
64 bytes from 192.168.x.246: icmp_seq=4 ttl=64 time=0.066 ms
64 bytes from 192.168.x.246: icmp_seq=5 ttl=64 time=0.092 ms
64 bytes from 192.168.x.246: icmp_seq=6 ttl=64 time=0.087 ms
64 bytes from 192.168.x.246: icmp_seq=7 ttl=64 time=0.072 ms
64 bytes from 192.168.x.246: icmp_seq=8 ttl=64 time=0.060 ms
64 bytes from 192.168.x.246: icmp_seq=9 ttl=64 time=0.107 ms
64 bytes from 192.168.x.246: icmp_seq=10 ttl=64 time=0.078 ms

windows不显示更低的，linux下测试2个ceph节点间延迟差不多

Baishui

terryhux 发表于 2023-12-21 22:59
ceph性能没问题的，我在16年生产上ceph用到现在7年了，经历过多家不同公司，最大规模1.5PB，以前跑云计算 ...

对于4节点7 nvme 7 osd的架构有什么优化建议吗？ceph 版本17.2.6

Baishui

terryhux 发表于 2023-12-21 22:59
ceph性能没问题的，我在16年生产上ceph用到现在7年了，经历过多家不同公司，最大规模1.5PB，以前跑云计算 ...

吞吐

iops

25G内网，5节点，9块儿nvme盘的ceph集群，rbd挂载到pve win10虚拟机中的性能如图。。单线程随机读写惨不忍睹。linux 虚拟机下fio测结果类似