基于PVE Ceph集群搭建（二）：Ceph存储池搭建与基本性能测试

edelweiss_cxk

我也正在学习PVE+CEPH,就是这个储存的性能太糟心了，目前配置是：
3台DELL R730XD,万兆互联，每台256GB内存，E5-2696 V4 88核心。
每台2块NVME 2T做WAL,
4块SSD 1T组SSD_POOL,
8块HDD 6T SAS组ceph_pool。
容错是挺不错的，有天断电一台服务器，上面的系统自动迁移到别地方去了，高HA可用，服务没收到影响。
就是读写速度台拉胯了。
请问各位大大，有没有别的高可用的双活或者别的HA方案？
这么牛逼的配置...............

AAGun

楼主的第三篇文章呢？期待

zvcs

看来下一篇“基于PVE CEPH集群搭建（三）：Cephfs、RBD、NFS存储池性能调优” 已经鸽了。。。

MatthewLXJ

zvcs 发表于 2025-2-19 16:06
看来下一篇“基于PVE CEPH集群搭建（三）：Cephfs、RBD、NFS存储池性能调优” 已经鸽了。。。 ...

已经寄了，趁早放弃，这东西没规模性能很烂，所以我放弃了

icyboy

MatthewLXJ 发表于 2025-3-2 13:12
已经寄了，趁早放弃，这东西没规模性能很烂，所以我放弃了

之前也折腾测试过3节点3.2T 12盘 5节点3.84 24盘
cephfs实际小文件很糟糕 因为mds服务是单线程 当时开了2mds（后面复盘mds太少）
rbd块设备就好很多，因为metadata是在客户端完成计算，比如我把块设备格式化成xfs
windows也测试了下ceph-dokan

以下都是单节点的iops

12盘



24盘

Long9911

MatthewLXJ 发表于 2025-3-2 13:12
已经寄了，趁早放弃，这东西没规模性能很烂，所以我放弃了

分享个数据
5节点，每节点8块4TB机械硬盘，2块Nvme1T固态硬盘
每节点都是4块机械匹配1块Nvme做WAL和DB，节点直接使用10G*2接入交换机互联

在任一节点虚拟机中部署Linux测试结果如下：
1. 总体写入性能：
​​带宽（BW）​​: 720 MiB/s （约 755 MB/s）
​​IOPS​​：184,000 IOPS（即 184k）
​​运行时间​​：300 秒
​​总写入数据量​​：211 GiB
2. 延迟（Latency）分析：
​​slat（提交延迟，Submit Latency）​​:
平均：3.31 微秒（µs）
范围：2 ~ 14141 µs
​​clat（完成延迟，Completion Latency）​​:
平均：689.98 µs（约 0.69 毫秒）
范围：3 ~ 14966 µs
​​lat（总延迟，Total Latency）​​:
平均：693.29 µs（约 0.69 毫秒）
范围：7 ~ 14970 µs


1. 总体读取性能：
​​带宽（BW）​​: 759 MiB/s （约 796 MB/s）
​​IOPS​​：194,000 IOPS（即 194k）
​​运行时间​​：300 秒
​​总读取数据量​​：222 GiB
2. 延迟分析：
​​slat（提交延迟）​​:
平均：3018.80 纳秒（即 ~3 µs）
范围较大：1922 ~ 12282k ns（注意单位是纳秒，最大值异常高，可能为个别噪点）
​​clat（完成延迟）​​:
平均：655.16 µs（约 0.66 毫秒）
范围：4 ~ 15774 µs
​​lat（总延迟）​​:
平均：658.18 µs（约 0.66 毫秒）
范围：6 ~ 15777 µs

只要osd够多，服务器性能不太差，实际上iops看起来还是很可观的？