3台DELL R730XD,万兆互联，每台256GB内存，E5-2696 V4 88核心。
每台2块NVME 2T做WAL,
4块SSD 1T组SSD_POOL,
8块HDD 6T SAS组ceph_pool。
容错是挺不错的，有天断电一台服务器，上面的系统自动迁移到别地方去了，高HA可用，服务没收到影响。
就是读写速度台拉胯了。
请问各位大大，有没有别的高可用的双活或者别的HA方案？
这么牛逼的配置............... 楼主的第三篇文章呢？期待 看来下一篇“基于PVE CEPH集群搭建（三）：Cephfs、RBD、NFS存储池性能调优” 已经鸽了。。。 zvcs 发表于 2025-2-19 16:06
看来下一篇“基于PVE CEPH集群搭建（三）：Cephfs、RBD、NFS存储池性能调优” 已经鸽了。。。 ...
已经寄了，趁早放弃，这东西没规模性能很烂，所以我放弃了[偷笑] 本帖最后由 icyboy 于 2025-3-5 14:35 编辑
MatthewLXJ 发表于 2025-3-2 13:12
已经寄了，趁早放弃，这东西没规模性能很烂，所以我放弃了
之前也折腾测试过3节点3.2T 12盘 5节点3.84 24盘
cephfs实际小文件很糟糕 因为mds服务是单线程 当时开了2mds（后面复盘mds太少）
rbd块设备就好很多，因为metadata是在客户端完成计算，比如我把块设备格式化成xfs
windows也测试了下ceph-dokan
以下都是单节点的iops
12盘
24盘
MatthewLXJ 发表于 2025-3-2 13:12
已经寄了，趁早放弃，这东西没规模性能很烂，所以我放弃了
分享个数据
5节点，每节点8块4TB机械硬盘，2块Nvme1T固态硬盘
每节点都是4块机械匹配1块Nvme做WAL和DB，节点直接使用10G*2接入交换机互联
在任一节点虚拟机中部署Linux测试结果如下：
1. 总体写入性能：
带宽（BW）: 720 MiB/s （约 755 MB/s）
IOPS：184,000 IOPS（即 184k）
运行时间：300 秒
总写入数据量：211 GiB
2. 延迟（Latency）分析：
slat（提交延迟，Submit Latency）:
平均：3.31 微秒（µs）
范围：2 ~ 14141 µs
clat（完成延迟，Completion Latency）:
平均：689.98 µs（约 0.69 毫秒）
范围：3 ~ 14966 µs
lat（总延迟，Total Latency）:
平均：693.29 µs（约 0.69 毫秒）
范围：7 ~ 14970 µs
1. 总体读取性能：
带宽（BW）: 759 MiB/s （约 796 MB/s）
IOPS：194,000 IOPS（即 194k）
运行时间：300 秒
总读取数据量：222 GiB
2. 延迟分析：
slat（提交延迟）:
平均：3018.80 纳秒（即 ~3 µs）
范围较大：1922 ~ 12282k ns（注意单位是纳秒，最大值异常高，可能为个别噪点）
clat（完成延迟）:
平均：655.16 µs（约 0.66 毫秒）
范围：4 ~ 15774 µs
lat（总延迟）:
平均：658.18 µs（约 0.66 毫秒）
范围：6 ~ 15777 µs
只要osd够多，服务器性能不太差，实际上iops看起来还是很可观的？ Long9911 发表于 2025-7-28 14:55
分享个数据
5节点，每节点8块4TB机械硬盘，2块Nvme1T固态硬盘
每节点都是4块机械匹配1块Nvme做WAL和DB， ...
这个报告是如何获得的？
我现在是4节点 10个8THDD4块2T SATA SSD 仅把WAL放在SSD。
感觉速度略高于普通HDD。勉强能用。不知道DB移出来性能能提高多少。
页:
1
[2]