基于PVE Ceph集群搭建（一）：集群40GbEx2聚合测试

edelweiss_cxk

我也正在学习PVE+CEPH,就是这个储存的性能太糟心了，目前配置是：
3台DELL R730XD,万兆互联，每台256GB内存，E5-2696 V4 88核心。
每台2块NVME 2T做WAL,
4块SSD 1T组SSD_POOL,
8块HDD 6T SAS组ceph_pool。
容错是挺不错的，有天断电一台服务器，上面的系统自动迁移到别地方去了，高HA可用，服务没收到影响。
就是读写速度台拉胯了。
请问各位大大，有没有别的高可用的双活或者别的HA方案？
这么牛逼的配置...............

edelweiss_cxk

MatthewLXJ 发表于 2024-4-25 20:16
根据我后来的折腾就是放弃，ceph性能真的很难提升，可以用很差来形容，主要还是木桶效应太明显了，不太适 ...

zfs能做容错之类的吗？HA 双活之类的？

edelweiss_cxk

MatthewLXJ 发表于 2024-4-25 20:16
根据我后来的折腾就是放弃，ceph性能真的很难提升，可以用很差来形容，主要还是木桶效应太明显了，不太适 ...

哥们，假如我再增加4台服务器，CEPH性能会不会上去？

edelweiss_cxk

nsc117 发表于 2024-4-26 14:28
你再增加10台性能都不一定上的去，ceph感觉是要几十台这个量级才能出效果的。 ...

ε=(´ο｀*)))唉，好吧，大意了，那请问还有别的方案么？不想用EXSI，毕竟在公司偷偷玩，用盗版万一出问题就乐子大了.................

edelweiss_cxk

MatthewLXJ 发表于 2024-4-26 15:51
zfs好像没有这种功能，所以后来我也没有继续折腾HA之类的了，只保证数据可靠性 ...

感谢老哥，我换了ZFS，用proxmox，可以实现HA功能，同时，速度刷刷的快啊啊
读16197MB/S，写13898MB/S.
随机4K IOPS读写都到45000以上了.............
浪费我一个月折腾CEPH，不如老哥你一句话啊

edelweiss_cxk

nsc117 发表于 2024-4-27 20:35
PVE啊，不要折腾ceph，有条件部署一下全闪ZFS，你会回来说牛逼

这个条件暂时不具备咯，12盘的机器，插了9块6T SAS和3块SSD，已经很满意了