mysql用啥存储好？

nagashinn

6t 的innodb。家里小作坊，离线分析，写少读多。肯定要ssd了，单节点。冷备份有nas不用太担心。
全闪raid5靠谱么，还是ceph之类别的软raid？

labyrin

离线分析用MySQL做什么，用clickhouse之类的啊，不管是性能还是分析函数的丰富性，都吊打MySQL。

wei73

同意楼上的。

另外全固态，单个容量4T内，R5/Z1可以，4T以上建议R6/Z2

固态不要全部用一个牌子的，多搞几个牌子的用，防止集体阵亡。

pdvc

数据库上傲腾或者ramdisk

layerfsd

pdvc 发表于 2023-9-18 18:33
数据库上傲腾或者ramdisk

没看lz说么，6t，得多少钱得傲腾和内存

labyrin

不需要那么复杂，才几T的数据，随便消费级还是企业级都够，简单点的话用LVM配个大存储空间能无限扩展容量就行了，主要影响因素还是你数据库系统选型和SQL水平，要是次次扫全表，那给你RamDisk也慢

labyrin

数据做好分层，高频数据分层ETL，各自做好合适的索引，啥垃圾配置都能秒出结果

poleas

有冷备份了可以直接raid0飚车~
不过你这个场景听起来像是个olap，没必要用mysql。
纯sql分析场景可以用pg、doris这种库；python场景需要根据用的库来造数据文件。

ktyc

1块SN640 速度就已经吊打很多实际应用场景了
最多2块RAID1

adminzj

我想知道6T扫一次全表要多少时间哪？

Mufasa

总之别用ceph，随机性能差。

wsbpj

6T,推荐上企业盘，PM9A3,PM1733,CD6,CM6,啥的nvme盘都行，不过6T的数据还用单机mysql实例感觉很折磨啊，mysql本身也不是侧重分析的数据库，可以考虑换greenplum，开源的，基于postgres,sql兼容好，或者doris，兼容mysql接口，可以预聚合

chainofhonor

其实很多看起来高大上的东西原理都很简单

不要想着什么高大上的技术了

最简单的2块sn640 7.68t的组raid1 就行了  
内存弄大点

就够了

nagashinn

wsbpj 发表于 2023-9-18 21:36
6T,推荐上企业盘，PM9A3,PM1733,CD6,CM6,啥的nvme盘都行，不过6T的数据还用单机mysql实例感觉很折磨啊，mys ...

postgres怕运维搞不定丢数据，单实例不是省钱么。

mhz369

labyrin 发表于 2023-9-18 19:15
不需要那么复杂，才几T的数据，随便消费级还是企业级都够，简单点的话用LVM配个大存储空间能无限扩展容量就 ...

TB 级数据，大表多，join 多，group by / partation by 维度复杂、临时表多的话
很吃 IO 的（临时表内存放不下，只能走 disk）
-----
之前做过一个项目，20TB 级数据库，每天定时作业重算前一天的业务发生变化的数据，50W 行 存储过程，每天要跑 4~5 个小时（硬件是 oracle 一体机）

Horo

别单实例跑，RAID5跑SATA固态还没啥问题，关了raid卡上缓存啥的，MySQL搞个主从，从库做备份到NAS上差不多了。

nagashinn

多谢大家。研究clickhouse看看

飘忽的青布衫

poleas 发表于 2023-9-18 20:07
有冷备份了可以直接raid0飚车~
不过你这个场景听起来像是个olap，没必要用mysql。
纯sql分析场景可以用pg、 ...

pg和MySQL有很大区别么？

nsc117

飘忽的青布衫 发表于 2023-9-19 13:46
pg和MySQL有很大区别么？

pg很香，有不少比较先进的特性，很灵活。

nsc117

不要考虑ceph，这玩意儿优势在于分布式，若不上集群的话性能非常拉胯，远远没有想象中那么香！
简单点，有硬阵列卡的话两块大容量SSD组RAID1，没有硬阵列卡的话就ZFS Mirror就行了。

poleas

飘忽的青布衫 发表于 2023-9-19 13:46
pg和MySQL有很大区别么？

看场景了，单纯oltp差别不是特别大；但是涉及到olap那就完全不一样了，比如mpp