mysql用啥存储好？
6t 的innodb。家里小作坊，离线分析，写少读多。肯定要ssd了，单节点。冷备份有nas不用太担心。全闪raid5靠谱么，还是ceph之类别的软raid？ 离线分析用MySQL做什么，用clickhouse之类的啊，不管是性能还是分析函数的丰富性，都吊打MySQL。 同意楼上的。
另外全固态，单个容量4T内，R5/Z1可以，4T以上建议R6/Z2
固态不要全部用一个牌子的，多搞几个牌子的用，防止集体阵亡。 数据库上傲腾或者ramdisk pdvc 发表于 2023-9-18 18:33
数据库上傲腾或者ramdisk
没看lz说么，6t，得多少钱得傲腾和内存 不需要那么复杂，才几T的数据，随便消费级还是企业级都够，简单点的话用LVM配个大存储空间能无限扩展容量就行了，主要影响因素还是你数据库系统选型和SQL水平，要是次次扫全表，那给你RamDisk也慢 数据做好分层，高频数据分层ETL，各自做好合适的索引，啥垃圾配置都能秒出结果 有冷备份了可以直接raid0飚车~
不过你这个场景听起来像是个olap，没必要用mysql。
纯sql分析场景可以用pg、doris这种库；python场景需要根据用的库来造数据文件。 1块SN640 速度就已经吊打很多实际应用场景了
最多2块RAID1
我想知道6T扫一次全表要多少时间哪？ 总之别用ceph，随机性能差。 6T,推荐上企业盘，PM9A3,PM1733,CD6,CM6,啥的nvme盘都行，不过6T的数据还用单机mysql实例感觉很折磨啊，mysql本身也不是侧重分析的数据库，可以考虑换greenplum，开源的，基于postgres,sql兼容好，或者doris，兼容mysql接口，可以预聚合 其实很多看起来高大上的东西原理都很简单
不要想着什么高大上的技术了
最简单的2块sn640 7.68t的组raid1 就行了
内存弄大点
就够了 wsbpj 发表于 2023-9-18 21:36
6T,推荐上企业盘，PM9A3,PM1733,CD6,CM6,啥的nvme盘都行，不过6T的数据还用单机mysql实例感觉很折磨啊，mys ...
postgres怕运维搞不定丢数据，单实例不是省钱么。 labyrin 发表于 2023-9-18 19:15
不需要那么复杂，才几T的数据，随便消费级还是企业级都够，简单点的话用LVM配个大存储空间能无限扩展容量就 ...
TB 级数据，大表多，join 多，group by / partation by 维度复杂、临时表多的话
很吃 IO 的（临时表内存放不下，只能走 disk）
-----
之前做过一个项目，20TB 级数据库，每天定时作业重算前一天的业务发生变化的数据，50W 行 存储过程，每天要跑 4~5 个小时（硬件是 oracle 一体机） 别单实例跑，RAID5跑SATA固态还没啥问题，关了raid卡上缓存啥的，MySQL搞个主从，从库做备份到NAS上差不多了。 多谢大家。研究clickhouse看看 poleas 发表于 2023-9-18 20:07
有冷备份了可以直接raid0飚车~
不过你这个场景听起来像是个olap，没必要用mysql。
纯sql分析场景可以用pg、 ...
pg和MySQL有很大区别么？ 飘忽的青布衫 发表于 2023-9-19 13:46
pg和MySQL有很大区别么？
pg很香，有不少比较先进的特性，很灵活。 不要考虑ceph，这玩意儿优势在于分布式，若不上集群的话性能非常拉胯，远远没有想象中那么香！
简单点，有硬阵列卡的话两块大容量SSD组RAID1，没有硬阵列卡的话就ZFS Mirror就行了。 飘忽的青布衫 发表于 2023-9-19 13:46
pg和MySQL有很大区别么？
看场景了，单纯oltp差别不是特别大；但是涉及到olap那就完全不一样了，比如mpp[偷笑]
页:
[1]