压缩算法横评，ZSTD是唯一真神了

megaslx

空桑 发表于 2025-9-9 07:23
win11 24h2直接就支持了,太神秘了

zstd的只是是个很迷幻的事情，多数支持zstd压缩的工具都把这个压缩算法的支持放在别的已有格式下，比如tar、7z，但是解压缩的时候如果不是同样的这批工具就有可能认不出来。比如winrar说是支持zstd，但是你用nanazip之类的打包一个zstd算法的7z文件，winrar根本不认

空桑

Neo_Granzon 发表于 2025-9-6 07:23
现在都是打包需求，数据恢复是最重要的。错1bit整个压缩包全报废的算法，毫无意义。赶紧把rar的恢复记录功 ...

不在硬件选型，存储介质选择，文件系统选择上就做好预防，然后按照321的原则备份，而是指望防线被击穿了用奇偶校验恢复多少有点缘木求鱼。所有的规章都是要求完善这几个部分的内容和定期巡检，寄希望于文件本身的可靠性
参考文献 -> https://www.gov.cn/gongbao/2024/ ... ontent_6991650.html

terryborg

楼主，请问下，你在测试过程中有没有留意那种算法对cpu的开销（压力）最小？

我目前在路由器上开了Zram,测试各种支持的算法lzo/lzo-rle/lz4/lz4-hc/zstd，貌似lzo/lzo-rle是对cpu最小压力的，其他几种虚拟内存压缩后都会导致cpu压力过大而导致路由器的不定时重启，唯有设置lzo/lzo-rle才能稳定运行

空桑

terryborg 发表于 2025-9-17 11:27
楼主，请问下，你在测试过程中有没有留意那种算法对cpu的开销（压力）最小？

我目前在路由器上开了Zram,测 ...

没有测试CPU的开销，这个测试是我个人的工作流实测的，在服务器上CPU和内存的压力不是重点，大文件直接流式一开就完事了

不过可以简单的倒推一下，测试环境都是吃满单核，吞吐量越大的对CPU的压力越小，尤其是LZx系列的算法是分块简单压缩的，开销更小

Neo_Granzon

空桑 发表于 2025-9-17 09:42
不在硬件选型，存储介质选择，文件系统选择上就做好预防，然后按照321的原则备份，而是指望防线被击穿了 ...

家用没这么多讲究，我好不容易从百度盘上下来几十GB，错一个bit全白费工夫，不能接受。

niqian6666163

楼上的都说得对，主要还是打个包哈哈哈

hawie

需求决定应用。
跨平台打包需求，首先要否定的，是os集成的zip。比如，中文文件名，macOS用utf8编码，win用gb2312等非utf8编码，在macOS下归档带中文名的文件，在win下解压变成了乱码或略过。BS一下win，细节稍深入就能发现粗制滥造。
暂用rar或tar。