X3D 大缓存对操作大数据量的Excel表格有加成吗？

dirnet

工作上经常要处理几十万行的表格，Excel很慢，时不时还来个白屏，WPS要稍微好点。不知道X3D 大缓存对这类应用有没有加成？

吉跋猫

你需要数据库和sql，而不是x3d

dcl2009

实测没提升。excel属于广义表数据结构，cache miss概率随着数据量增加成指数级增长，而且算法复杂度接近乃至超过O(N^2)，这表现出CPU占用不高，内存占用不高，就是处理不过来。

dirnet

吉跋猫 发表于 2025-1-13 11:20
你需要数据库和sql，而不是x3d

主要是嫌麻烦，也就简单的筛选复制需要的数据，不想倒腾数据库

赫敏

用自带的powerpivot和powerquery来处理。powerpivot存储800万行才是一个数据段

dirnet

感谢各位，看来不用破费了

dirnet

赫敏 发表于 2025-1-13 11:24
用自带的powerpivot和powerquery来处理。powerpivot存储800万行才是一个数据段

谢谢，我试试

NullPointerExce

稍微学学sql 然后 Python 导入到数据库里操作, 性能好的多, 你还可以选那种内存数据库

sunhaine

用傲腾,改善明显

yuwl3000

首先需要高频，其次需要多核
x3d在这个业务场景下无卵用

nagashinn

excel是单核吧

cuixiang

X3D的大缓存是 L3级吧？  那么影响很小的。

yuwl3000

nagashinn 发表于 2025-1-13 11:51
excel是单核吧

实测过最新版是多核

egmk

赫敏 发表于 2025-1-13 11:24
用自带的powerpivot和powerquery来处理。powerpivot存储800万行才是一个数据段

pivot效率不错，就是数据格式要求有点严格，powerquery就算了吧，有的场景效率还不如表格函数，如果要专门优化，还不如通过ADO写sql方便。

natt

印象中表格跟ps需求是一样的，高频胜过一切

r147909

dirnet 发表于 2025-1-13 11:23
主要是嫌麻烦，也就简单的筛选复制需要的数据，不想倒腾数据库

不学新东西 那就更麻烦了

imyz

几十万行的记录还用 Excel 处理？这啥公司啊，能退能换不？？

赫敏

egmk 发表于 2025-1-13 01:10
pivot效率不错，就是数据格式要求有点严格，powerquery就算了吧，有的场景效率还不如表格函数，如果要专 ...

SQL写个unpivot+pivot麻烦死的情况。powerquery一个unpivot other columns搞定，还不用写代码

你要说数据类型再怎么样也比sql这种string还要限制长度，float还分单双的老古董强多了

xinxin1982

几十万的话，9950x比5600强很多，
但是那天无聊写了个129w行的excel，嗯，拖动公式也卡卡的，哈哈，这个构想的下次还是python+数据库了~

egmk

赫敏 发表于 2025-1-13 14:29
SQL写个unpivot+pivot麻烦死的情况。powerquery一个unpivot other columns搞定，还不用写代码

你要说数 ...

哈哈哈，SQLite自带的函数确实难用，得另外写，PQ的逆透视确实好用，可惜join的效率不忍直视。

Kage

楼主大概想说服领导买个x3D。。。。。

archxm

这种硬菜还是英特尔吧，甚至不需要 i9  ，就 i3 即可

huihuige

没用
换wps
就是word和excel自己本身的程序垃圾
就是卡
跟系统硬件无关

fycmouse

nagashinn 发表于 2025-1-13 11:51
excel是单核吧

多核，特别是嵌套多的。

九天御风

几十万行。。。这密密麻麻的保存一下都得等好久把

lgblee

几十万行
我想起了一个游戏藏宝图查询工具
藏宝图有393216种不同组合
每个组合的内容固定，但有没实用价值有十几个判断依据
这十几个判断依据乘以393216就变成上百万个格子了
问题是写程序要写UI
Excel不需要UI
于是就这么用了
这Excel曾经让12900KF卡死
经检查发现是Excel2016不兼容365的函数
我吓一跳以为load这上百万个格子能干爆i9

t9xm09x0

哈，上周刚好测了excel2024，貌似仍然最多支持2核4线程，打开1个80MB左右的excel文件，i3 4150和1220 V3大概15秒，12400 10秒，12400关超线程8秒……

T.JOHN

0提升