用户 发表于 2025-2-9 15:50

文字生成部分瓶颈在带宽,300G的模型就要300G x k token/s 的带宽。要k=10就要3TB带宽。所以光堆容量也没有用,还要靠压缩。

大容量对训练部分有帮助,生成暴慢但训练很快,是不是很奇怪。

赫敏 发表于 2025-2-9 16:01

T.JOHN 发表于 2025-2-6 03:40
这个以前micro还是intel总监自己说过,论速度赶不上mem,论容量赶不上ssd。两字:没用

...

用当然还是有用的要不然现在也不会想搞CXL扩容,就是太贵了,第二代傲腾内存比同容量的内存甚至还贵那就是纯废物了

矜持之泪 发表于 2025-2-9 18:19

测试了傲腾dcpmm 2代跑的671b,一个问题半小时,看看就好。







KimmyGLM 发表于 2025-2-9 18:25

矜持之泪 发表于 2025-2-9 18:19
测试了傲腾dcpmm 2代跑的671b,一个问题半小时,看看就好。

0.66Token/s , 还不如买一代了,起码足够便宜啊,哈哈哈哈

os39000 发表于 2025-2-9 18:44

矜持之泪 发表于 2025-2-9 18:19
测试了傲腾dcpmm 2代跑的671b,一个问题半小时,看看就好。

8581C在win11傻瓜式部署123B Mistral 1.35tokens /s

darkness66201 发表于 2025-2-9 19:01

T.JOHN 发表于 2025-2-6 16:40
这个以前micro还是intel总监自己说过,论速度赶不上mem,论容量赶不上ssd。两字:没用

...

还是太贵了,其实只要能便宜点给到512-1T,哪怕比SSD 贵两三倍,凭借非易失性和体积,抗震等优势在个人领域能打的,速度对于企业有用但是对于个人作用有限,非易失对于企业由于多重备份又没那么有用,个人领域笔记本或者手机什么的来个1000甚至1500一T也是有市场,反正再多容量个人用户也用不上。

ncrjzoao 发表于 2025-2-22 22:02

有实验精神

cn88695 发表于 2025-2-23 07:08

n37fr0g 发表于 2025-2-6 18:28
我觉得如果傲腾二代512G能跑671b的ds,和硬件搭配起来,应该是最便宜的满血方案了吧,1t/s也可以忍一忍。不 ...

看我帖子,8*2666都能跑1.8t/s了,不过也是慢,没啥用

n37fr0g 发表于 2025-2-24 10:34

本帖最后由 n37fr0g 于 2025-2-24 11:04 编辑

矜持之泪 发表于 2025-2-9 18:19
测试了傲腾dcpmm 2代跑的671b,一个问题半小时,看看就好。

你这咋感觉没配置好啊,三代的8347可以支持amx了。看图片怎么有一根内存是红色的,健康度不佳?可以上一个KTransformers试试嘛?

wjm47196 发表于 2025-2-24 10:41

T.JOHN 发表于 2025-2-6 16:40
这个以前micro还是intel总监自己说过,论速度赶不上mem,论容量赶不上ssd。两字:没用

...

做分级存储还是有用的

n37fr0g 发表于 2025-2-24 10:52

deepseek要是能分层offload就好了(各层可以自选合适的硬件),看国外有人搞过pcie ssd raid跑ds的。

21PENNY 发表于 2025-3-21 10:12

ljy1414 发表于 2025-2-8 05:10
很难想像到底是用什么样的心态做这机骨头产品

nvdimm和nvram确实不成功,但起码是分层存储结构一次新的尝试,并且一部分成果也在cxl type3中得到保留(cxl spec)。

deepfishing 发表于 2025-3-21 10:45

strix halo农企只给了128G的内存还有外围带宽有点低,等下一代继续堆。
普通ddr不能只关注频率,实际上也要注意延迟,APU这种用lpddr的用延迟换带宽也许更好点。
老黄也搞了新的内存插槽形态SOCAMM,看新的DGX Station就是可插拔的lpddr这种。

weindy 发表于 2025-3-21 11:55

傲腾内存目前就一个用处最合适,那就是AD模式给primocache当二缓[恶魔]

wliked 发表于 2025-3-29 00:57

n37fr0g 发表于 2025-2-24 10:34
你这咋感觉没配置好啊,三代的8347可以支持amx了。看图片怎么有一根内存是红色的,健康度不佳?可以上一 ...

三代没有amx,四代以上才有

buffff 发表于 2025-3-29 11:02

可见还是得用ddr5才是正确答案

小虫儿 发表于 2025-4-27 03:03

n37fr0g 发表于 2025-2-8 15:22
1.看了一些文章,了解到傲腾持久内存共推出三代,其中Intel Optane Persistent Memory 300 Series为最新一 ...

这个对主板有要求吗 我看有的说只能用超微的

rubycon2008 发表于 2025-4-27 06:01

第一项 RND4K Q64T36 是怎么设置出来的?

灰羽利亞 发表于 2025-4-27 09:15

rubycon2008 发表于 2025-4-27 06:01
第一项 RND4K Q64T36 是怎么设置出来的?

这个测试软件的菜单里可以设置,你自己摸索一下,很容易找到,我现在是mac,没法截图。

mysy 发表于 2025-4-27 13:14

二代志强 R640 平台,两组 ddr4 4x32g 通道2666 内存,跑70B 大概0.8 token的。性价比还行吧

LY文库 发表于 2025-5-18 15:16

n37fr0g 发表于 2025-2-8 15:22
1.看了一些文章,了解到傲腾持久内存共推出三代,其中Intel Optane Persistent Memory 300 Series为最新一 ...

有没有大哥测试过这个第三代傲腾持久内存的效果
页: 1 [2]
查看完整版本: 第一代傲腾持久内存在DeepSeek上的可用度很低