deep seek完整模型700gb，什么机器可以装512gb以上内存条？

listree

tenll 发表于 2025-1-30 15:27
内存有1t用cpu能跑？家里的nas刚好有1t内存，就怕cpu跑速度太慢

不是1t硬盘，是1t RAM

lh4357

单路EPYC 9004或9005能插3T内存（256x12）。
双路再翻倍。

listree

lh4357 发表于 2025-1-30 15:30
单路EPYC 9004或9005能插3T内存（256x12）。
双路再翻倍。

单根256G内存条，是DDR5么？

lh4357

listree 发表于 2025-1-30 15:33
单根256G内存条，是DDR5么？

D4和D5都有单条256。

listree

lh4357 发表于 2025-1-30 15:35
D4和D5都有单条256。

一根内存条8000多元么

我輩樹である

Leciel 发表于 2025-1-30 13:56
ELI5：
没内存多少事，如果强调极致效率。
决定作用的是显存，单块48/96Gb，再买上几万块，并联计算。

ptx我读研的时候不知道写了多少，cuda c核函数里面本来就可以写c代码也可以写ptx代码，只是没有使用cuda c的标准汇编实现，是超算里面的常规优化方式。

我輩樹である

listree 发表于 2025-1-30 15:26
插满1536Gb内存了

deep seek官方每个机器是 1536Gb内存么

deepseek是把模型分散在多台计算机的显卡里面，然后通过nvlink/IB连接，不需要每台都把完整模型放到显存/内存里面。

cameraman

listree 发表于 2025-1-30 15:24
D4服务器什么意思，ddr4？

512需要8个插槽，1t需要16个插槽，选什么主板呢 ...

双路大都是16槽  64g是便宜，300一条。128开始就贵了1000多一条
2011支持64g 1T。3647支持128g 2T以上

建议柠檬

https://item.taobao.com/item.htm ... mp;xxc=taobaoSearch

主板4000

不能说最便宜了吧，但是起码是很便宜了
16X128G内存就够了吧
https://item.taobao.com/item.htm ... mp;xxc=taobaoSearch
16X1200

https://item.taobao.com/item.htm ... mp;xxc=taobaoSearch

1250块X2

显卡一共10个槽，按照最便宜的XEON 4310T 提供的单U 64通道，双U128通道
这主板10个PCIE 16X槽，最多能提供6X8+4X16=112条PCIE通道
就算用普通的PCIE显卡，每4条通道一片显卡，也能支持28片显卡的基础平台了


也就是说，板+U+内存一共25700，加上300块钱散热器，就能提供足以满足LZ需求的基础平台了

StevenG

去年装好没挂存储池的家庭服务器

jleee

kerafyrm 发表于 2025-1-30 13:59
服务器主板啊，双路cpu，32g一根ddr5，插24根

ddr4 3200还行。ddr5，算了吧。

coohooc

AMD EPYC2代服务器主板256GB内存

listree

jleee 发表于 2025-1-30 17:07
ddr4 3200还行。ddr5，算了吧。

ddr4 单根256G内存，你见过么？

listree

StevenG 发表于 2025-1-30 17:04
去年装好没挂存储池的家庭服务器

你什么主板，内存这么大

StevenG

listree 发表于 2025-1-30 18:16
你什么主板，内存这么大

双路，8条64g

StevenG

StevenG 发表于 2025-1-30 18:23
双路，8条64g

说错了，16条。。。，习惯说8条了

c1400700226

listree 发表于 2025-1-30 15:29
不是1t硬盘，是1t RAM

你怎么知道人家的NAS是不是1T内存的EMC

gmlee1999

listree 发表于 2025-1-30 15:29
不是1t硬盘，是1t RAM

我就惊了，一个小小nas居然有1T内存……原来是专业玩家

noirchen

其实这样应该也行，这个视频里跑的是 deepseek v1，理论上可以扩展到 deepseek r1

listree

noirchen 发表于 2025-1-30 18:51
其实这样应该也行，这个视频里跑的是 deepseek v1，理论上可以扩展到 deepseek r1
...

5个苹果小主机？

这种小主机的双力是不是很low？

listree

gmlee1999 发表于 2025-1-30 18:30
我就惊了，一个小小nas居然有1T内存……原来是专业玩家

他的图有可能是P的

listree

建议柠檬 发表于 2025-1-30 16:36
https://item.taobao.com/item.htm?abbucket=2&id=688110348993&ns=1&pisk=g_paGKw1sAHZDQKyRLX4U7fA5UXOat ...

插10个显卡，要配什么电源？

万一烧了，不是几十万一下子没了

chesha1

首先不建议用 CPU + 内存跑，硬跑起来速度也很慢，非要跑有很多服务器平台支持 1T 以上内存

实在跑不动就量化开夸张一点，INT4 能节约不少，再多用点节约显存的技巧

不过还是建议用 GPU 跑，实在没大显存 GPU 就跑个 7b 的小模型玩玩算了，用 CPU 跑不到一秒都吐不出一个 token，等着不着急吗？

oolmfoo

打算用五千買內存？

YsHaNg

我輩樹である 发表于 2025-1-30 07:40
ptx我读研的时候不知道写了多少，cuda c核函数里面本来就可以写c代码也可以写ptx代码，只是没有使用cuda  ...

也是quant常见作风 给data scientist可就不常见

foxsheep

只有我一个人好奇用DCPMM塞这个是否可行吗

hekmbahh

Leciel 发表于 2025-1-30 16:07
嗯，让我来想想这个贴主的情况。他提到在读研时写过很多PTX代码，说明他在研究生阶段对CUDA编程有一定的 ...

你这是用R1推理的？

listree

我輩樹である 发表于 2025-1-30 15:40
ptx我读研的时候不知道写了多少，cuda c核函数里面本来就可以写c代码也可以写ptx代码，只是没有使用cuda  ...

可以用汇编直接调用显卡么

我輩樹である

listree 发表于 2025-1-30 19:11
可以用汇编直接调用显卡么

汇编还要编译为sass，一种机械码，这个才能直接调用显卡。