os39000 发表于 2024-12-14 19:23
我没看到EPYC的浮点评测数据
这些我也不懂服务器和多卡机啊 组装还比较简单
但是软件这些部署对我来说难度太高了。。。
uprit 发表于 2024-12-13 13:16
用内存的吗？能多少通道呀？就算8通道也没多少带宽啊。
感觉还不如搞8卡2080ti 22G，差不多也是2w，带宽 ...
这个玩法属于激进型玩家。
功耗接近3000W，机箱散热都选择性不大，噪音很难控制。
我的想法是性能接近2080Ti，甚至1080Ti也行，但是显存可以轻松追加，那就够了。
momo77989724 发表于 2024-12-14 19:27
这些我也不懂服务器和多卡机啊 组装还比较简单
但是软件这些部署对我来说难度太高了。。。 ...
我搜了下，也没发现有这么玩的。最多的案例就是用大内存苹果机跑的
本帖最后由 zhuifeng88 于 2024-12-14 22:02 编辑
os39000 发表于 2024-12-14 19:22
大佬这么说，意思是性价比低甚至压根跑不起来，那就继续折腾我的现有硬件好了，再加个
1600W电源就行，就 ...
我不是这意思, 我意思是这么玩的性能以及性价比优势会有比较大的使用场景限定以及部署比较复杂
zhuifeng88 发表于 2024-12-14 22:00
我不是这意思, 我意思是这么玩的性能以及性价比优势会有比较大的使用场景限定以及部署比较复杂 ...
有部署指令可以参考吗？或者相关的开源项目？
os39000 发表于 2024-12-14 19:23
这正是我发帖的目的
85xx和84xx系列算力有差距么，测了个84xx系列的48核cpu，deepseek v2每秒输出6个token
CPU推理当然可以，llamacpp这种就行。
自挂东南枝 发表于 2024-12-18 08:12
CPU推理当然可以，llamacpp这种就行。
llama.cpp只是能跑起来 性能烂的没法用
os39000 发表于 2024-12-15 20:35
有部署指令可以参考吗？或者相关的开源项目？
建议看openvino的文档, 能跟着完成大部份不需要改代码就行的部分
klxq15 发表于 2024-12-17 21:51
85xx和84xx系列算力有差距么，测了个84xx系列的48核cpu，deepseek v2每秒输出6个token ...
84和85差距不大
自挂东南枝 发表于 2024-12-18 08:12
CPU推理当然可以，llamacpp这种就行。
这种到时候先试试
zhuifeng88 发表于 2024-12-18 08:33
建议看openvino的文档, 能跟着完成大部份不需要改代码就行的部分
看文档我还可以，我已经订了MS73HB1+8581C，周末就能装机验证了。就是内存我手上是不带ECC的64GB 7200，不知道影响大不大。
os39000 发表于 2024-12-14 19:30
我搜了下，也没发现有这么玩的。最多的案例就是用大内存苹果机跑的
内存带宽够吗，苹果这么玩是堆了多通道高频率LPDDR，内存带宽高到当显存用完全没有问题。
本帖最后由 os39000 于 2024-12-18 19:25 编辑
8xwob3ko 发表于 2024-12-18 19:08
内存带宽够吗，苹果这么玩是堆了多通道高频率LPDDR，内存带宽高到当显存用完全没有问题。 ...
8581C双路读取有640GB，写400GB，可以了
你站内搜索8581C，今年4月份有人发
https://www.chiphell.com/thread-2606946-1-1.html
5th Xeon的AI性能指标都在这儿了
https://www.intel.com/content/www/us/en/developer/topic-technology/artificial-intelligence/performance-5th-gen-56cores.html#gs.j6qfe0
os39000 发表于 2024-12-18 18:50
84和85差距不大
L3大了好多，其他差距不大
os39000 发表于 2024-12-18 19:23
8581C双路读取有640GB，写400GB，可以了
你站内搜索8581C，今年4月份有人发
https://www.chiphell.com/th ...
你的装了吗 用的哪个系统。。。我那台睿频跑的有问题 干顺便用的什么主板
momo77989724 发表于 2025-1-8 13:18
你的装了吗 用的哪个系统。。。我那台睿频跑的有问题 干顺便用的什么主板 ...
我准备Windows 11。
因为我不是一家买的配件（大大的错误），到我手上反复重启，发到cpu卖家那里又没事。
cpu我是手拧的，买的工具到了再试试。
cpu睿频可以的，单核cpuz也能到640。
我的主板是技嘉MS73-HB1，技嘉网上有cpu、内存、硬盘的兼容性列表。
os39000 发表于 2025-1-8 19:02
我准备Windows 11。
因为我不是一家买的配件（大大的错误），到我手上反复重启，发到cpu卖家那里又没事。 ...
内存问题不大都支持 48G便宜现在
超微主板睿频后有点卡卡的 我周末去搞个技嘉主板试试
这个要是搞个512G内存本地跑deepseek V3，那叫一个酸爽
momo77989724 发表于 2025-1-8 23:50
内存问题不大都支持 48G便宜现在
超微主板睿频后有点卡卡的 我周末去搞个技嘉主板试试 ...
开性能模式，会好不少。
mfkiwl 发表于 2025-1-9 18:03
这个要是搞个512G内存本地跑deepseek V3，那叫一个酸爽
怎么说？
os39000 发表于 2025-1-9 18:54
怎么说？
deepseek V3算是开源大模型里性能相当好的了；MOE架构正好符号CPU推理的大内存容量特点，比起GPU的架构，成本低老多了
mfkiwl 发表于 2025-1-9 20:31
deepseek V3算是开源大模型里性能相当好的了；MOE架构正好符号CPU推理的大内存容量特点，比起GPU的架构， ...
那这是个好消息，虽然内存挺贵，512GB 5600MHZ 16000左右
os39000 发表于 2025-1-10 19:29
那这是个好消息，虽然内存挺贵，512GB 5600MHZ 16000左右
然后你会发现deepseek需要的mla没cpu实现的优化算子(cuda的开源实现都做出来没多久)
(当然没充分优化的算子实现不妨碍能跑)
zhuifeng88 发表于 2025-1-10 19:31
然后你会发现deepseek需要的mla没cpu实现的优化算子(cuda的开源实现都做出来没多久)
(当然没充分优化的 ...
希望明天手气好点，我的组装工具都到了
zhuifeng88 发表于 2025-1-10 19:31
然后你会发现deepseek需要的mla没cpu实现的优化算子(cuda的开源实现都做出来没多久)
(当然没充分优化的 ...
这个算子展开说说？
mfkiwl 发表于 2025-1-10 22:39
这个算子展开说说？
展开这个那直接去看deepseek的paper喽, mla是在v2最初提出的, 附录C部分
本帖最后由 momo77989724 于 2025-1-11 11:33 编辑
os39000 发表于 2025-1-10 19:29
那这是个好消息，虽然内存挺贵，512GB 5600MHZ 16000左右
64和96价格起飞~~48G实惠。
64要1800我想着48和32G价格很接近差50~然后想是不是96和64也接近。。。刚去问了96比64贵一倍
我手上是16*8，准备软件都安装测试好了再换32的。只差50那48性价比就很高了