8581C简单测试
本帖最后由 os39000 于 2025-2-23 19:34 编辑内存带宽 310GB/s。
系统重新安装server 2025，操作和7900x一样流畅。
#########################################
更新384GB 海力士 DDR5 6400, bios里面还没改，4800测的
内存读接近280，单精度也比128多了，现在是正常分数。
671B Q2 速度llama.cpp 能达到5~6tokens/s。这速度已经达到我组装机器的预期了，如果上KT那就超预期
#########################################
系统配置
cpu 8581C（最好用扭矩螺丝刀，后来我买了个数字显示的雅瑞克螺丝刀，大概500RMB，省事就用10块的那种，基本就是最大扭矩的1/3）
内存 三星16GB 5600 rdimm * 8
主板 技嘉MS73-HB1（bios更新到2024.06.28）
显卡 3090Ti*2（EVGA+火神，对机箱要求9个pci）
电源 追风者2200W
操作系统 win11企业版
测试时还在下载，基本就是这个分数，高一点646.
我的系统内存只能4800，5600就重启。（联系过老板，他还愿意换，到时我试试海力士512GB）
单精度分数比论坛里面发过的低了17%；论坛里面的配置是双路+1TB@5600，能达到10.8T。
内存读取速度论坛配置达到650GB/s，我这个翻倍才460GB/s
我还试了代码编译，同一套代码在 x299的7980XE上 1分20秒，AMD 7900X上1分钟，在这个系统是1分钟2秒。
操作开了高性能模式在开始里面点关闭也会卡下。
然后是主板，这个主板只有两个1G网卡，10G网卡x710要买MS73-HB0. 没有10G网卡，下载文件体验比x299都差。
然后是大模型，这本来是我的主要目的，70b我有48GB显存，目前没加nvlink，回答速度基本在15t/s，一个大的问题需要1.5分钟。
单纯ollama跑123b的mistral-large，模型文件100GB，1.35t/s。比7980xe单3090速度快，但一个完整回答需要19分钟，仍然是不可用的状态。
我准备再试试deepseek gguf 1Q1S，以及openvino（看介绍这是i家专用，N家显卡好像占不到便宜），如果双路能到5t/s，那我觉得还是可以接受的。
本帖最后由 zhuifeng88 于 2025-2-5 22:02 编辑
拿8581c跑IQ1S GGUF纯浪费, 性能和精度都差, 建议测一下llama.cpp的backend op吞吐 ( llama.cpp 自己的工具 ), 你会发现IQ1S在CPU上是要比Q2K和Q4K慢得多的 ( BS1下都不会碰到任何带宽瓶颈, 或者说最终跑哪怕是decode速度也比Q2K和Q4K都慢 ) zhuifeng88 发表于 2025-2-5 21:57
拿8581c跑IQ1S GGUF纯浪费, 性能和精度都差, 建议测一下llama.cpp的backend op吞吐 ( llama.cpp 自己的工具 ...
升级了再试试Q2，Q4，llama.cpp周末看看文档怎么说。 本帖最后由 zhuifeng88 于 2025-2-6 20:38 编辑
os39000 发表于 2025-2-6 10:53
升级了再试试Q2，Q4，llama.cpp周末看看文档怎么说。
vllm/openvino (需要亿点修改), r1 4bit 量化, 单路8468q 4800内存, 前面已经有大概8k token的前提下, bs1大概5.x token/s decode
(但是劝一句, 这属于小马过河, 沉下去不要说是我带沟里的)[偷笑] 385W，主板能跑满么 zhuifeng88 发表于 2025-2-6 20:25
vllm/openvino (需要亿点修改), r1 4bit 量化, 单路8468q 4800内存, 前面已经有大概8k token的前提下, bs ...
这个速度相当可以了，单路就能这样。
有你带路，DIY就是玩嘛。 本帖最后由 os39000 于 2025-2-6 21:07 编辑
zzwwcc 发表于 2025-2-6 20:48
385W，主板能跑满么
可以的，全核2.9在编译的短时间内出现，我编译的代码总共100多W行，能全核的机会不多。
PL2 462W。我用金钱豹散热器，基本就是声音一阵一阵的，不是每个人都能接受。
比桌面7900X那种声音大一点点 本帖最后由 momo77989724 于 2025-2-6 21:31 编辑
zzwwcc 发表于 2025-2-6 20:48
385W，主板能跑满么
能单路都能 除了一个新冒出来的国产
双路的话基本就屏蔽 螺丝刀的话金钱豹之前活动附送的那个拐棍挺好用的
声音大我感觉是他得风扇品控问题
我有一个8581就是没声得 另外一台4677上就有。。。不过这个风扇总体还行 海鲜市场40块一个全新 我打算买一批 整套机箱都换了
Mac目前是跑70B以及以下的最佳平台，也就一张4090/5090价格的配置 本帖最后由 zhuifeng88 于 2025-2-6 21:54 编辑
nn1122 发表于 2025-2-6 21:36
Mac目前是跑70B以及以下的最佳平台，也就一张4090/5090价格的配置
只能当聊天机器人玩....正经用70b扔进去不算多10k字的东西总结一下等上1分钟才开始出第一个字就谈不上什么可用...哪门子最佳 同价位买8张2080ti配个x99机器才是真的能干活 这一套下来多少钱？ momo77989724 发表于 2025-2-6 21:26
螺丝刀的话金钱豹之前活动附送的那个拐棍挺好用的
声音大我感觉是他得风扇品控问题
我有一个8581就是 ...
P60T的声音比这个大，这个我觉得还好，毕竟核心多，当然是原谅它了 nn1122 发表于 2025-2-6 21:36
Mac目前是跑70B以及以下的最佳平台，也就一张4090/5090价格的配置
mac适合拿来就用，我这个是拿来折腾的 zhuifeng88 发表于 2025-2-6 21:49
只能当聊天机器人玩....正经用70b扔进去不算多10k字的东西总结一下等上1分钟才开始出第一个字就谈不上什 ...
我昨天看到I卡价格，10张I卡能凑到160GB，价格比起N卡就像做慈善 sfczhw 发表于 2025-2-6 21:53
这一套下来多少钱？
我上面列的4W，化学公社有很多这类帖子，商家买的话少则30%的利润，多则70%的也有。
有的人不能接受70%这样的商家走上了DIY的路子。
我大概两年前看到化学公社，里面有7R32和8375的帖子。
具体到我的卖家，总体比较负责，cpu没拧好导致重启，我寄过去还帮我测试。
单个部件里面内存比较贵，32*16差不多1.6W os39000 发表于 2025-2-7 10:58
P60T的声音比这个大，这个我觉得还好，毕竟核心多，当然是原谅它了
这个散热其实不错我3台4677准备都用M99也不用折腾了。。。
2400系小晶片用这个温度就不如8581了。。。8581就没上过60度 sfczhw 发表于 2025-2-6 21:53
这一套下来多少钱？
你自己有能力折腾就便宜
硬件价格都比较透明。。。会装的人不难不会装的人觉得很神秘
可能比你DIY装机都简单 momo77989724 发表于 2025-2-7 11:32
这个散热其实不错我3台4677准备都用M99也不用折腾了。。。
2400系小晶片用这个温度就不如8581了。。 ...
待机88W，有点高，bios里面package-state选C2 os39000 发表于 2025-2-7 12:00
待机88W，有点高，bios里面package-state选C2
不折腾了 那台已经被摸走了一个月内我没机会碰了。。。
打算再去搞一台双路 先装一个U 借问下，五代志强能像四代w3xxxx那样支持CPU超频吗？内存应该能超吧？ KimmyGLM 发表于 2025-2-11 16:48
借问下，五代志强能像四代w3xxxx那样支持CPU超频吗？内存应该能超吧？
超频，好像不支持。
可以设置48核心，不过最高频还是4G，只有基频提高。
内存我记得海力士可以超
DDR5 5600达成。 os39000 发表于 2025-2-22 16:53
DDR5 5600达成。
这平台内存和总线最高能稳定多少 alexander1995 发表于 2025-2-23 00:41
这平台内存和总线最高能稳定多少
至强不能超频的，规格书些多少就是多少了 本帖最后由 网仙 于 2025-2-23 09:22 编辑
楼主你这套适合跑Ktransformaer呀（内存要上到512G才能跑Q4，你现在384可以跑Q2），试一下看看输出能到多少tokens/s 网仙 发表于 2025-2-23 09:20
至强不能超频的，规格书些多少就是多少了
我知道，不过内存可以降低时序，总线那个不清楚这代的频率范围，所以想问一下楼主 alexander1995 发表于 2025-2-23 00:41
这平台内存和总线最高能稳定多少
商家反馈说可以6000Mhz稳定，我刷的2024.06.28的bios，目前最高只有5600的选项。
总线看哪个选项?我可以查下 网仙 发表于 2025-2-23 09:21
楼主你这套适合跑Ktransformaer呀（内存要上到512G才能跑Q4，你现在384可以跑Q2），试一下看看输出能到多少 ...
Q2前面写了，5-6个tokens，完全llama.cpp跑的。是在内存读取278GB/s的条件下。这套双路内存带宽翻个倍来到620GB/s问题不大。
ktransformer，还没来得及试 os39000 发表于 2025-2-23 19:09
商家反馈说可以6000Mhz稳定，我刷的2024.06.28的bios，目前最高只有5600的选项。
总线看哪个选项?我可以 ...
就是hwinfo里面那个LLC的频率。这代也是MESH总线？
页:
[1]
2