listree 发表于 2025-1-30 18:59
插10个显卡，要配什么电源？
万一烧了，不是几十万一下子没了
纯12V的企业级产品太多了。。。。。君不见人均旷工时代的杂牌拖着B价儿满天飞么
listree 发表于 2025-1-30 18:56
5个苹果小主机？
这种小主机的双力是不是很low？
一般，如果没记错的话，那个人跑 v1 是 2-3 token 每秒，但毕竟跑起来了
AI不是回答了用内存替代显存跑会导致答案质量下降严重吗？
671B参数的这个应该就是R1原版，FP16格式量化：671B*16/8=1.3T
64g一条不就行了。。
EPYC洋垃圾 上128G单条 很容易实现吧 眼光不要太局限
类似华擎 epyc平台 GENOAD24QM3-2L2T/BCM 24条DIMM，加上64GB内存插满，内存带宽也可以。 总共几万块，openAI扛回家了都
noirchen 发表于 2025-1-30 21:12
一般，如果没记错的话，那个人跑 v1 是 2-3 token 每秒，但毕竟跑起来了
一秒2、3个字太慢了，回车后要等5分钟才能看回答
不少人用来泡AI妹子，或者写颜色的小说，很愉快[偷笑]
看来你们真是操碎了心，超算需要考虑这些吗？还插几个内存，几个显卡。
Leciel 发表于 2025-1-31 09:10
开了万兆对等互联网宽带了么？
万兆专线？那玩意一年费用，够我一机柜的玩具了。。。
臭打游戏的3W预算进CHH，出门可以开网吧
你这是30W预算进AI，出门可以开算力中心了[恶魔]
二手的工作站啊
比如HP Z8G4, 双CPU可以用满配24条内存
二手DDR4 ECC 64G 大概300-350 （按350算） 64GB×24 =1.5TB ，约8400块
最新这几代的服务器都是32槽的，单根64g就有2t了，很轻松
lh4357 发表于 2025-1-30 15:30
单路EPYC 9004或9005能插3T内存（256x12）。
双路再翻倍。
单路有24槽的我有一片。。。
700多G现在只用16槽就够了48GX16成本应该是比较低的 48G和32G价格就差50但是64就要直接翻倍 96 再翻一倍 128的话再X一倍
CPU也有16 24核这些便宜的型号
listree 发表于 2025-1-30 18:56
5个苹果小主机？
这种小主机的双力是不是很low？
统一构架，显存就是内存，其实算是比较省钱的了。
listree 发表于 2025-1-30 15:29
不是1t硬盘，是1t RAM
我是1t ram，128g单根x8，关键cpu差了一点，只是epyc 7302而已
双路4代或者5代epyc，一共24通道内存，每条64G，1.5T的内存就出来了
k8qxt5 发表于 2025-1-31 11:53
最新这几代的服务器都是32槽的，单根64g就有2t了，很轻松
32槽服务器，可否说几个型号[偷笑]
fyc858 发表于 2025-1-31 09:45
臭打游戏的3W预算进CHH，出门可以开网吧
你这是30W预算进AI，出门可以开算力中心了 ...
现在还有网吧么？
不是都改名叫网咖了么[偷笑]
本帖最后由 echotoyu 于 2025-1-31 21:19 编辑
listree 发表于 2025-1-30 15:24
D4服务器什么意思，ddr4？
512需要8个插槽，1t需要16个插槽，选什么主板呢 ...
给你个我公司在用的服务器型号宁畅 X680 GS5
2T Gb 8*4090
echotoyu 发表于 2025-1-31 21:14
给你个我公司在用的服务器型号宁畅 X680 GS5
2T Gb 8*4090
X680 你哪里买的？奶东上好像没这东西啊[生病]
listree 发表于 2025-1-31 21:26
X680 你哪里买的？奶东上好像没这东西啊
公司采购的呀。🐶东上是没的。你要私你销售电话你具体了解下吧。
echotoyu 发表于 2025-1-31 21:45
公司采购的呀。🐶东上是没的。你要私你销售电话你具体了解下吧。
这种机器是不是只对大客户销售[困惑]
k8qxt5 发表于 2025-1-31 11:53
最新这几代的服务器都是32槽的，单根64g就有2t了，很轻松
9004没记错折到24了，单通太多+本身太大
我们HPE DL380 Gen10就上了24条32G内存，共768G。如果用单条64G，就是1.5T了。
如果没那么在意性能，还可以玩DCPMM，把24条内存中的一半换成128G的DCPMM。
如果是DL380 Gen11的话，32条内存插槽，上高容量就更轻松了。
Jimmy_Qiu 发表于 2025-1-31 22:16
我们HPE DL380 Gen10就上了24条32G内存，共768G。如果用单条64G，就是1.5T了。
如果没那么在意性能，还可以 ...
768G还是有些不够，完整版模型大小超过1t[困惑]
你的DL380平时都开机么，开机功耗多大
listree 发表于 2025-1-31 22:30
768G还是有些不够，完整版模型大小超过1t
你的DL380平时都开机么，开机功耗多大 ...
Gen10 实际支持单条128G的内存，插满就是3T。
还不满足可以看Gen11，理论上可以8T。不过价格会很感人就是。
功耗我没注意过，十几台服务器，单台功耗没关注过。