kingofgu 发表于 2025-9-11 10:23

ai max395+跑oss-120B效果如何有人试过吗

这个oss-120b看评测水平很高了 而且80G显存就能跑
搭配MAX395+迷你主机装个linux专门当个人服务器跑 成本也就1w出头 非常可以了

jaycty 发表于 2025-9-11 10:24

吐字速度不行吧

个人还是用付费API比较省事

xy. 发表于 2025-9-11 10:26

https://www.reddit.com/r/LocalLLaMA/comments/1n9ubmn/comment/ncphz09/

kzfile 发表于 2025-9-11 10:31

现在就是家用显卡的显存相比cuda核心性价比太低了，当凑够了显存，算力对于单人用又太富余了

kesayi 发表于 2025-9-11 10:47

可以跑的假如服务器长期用 还是api省事儿

kingofgu 发表于 2025-9-11 15:40

xy. 发表于 2025-9-11 10:26
https://www.reddit.com/r/LocalLLaMA/comments/1n9ubmn/comment/ncphz09/

可以啊 50T/s 吐字 单人用完全够用了
页: [1]
查看完整版本: ai max395+跑oss-120B效果如何有人试过吗