想装一台跑大模型的机器，求助

Leciel

lz2906190 发表于 2025-9-30 11:50
小白直接用免费的，免费的什么功能不比你自己部署强百倍。

自己部署性能是弱；隐私保护，反审查是杠杠的。

你得搞清楚需求，没有保护隐私，反审查的需求，就用免费的。
除了问一些技术问题，我从不用在线Ai；隐私对我来说极端重要。

wangzhiqiang

我觉得可以等等5070ti super,24g显存和5090一样，够本地运行不少的gguf格式的模型了

lz2906190

Leciel 发表于 2025-10-1 16:04
自己部署性能是弱；隐私保护，反审查是杠杠的。

你得搞清楚需求，没有保护隐私，反审查的需求，就用免费 ...

把你的隐私从浩如烟海的数据中提取出来也是要成本的，你的隐私值得吗？

雨季不再来

lz2906190 发表于 2025-10-1 17:49
把你的隐私从浩如烟海的数据中提取出来也是要成本的，你的隐私值得吗？ ...

广告联盟不就是干这的吗？

os39000

cpu可以考虑下xeon 6 ，很多拆机的6985p-c，橙色很烂，价格8000多，配合9000多的单路主板，再加上30000的内存，单核性能多核性能浮点性能都有了。
要速度还是4080 super 32GB, 两张初期就够了，不够再加。
**-oss 20B 我用3090Ti*2 速度 131Tokens/s, Qwen3-30B-A3B 120tokens/s以上。年初的那些70B都弱爆了，直接扔。