双intel a770 16g本地部署deepseek 32b蒸馏模型

nn1122

还行，2080 TI就比较贵了

Miner

StevenG 发表于 2025-3-18 21:01
那个手里六张卡的卖家？我见他死活不肯包邮，就没下手，昨晚在狗东不到1700买了两张全新的，不过不是公版， ...

公版可以四卡直插？

StevenG

Miner 发表于 2025-3-19 14:10
公版可以四卡直插？

公版双槽双风扇，四卡的话能放下，不过散热捉急，非涡轮，风道受限严重

seaLittleNerd

我的win10在lm studio里i卡环境一直调不好（驱动什么都安了），必须要用win11吗

earn21th

seaLittleNerd 发表于 2025-3-19 15:54
我的win10在lm studio里i卡环境一直调不好（驱动什么都安了），必须要用win11吗 ...

应该不是系统问题，你点那个放大镜，看看runtime的选对了没有，用vulkan

powerduke

很好玩，和楼主想一块去了，3k不到刘可以不断跟进体验最新的32b，近期qwq和gemma3正好也都更新了。

另外随时可以再加一块a770扩到48g显存，n卡从前是不敢想的咯

毛茸茸

不是非要买公版，可以随便买个蓝戟有三年个人送保，他家的卡也不厚，平时打游戏不错很超值。

powerduke

更新下信息，win11下，双卡a770 跑deepseek 32b，lm studio大概11个token，用4月intel在ghub上的v2.2驱动优化绿色版ollama则跑到15个token。

有些最新的模型不支持直接下载，例如gemma3 27b，可以直接下载gguf到本地然后转换到ollama下即可。

page assist支持联网搜索，设置好挺方便，后面继续折腾本地知识库，当然有坛友要说干嘛不用头条豆包、腾讯元宝，这就不是连玩带学嘛，不比太较真

powerduke

老饭 发表于 2025-3-18 20:14
好像跟macmini速度差不多？

看评测48g m4pro32b可以跑到12 token，京东价格1.4万，价格差别大。

cloudybeyond

7900xtx 单卡 能跑 27，这个 双a770 的意义不大啊

powerduke

双770最主要是便宜，32g显存更大，不爆显存前提下可以设置更多的上下文记忆，另外intel的优化更新的还挺频繁的

sun3797

用Vulkan跑的 效率还是低了点

matoid

LM设置合理1张卡也能跑，7token，我估计加个a380 可能能到10token