零刻GTR9PRO本地部署大模型

igodczh78

其实是没啥新东西折腾，本来想看下掌机能不能用上AMD新的385/395
结果一看价格（128G版本）直接16000+，TDP最多就85w，要120W还得外接个水冷模组。。。
这还是掌机吗？不如掌机串流主机
然后就看同样配置一体机价格便宜得多，就趁着双十一入手了零刻GTR9PRO
国补后就12400还有6期免息分期，考虑到内存和SSD现在涨价到离谱，这个价格还是很好得
配置是AMD 395+128G内存+2T SSD

开箱装机激活就略过了，和装台式机没啥区别

接下来报流水账，更新本地部署大模型的进度
1. 11/15：安装Ollama到非C盘，同时安装两个机器做对比，零刻395@128G，以及9950X3D+5090D

2. 下载模型：第一个先下了** OSS 120B，据说性能比较好

先请教大佬几个问题：
1. 现在开源的模型哪几个比较好（考虑零刻配置情况）
        语言类：Deepseek R1（准备下32B/70B）；** OSS 120B；Gemma2 27B还是Gemma 7B？；Qwen3 32B？；
        图片类：llava 34B；minicpm-v 8B
2. UI界面使用Page Assistant最简单还是有其它推荐？

下一步要做的事情：
1. 接入专业数据库
2. 联网搜索数据
3. 手机远程接入

pdvc

LLM的迭代速度，已经让本地没意义了……

小模型可以试试Qwen NEXT 80B的

igodczh78

pdvc 发表于 2025-11-15 18:02
LLM的迭代速度，已经让本地没意义了……

小模型可以试试Qwen NEXT 80B的

其实是想自己部署一个专业知识库

YsHaNg

igodczh78 发表于 2025-11-15 10:50
其实是想自己部署一个专业知识库

rag langgraph 想workflow就搭个n8n/dify 前端open webui 个人用我就笔记都存md obsidian装copilot插件

YsHaNg

igodczh78 发表于 2025-11-15 10:50
其实是想自己部署一个专业知识库

395这种东西和m5之前的apple gpu一样 问题在算力低 会在encode/prefill卡很久 做做短指令生成还可以

pdvc

igodczh78 发表于 2025-11-15 18:50
其实是想自己部署一个专业知识库

那把知识库部署在本地就完了？用不到显卡……