发现豆包PC版更新了本地部署模型功能，支持数据本地处理，目前只支持N卡

powerduke

有没有坛友试过了，效果如何，现在用的笔记本，只有核显。

豆包PC版的前端很好用，比lms、chatbox等更方便，免费使用吐字快，准确度也不错。

相信个人以后用这类AI工具的场景会越来越多，N卡的生态优势进一步加强。

A、I两家的支持不知什么时间能等到了。

powerduke

黑字介绍，应该不在线也可以使用。

powerduke

更新下，回来在2080fe上试了下，下载7.32G文件，开启本地部署功能后，放了两个网上下载的测试文件pdf：国家电网计算机试题、试题答案，提的问题是：检测试题答案是否正确。

结果直接翻车，显存占用6.6G，虽然看起来没有爆显存的样子，但是提问后一直显示等待的省略号动画，几分钟也不出结果，放弃。

在线功能没问题，直接拖放文件，问同样的问题，很快给出结果：

powerduke

这7.3G文件包含了：

llm模型文件：glm-4-9b-chat.Q4_K_M.gguf，大小6.1GB

RAG模型文件：bge-m3-q4_k_m.gguf，427MB


其他是cuda的动态库一类的

powerduke

这直接用的hf上的模型吧，是不是有大显存的可以自己替换为32B、70B甚至满血deepseek试试看

不过不是哪个模型都支持图像、语音、文字之类多模态的

powerduke

YsHaNg 发表于 2025-6-3 21:51
用ollama/vllm不好吗 再配个open webui/cherry studio之类的前端 想改啥改啥 顺手还能接langgraph cline ze ...

目前豆包在线版我觉得挺好用，免费，速度快，准确度够用

powerduke

YsHaNg 发表于 2025-6-3 22:49
google ai studio白送gemini pro 所以你到底是要讨论在线远程llm还是离线本地部署模型 ...

都可以随便聊聊咯，线上线下各有满足的应用场景，本地知识库更像部署的本地分析引擎，差点意思但放心。

谷歌的在线服务一是国内受限要翻，二是比起豆包更不想上传文档过去，当然丑国也限制了deepseek，扯平了。