发现豆包PC版更新了本地部署模型功能，支持数据本地处理，目前只支持N卡

YsHaNg

用ollama/vllm不好吗 再配个open webui/cherry studio之类的前端 想改啥改啥 顺手还能接langgraph cline zed之类 被一个前端圈地大可不必

YsHaNg

powerduke 发表于 2025-6-3 13:55
目前豆包在线版我觉得挺好用，免费，速度快，准确度够用

google ai studio白送gemini pro 所以你到底是要讨论在线远程llm还是离线本地部署模型

YsHaNg

powerduke 发表于 2025-6-4 03:21
都可以随便聊聊咯，线上线下各有满足的应用场景，本地知识库更像部署的本地分析引擎，差点意思但放心。

...

本地我是接入个人文件夹和笔记 主用ollama作推理框架 obsidian和open webui作为rag的前端 外加langgraph和dify 本地全开源框架的好处是可以随便接mcp server甚至a2a资源 不管公开的还是自己建立的 有问题可以随意调 OpenAI Agents SDK就会麻烦很多 遇到问题就得靠猜 我在gdpr dsa的保护伞下 应该尽量用体量更大的厂商 使用欧区azure deepseek-r1不成问题 白嫖到r2出来都够了 套一层litellm就能兼容大部分前端程序