发现豆包PC版更新了本地部署模型功能，支持数据本地处理，目前只支持N卡

powerduke

有没有坛友试过了，效果如何，现在用的笔记本，只有核显。

豆包PC版的前端很好用，比lms、chatbox等更方便，免费使用吐字快，准确度也不错。

相信个人以后用这类AI工具的场景会越来越多，N卡的生态优势进一步加强。

A、I两家的支持不知什么时间能等到了。

击水三千

貌似其他llm的本地部署可以直接破甲，没有屏蔽词，不知道豆包本地可不可以

xsdianeht

消费级单卡跑这个基本和弱智无异

浪雪千羽

针对本地知识库进行提问的。

什么12333 12366 一万号 和 银行客服用这个不错

发挥怒

本地部署完后使用需要在线才能使用么

powerduke

黑字介绍，应该不在线也可以使用。

KimmyGLM

豆包的本地版（显卡能跑得起来），估计毫无悬念被QWQ32B，qwen3 完爆吧

a010301208

这个到底是豆包模型本地版，还是用别的模型，要是别的模型整这些干什么，没限制的abliterated版本不好吗。

豆包强调数据和对话内容确实不会上传到服务端，但是你打开联网功能的话你问答的时候他什么都知道，你最好别问一些逆天的内容

gladiator

本地跑就消费级显卡4090和5090也就卡在32B这个级别了吧也不太够用对比其他能本地跑的模型优势可能就多模态？

sdren2004

击水三千 发表于 2025-6-3 14:05
貌似其他llm的本地部署可以直接破甲，没有屏蔽词，不知道豆包本地可不可以

...

有教程吗 大佬。

sdren2004

xsdianeht 发表于 2025-6-3 14:14
消费级单卡跑这个基本和弱智无异

好像也是，我试过LLM那个ds，问他问题就很弱智。看教程用5090D部署的
但是看那些UP主用的话就很好，不知道什么问题。。

kkiller007

非RTX也能用 1080ti吃显存然后cpu计算

邪恶的光B

就列出的这些显卡（里面甚至还有6G的），根本跑不了啥东西出来啊，比完整的模型缩水太多了吧？

纯粹是当学习一下基本操作、设置的？

xinnu89

a010301208 发表于 2025-6-3 14:44
这个到底是豆包模型本地版，还是用别的模型，要是别的模型整这些干什么，没限制的abliterated版本不好吗。
...

只是本地知识库把，对企业还是有用处的，改天试试，单位的笔记本灰色的不让部署

powerduke

更新下，回来在2080fe上试了下，下载7.32G文件，开启本地部署功能后，放了两个网上下载的测试文件pdf：国家电网计算机试题、试题答案，提的问题是：检测试题答案是否正确。

结果直接翻车，显存占用6.6G，虽然看起来没有爆显存的样子，但是提问后一直显示等待的省略号动画，几分钟也不出结果，放弃。

在线功能没问题，直接拖放文件，问同样的问题，很快给出结果：

powerduke

这7.3G文件包含了：

llm模型文件：glm-4-9b-chat.Q4_K_M.gguf，大小6.1GB

RAG模型文件：bge-m3-q4_k_m.gguf，427MB


其他是cuda的动态库一类的

YsHaNg

用ollama/vllm不好吗 再配个open webui/cherry studio之类的前端 想改啥改啥 顺手还能接langgraph cline zed之类 被一个前端圈地大可不必

powerduke

这直接用的hf上的模型吧，是不是有大显存的可以自己替换为32B、70B甚至满血deepseek试试看

不过不是哪个模型都支持图像、语音、文字之类多模态的

powerduke

YsHaNg 发表于 2025-6-3 21:51
用ollama/vllm不好吗 再配个open webui/cherry studio之类的前端 想改啥改啥 顺手还能接langgraph cline ze ...

目前豆包在线版我觉得挺好用，免费，速度快，准确度够用

karaki

目前正常能买到的消费级单卡，哪怕5090，跑32b的模型，和豆包在线版一比也是弱智

YsHaNg

powerduke 发表于 2025-6-3 13:55
目前豆包在线版我觉得挺好用，免费，速度快，准确度够用

google ai studio白送gemini pro 所以你到底是要讨论在线远程llm还是离线本地部署模型

powerduke

YsHaNg 发表于 2025-6-3 22:49
google ai studio白送gemini pro 所以你到底是要讨论在线远程llm还是离线本地部署模型 ...

都可以随便聊聊咯，线上线下各有满足的应用场景，本地知识库更像部署的本地分析引擎，差点意思但放心。

谷歌的在线服务一是国内受限要翻，二是比起豆包更不想上传文档过去，当然丑国也限制了deepseek，扯平了。

wuxi001

我怀疑是用于分摊AI处理的作业的，把用户的显卡纳入了算力节点。

squll009

现在cpu带的ai模块到底有什么用？

装陈醋的酱油瓶

squll009 发表于 2025-6-4 13:58
现在cpu带的ai模块到底有什么用？

忽悠花儿街用

YsHaNg

powerduke 发表于 2025-6-4 03:21
都可以随便聊聊咯，线上线下各有满足的应用场景，本地知识库更像部署的本地分析引擎，差点意思但放心。

...

本地我是接入个人文件夹和笔记 主用ollama作推理框架 obsidian和open webui作为rag的前端 外加langgraph和dify 本地全开源框架的好处是可以随便接mcp server甚至a2a资源 不管公开的还是自己建立的 有问题可以随意调 OpenAI Agents SDK就会麻烦很多 遇到问题就得靠猜 我在gdpr dsa的保护伞下 应该尽量用体量更大的厂商 使用欧区azure deepseek-r1不成问题 白嫖到r2出来都够了 套一层litellm就能兼容大部分前端程序