发现豆包PC版更新了本地部署模型功能，支持数据本地处理，目前只支持N卡
有没有坛友试过了，效果如何，现在用的笔记本，只有核显。豆包PC版的前端很好用，比lms、chatbox等更方便，免费使用吐字快，准确度也不错。
相信个人以后用这类AI工具的场景会越来越多，N卡的生态优势进一步加强。
A、I两家的支持不知什么时间能等到了。
貌似其他llm的本地部署可以直接破甲，没有屏蔽词，不知道豆包本地可不可以
消费级单卡跑这个基本和弱智无异 针对本地知识库进行提问的。
什么12333 12366 一万号 和 银行客服用这个不错 本地部署完后使用需要在线才能使用么 黑字介绍，应该不在线也可以使用。 豆包的本地版（显卡能跑得起来），估计毫无悬念被QWQ32B，qwen3 完爆吧 这个到底是豆包模型本地版，还是用别的模型，要是别的模型整这些干什么，没限制的abliterated版本不好吗。
豆包强调数据和对话内容确实不会上传到服务端，但是你打开联网功能的话你问答的时候他什么都知道，你最好别问一些逆天的内容[偷笑] 本地跑就消费级显卡4090和5090也就卡在32B这个级别了吧也不太够用[偷笑]对比其他能本地跑的模型优势可能就多模态？ 击水三千 发表于 2025-6-3 14:05
貌似其他llm的本地部署可以直接破甲，没有屏蔽词，不知道豆包本地可不可以
...
有教程吗 大佬。 xsdianeht 发表于 2025-6-3 14:14
消费级单卡跑这个基本和弱智无异
好像也是，我试过LLM那个ds，问他问题就很弱智。看教程用5090D部署的
但是看那些UP主用的话就很好，不知道什么问题。。 非RTX也能用 1080ti吃显存然后cpu计算 就列出的这些显卡（里面甚至还有6G的），根本跑不了啥东西出来啊，比完整的模型缩水太多了吧？
纯粹是当学习一下基本操作、设置的？[偷笑][偷笑][偷笑] a010301208 发表于 2025-6-3 14:44
这个到底是豆包模型本地版，还是用别的模型，要是别的模型整这些干什么，没限制的abliterated版本不好吗。
...
只是本地知识库把，对企业还是有用处的，改天试试，单位的笔记本灰色的不让部署 本帖最后由 powerduke 于 2025-6-3 21:43 编辑
更新下，回来在2080fe上试了下，下载7.32G文件，开启本地部署功能后，放了两个网上下载的测试文件pdf：国家电网计算机试题、试题答案，提的问题是：检测试题答案是否正确。
结果直接翻车，显存占用6.6G，虽然看起来没有爆显存的样子，但是提问后一直显示等待的省略号动画，几分钟也不出结果，放弃。
在线功能没问题，直接拖放文件，问同样的问题，很快给出结果：
这7.3G文件包含了：
llm模型文件：glm-4-9b-chat.Q4_K_M.gguf，大小6.1GB
RAG模型文件：bge-m3-q4_k_m.gguf，427MB
其他是cuda的动态库一类的
用ollama/vllm不好吗 再配个open webui/cherry studio之类的前端 想改啥改啥 顺手还能接langgraph cline zed之类 被一个前端圈地大可不必 这直接用的hf上的模型吧，是不是有大显存的可以自己替换为32B、70B甚至满血deepseek试试看[音乐]
不过不是哪个模型都支持图像、语音、文字之类多模态的
YsHaNg 发表于 2025-6-3 21:51
用ollama/vllm不好吗 再配个open webui/cherry studio之类的前端 想改啥改啥 顺手还能接langgraph cline ze ...
目前豆包在线版我觉得挺好用，免费，速度快，准确度够用 目前正常能买到的消费级单卡，哪怕5090，跑32b的模型，和豆包在线版一比也是弱智 本帖最后由 YsHaNg 于 2025-6-3 14:51 编辑
powerduke 发表于 2025-6-3 13:55
目前豆包在线版我觉得挺好用，免费，速度快，准确度够用
google ai studio白送gemini pro 所以你到底是要讨论在线远程llm还是离线本地部署模型 YsHaNg 发表于 2025-6-3 22:49
google ai studio白送gemini pro 所以你到底是要讨论在线远程llm还是离线本地部署模型 ...
都可以随便聊聊咯，线上线下各有满足的应用场景，本地知识库更像部署的本地分析引擎，差点意思但放心。
谷歌的在线服务一是国内受限要翻，二是比起豆包更不想上传文档过去，当然丑国也限制了deepseek，扯平了。 我怀疑是用于分摊AI处理的作业的，把用户的显卡纳入了算力节点。 [狂笑] 现在cpu带的ai模块到底有什么用？ squll009 发表于 2025-6-4 13:58
现在cpu带的ai模块到底有什么用？
忽悠花儿街用 powerduke 发表于 2025-6-4 03:21
都可以随便聊聊咯，线上线下各有满足的应用场景，本地知识库更像部署的本地分析引擎，差点意思但放心。
...
本地我是接入个人文件夹和笔记 主用ollama作推理框架 obsidian和open webui作为rag的前端 外加langgraph和dify 本地全开源框架的好处是可以随便接mcp server甚至a2a资源 不管公开的还是自己建立的 有问题可以随意调 OpenAI Agents SDK就会麻烦很多 遇到问题就得靠猜 我在gdpr dsa的保护伞下 应该尽量用体量更大的厂商 使用欧区azure deepseek-r1不成问题 白嫖到r2出来都够了 套一层litellm就能兼容大部分前端程序
页:
[1]