个人准备本地部署DS+RAGFLOW知识库，求显卡推荐
本人现在电脑I7-8700+32G内存+6700XT（12G），布置了ollama deepseek-r1:8b,单纯是用DS还行，但是要结合知识库感觉非常非常的慢（Docker运行服务都要几分钟，登录界面约10分钟才能登录）。而且目前想用ollama蒸馏的14b的模型，想干脆就重新配一台9700X的平台，把现有的给老爸拿去玩耍AI。所以想问问大家对显卡的意见。或者直接用API形式。 ollama的话，用page assist来配合使用即可，而且还支持网络搜索 本地部署8B没意义啊，这个尺寸的蠢得很，而且嵌入模型之类的都对显卡有要求。你不如去连硅基流动，70B的100Wtoken才4块钱，你搞一张卡几千块花在API上都能让你玩到腻了 llzzll 发表于 2025-2-20 00:10
本地部署8B没意义啊，这个尺寸的蠢得很，而且嵌入模型之类的都对显卡有要求。
你不如去连硅基流动，70B的10 ...
这也是在考虑的范围中，主要看 7900xt 这样的显卡，跑 32b 挺快的，虽然是蒸馏版本的还是有点心动 网仙 发表于 2025-2-20 00:04
ollama的话，用page assist来配合使用即可，而且还支持网络搜索
目前就是这样配合的 你关它干啥 ollamadocker化跑服务一直在内存里 open webui传知识库用第二个embedding model 网仙 发表于 2025-2-20 00:04
ollama的话，用page assist来配合使用即可，而且还支持网络搜索
PA知识库不行。 ragflow和dify，哪个好用？ gfwen0 发表于 2025-2-20 09:33
ragflow和dify，哪个好用？
只用过RAG而且现在部署还有问题，解析上传文件后，去对话，连接本地的DS会出错。环境变量我也改了的，端口也没有动过，今天回去准备重新部署下 建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 本地跑有什么优势吗?怎么大家都想要搞下来本地跑 本地自用除非你用来突破伦理限制搞颜色，不然一律鉴定为闲得慌，直接阿里云、字节买API次数便宜的很，还能随时用最新的大模型[偷笑] 我直白点说
本地跑要么为了搞黄色或者突破一般伦理认知的内容，不然买API划算的多
又不是公司老板一看拍脑袋部署下来政治任务
70B也就坎坎够用，最性价比也要3张2080ti 22g。。当下2080ti 22g都给买涨了。。 galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...
目前是这样做的，API确实便宜的多 pooChai 发表于 2025-2-21 14:40
本地跑有什么优势吗?怎么大家都想要搞下来本地跑
没啥优势据我目前了解的情况，除非你长期断网，不然真没必要本地部署 galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？ galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...
但是有个问题，我总觉得这个满血版不是真满血。思考的过程和回答的问题感觉就稍微好于我部署的本地 8b，有时候甚至还不如。DS 官网啥时候才解禁 api 啊🤔还是那个好用 最美时光 发表于 2025-2-21 22:18
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？
感觉非 pro 像阉割的，或者调教的不好，最大的差别是慢，因为非 pro 很多人是推广换来的 token lja046 发表于 2025-2-22 01:10
但是有个问题，我总觉得这个满血版不是真满血。思考的过程和回答的问题感觉就稍微好于我部署的本地 8b， ...
这个还真不好量化，同一个模型，同一个问题，出来的答案也不一定相同，你可以多试几个比较一下 最美时光 发表于 2025-2-21 22:18
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？
Pro是充值才能使用，非Pro可以使用赠送的token lja046 发表于 2025-2-22 01:11
感觉非 pro 像阉割的，或者调教的不好，最大的差别是慢，因为非 pro 很多人是推广换来的 token...
主要是分配的资源不同，非Pro可以使用赠送的token，所以基本上现在是硅基流不动 7900XTX X2 mdeu 发表于 2025-2-21 15:17
我直白点说
本地跑要么为了搞黄色或者突破一般伦理认知的内容，不然买API划算的多
这些费了很大成本训练出的模型，为什么可以不受限制的推理突破伦理性的问题呢？既然模型提供下载本地安装部署使用，为什么在训练过程中不屏蔽掉敏感词汇？ lja046 发表于 2025-2-21 21:55
没啥优势据我目前了解的情况，除非你长期断网，不然真没必要本地部署
撸主你在逃避问题，现在谁还会长期断网啊，又不是MSS，反正我可以坦白的说，如果我本地部署AI，那一定是为了跑Stable Diffusion搞色图[偷笑] 我现在公司就2核cpu，1g显存跑ragflow，只要不要用图谱倒蛮用，虽然速度有点慢。当然没跑ds。后面用服务器8核8线程速度就上去了，本地部署了qwen3 嵌入模型。如果你要快当然是在你钱的能力范围内能多大显存就买多大显存的，ai显存为先，爆显存会很慢。
页:
[1]