个人准备本地部署DS+RAGFLOW知识库，求显卡推荐

lja046

本人现在电脑I7-8700+32G内存+6700XT（12G），布置了ollama deepseek-r1:8b,单纯是用DS还行，但是要结合知识库感觉非常非常的慢（Docker运行服务都要几分钟，登录界面约10分钟才能登录）。而且目前想用ollama蒸馏的14b的模型，想干脆就重新配一台9700X的平台，把现有的给老爸拿去玩耍AI。所以想问问大家对显卡的意见。或者直接用API形式。

网仙

ollama的话，用page assist来配合使用即可，而且还支持网络搜索

llzzll

本地部署8B没意义啊，这个尺寸的蠢得很，而且嵌入模型之类的都对显卡有要求。
你不如去连硅基流动，70B的100Wtoken才4块钱，你搞一张卡几千块花在API上都能让你玩到腻了

lja046

llzzll 发表于 2025-2-20 00:10
本地部署8B没意义啊，这个尺寸的蠢得很，而且嵌入模型之类的都对显卡有要求。
你不如去连硅基流动，70B的10 ...

这也是在考虑的范围中，主要看 7900xt 这样的显卡，跑 32b 挺快的，虽然是蒸馏版本的还是有点心动

lja046

网仙 发表于 2025-2-20 00:04
ollama的话，用page assist来配合使用即可，而且还支持网络搜索

目前就是这样配合的

YsHaNg

你关它干啥 ollamadocker化跑服务一直在内存里 open webui传知识库用第二个embedding model

gfwen0

网仙 发表于 2025-2-20 00:04
ollama的话，用page assist来配合使用即可，而且还支持网络搜索

PA知识库不行。

gfwen0

ragflow和dify，哪个好用？

lja046

gfwen0 发表于 2025-2-20 09:33
ragflow和dify，哪个好用？

只用过RAG而且现在部署还有问题，解析上传文件后，去对话，连接本地的DS会出错。环境变量我也改了的，端口也没有动过，今天回去准备重新部署下

galfood

建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀

pooChai

本地跑有什么优势吗?怎么大家都想要搞下来本地跑

lyq6581098

本地自用除非你用来突破伦理限制搞颜色，不然一律鉴定为闲得慌，直接阿里云、字节买API次数便宜的很，还能随时用最新的大模型

mdeu

我直白点说

本地跑要么为了搞黄色或者突破一般伦理认知的内容，不然买API划算的多

又不是公司老板一看拍脑袋部署下来政治任务

70B也就坎坎够用，最性价比也要3张2080ti 22g。。当下2080ti 22g都给买涨了。。

lja046

galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...

目前是这样做的，API确实便宜的多

lja046

pooChai 发表于 2025-2-21 14:40
本地跑有什么优势吗?怎么大家都想要搞下来本地跑

没啥优势据我目前了解的情况，除非你长期断网，不然真没必要本地部署

最美时光

galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...

R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？

lja046

galfood 发表于 2025-2-21 14:34
建议硅基流动充值后使用API访问满血R1 pro，挂BAAI/bge-m3本地知识库模型，性价比秒杀 ...

但是有个问题，我总觉得这个满血版不是真满血。思考的过程和回答的问题感觉就稍微好于我部署的本地 8b，有时候甚至还不如。DS 官网啥时候才解禁 api 啊🤔还是那个好用

lja046

最美时光 发表于 2025-2-21 22:18
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？

感觉非 pro 像阉割的，或者调教的不好，最大的差别是慢，因为非 pro 很多人是推广换来的 token

galfood

lja046 发表于 2025-2-22 01:10
但是有个问题，我总觉得这个满血版不是真满血。思考的过程和回答的问题感觉就稍微好于我部署的本地 8b， ...

这个还真不好量化，同一个模型，同一个问题，出来的答案也不一定相同，你可以多试几个比较一下

galfood

最美时光 发表于 2025-2-21 22:18
R1 pro有什么优势？跟非pro比。上下文大小？tokens性能？

Pro是充值才能使用，非Pro可以使用赠送的token

galfood

lja046 发表于 2025-2-22 01:11
感觉非 pro 像阉割的，或者调教的不好，最大的差别是慢，因为非 pro 很多人是推广换来的 token  ...

主要是分配的资源不同，非Pro可以使用赠送的token，所以基本上现在是硅基流不动

kuram

7900XTX X2