DeepSeek本地化部署，有手就行

大青蛙2012 · 发表于 2025-3-20 13:55

你就说部署没部署吧。

USB · 发表于 2025-3-20 14:07

带货还要编故事了？

家乡古早味 · 发表于 2025-3-20 15:31

是不是内存足够大的话就可以运行更大体量的大模型了

messia · 发表于 2025-3-20 15:59

看完“软文”，突然觉得本地部署拿来拷机倒是不错，哈哈

Chouchoufish · 发表于 2025-3-20 16:06

八喜发表于 2025-3-19 20:03
单个文件夹，可以设置最大30个文档，转MD格式投喂，不超过这个文档数量，推理能力还是可以的。 ...

能传授下具体的投喂方法吗？

八喜 · 发表于 2025-3-20 16:13

Chouchoufish 发表于 2025-3-20 16:06
能传授下具体的投喂方法吗？

要不我写个帖子？

Chouchoufish · 发表于 2025-3-20 16:22

八喜发表于 2025-3-20 16:13
要不我写个帖子？

可以啊，我之前直接在LM界面投喂word，只能读取到片段。

八喜 · 发表于 2025-3-20 16:38

Chouchoufish 发表于 2025-3-20 16:22
可以啊，我之前直接在LM界面投喂word，只能读取到片段。

可以用chreey studio作为前段试一试

chensquare · 发表于 2025-3-20 16:52

广告演都不演了。打回重写。

kuan20 · 发表于 2025-3-20 17:08

其实主要是搭自己的知识库，把文档资料都上传上去，通过RAGFlow这类让AI帮忙检索汇总，引用哪里也能查看得到。我自己就是啊，至于多少B无所谓了。

xyaozong · 发表于 2025-3-20 17:56

本地至少32B q4起步，不然就是玩玩的

流浪的疾风 · 发表于 2025-3-20 21:36

Chouchoufish 发表于 2025-3-20 16:06
能传授下具体的投喂方法吗？

模型本身最大token130k，大概10来万个字，还包括输出的，超过这个，没有任何办法。

粉墨home · 发表于 2025-3-21 09:47

感谢分享！

xueshk · 发表于 2025-3-21 12:14

就喜欢这种“有手就行”的赶脚

eShan · 发表于 2025-3-21 15:24

软广写的好卷

wgg · 发表于 2025-3-21 19:15

部署个8B的有什么意义？

tory · 发表于 2025-3-21 21:34

老饭发表于 2025-3-18 13:06
SER8用户飘过，wifi蓝牙信号差到没法用，后悔死

更惨SER7 用没多久蓝牙掉了，重新弄了下本地网卡掉了，现在插个usb网卡用着。。

lrs83 · 发表于 2025-3-21 22:34

这篇文章前段时间在零刻官网都见了

KnownIssue · 发表于 2025-3-21 22:40

quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 ...

我觉得至少要部署32B，否则没有什么意义。

unkleenever · 发表于 2025-3-23 10:04

不知道能否部署qwq-32B+RAGFlow？

supersf · 发表于 2025-3-23 10:17

32B模型速度咋样。

呆吵吵 · 发表于 2025-3-23 12:07

问一下，你选择的环境的ROCm还是Vulkan

白天的月亮 · 发表于 2025-3-23 12:33

本地化部署推荐miniM4pro，32B可以跑起，窜联4台可以满血

whyjun · 发表于 2025-3-23 20:59

本地模型7 8 14基本没啥用，笨的要死。不过小机箱现在性能是蛮强的，我搞了个铭凡UM880Pro，连接电视机，一般的都够用了

bininmil · 发表于 2025-3-24 17:08

y521521 发表于 2025-3-18 09:16
一针见血了

现在软文都这样了，高档...

yszb · 发表于 2025-3-24 21:16

yangyang00131 发表于 2025-3-17 17:18
企业内部网络（不接入互联网），如何部署呢？

ollama下载了装就可以

账号		自动登录	找回密码
密码			加入我们

[电脑] DeepSeek本地化部署，有手就行