你就说部署没部署吧。
带货还要编故事了？
是不是内存足够大的话 就可以运行更大体量的大模型了
看完“软文”，突然觉得本地部署拿来拷机倒是不错，哈哈
八喜 发表于 2025-3-19 20:03
单个文件夹，可以设置最大30个文档，转MD格式投喂，不超过这个文档数量，推理能力还是可以的。 ...
能传授下具体的投喂方法吗？
Chouchoufish 发表于 2025-3-20 16:06
能传授下具体的投喂方法吗？
要不我写个帖子？
八喜 发表于 2025-3-20 16:13
要不我写个帖子？
可以啊，我之前直接在LM界面投喂word，只能读取到片段。
Chouchoufish 发表于 2025-3-20 16:22
可以啊，我之前直接在LM界面投喂word，只能读取到片段。
可以用chreey studio作为前段试一试
广告演都不演了。打回重写。
其实主要是搭自己的知识库，把文档资料都上传上去，通过RAGFlow这类让AI帮忙检索汇总，引用哪里也能查看得到。我自己就是啊，至于多少B无所谓了。
本地至少32B q4起步，不然就是玩玩的
Chouchoufish 发表于 2025-3-20 16:06
能传授下具体的投喂方法吗？
模型本身最大token130k，大概10来万个字，还包括输出的，超过这个，没有任何办法。
感谢分享！
就喜欢这种“有手就行”的赶脚[狂笑]
软广写的好卷
部署个8B的有什么意义？
老饭 发表于 2025-3-18 13:06
SER8用户飘过，wifi蓝牙信号差到没法用，后悔死
更惨SER7 用没多久蓝牙掉了，重新弄了下本地网卡掉了，现在插个usb网卡用着。。
这篇文章前段时间在零刻官网都见了
quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 ...
我觉得至少要部署32B，否则没有什么意义。
不知道能否部署qwq-32B+RAGFlow？
32B模型速度咋样。
问一下，你选择的环境的ROCm还是Vulkan
本地化部署推荐miniM4pro，32B可以跑起，窜联4台可以满血
本地模型7 8 14基本没啥用，笨的要死。不过小机箱现在性能是蛮强的，我搞了个铭凡UM880Pro，连接电视机，一般的都够用了
y521521 发表于 2025-3-18 09:16
一针见血了
现在软文都这样了，高档...
yangyang00131 发表于 2025-3-17 17:18
企业内部网络（不接入互联网），如何部署呢？
ollama下载了装就可以