yangyang00131 发表于 2025-3-17 17:18
企业内部网络（不接入互联网），如何部署呢？

ollama下载了装就可以

y521521 发表于 2025-3-18 09:16
一针见血了

现在软文都这样了，高档...

本地模型7 8 14基本没啥用，笨的要死。不过小机箱现在性能是蛮强的，我搞了个铭凡UM880Pro，连接电视机，一般的都够用了

本地化部署推荐miniM4pro，32B可以跑起，窜联4台可以满血

问一下，你选择的环境的ROCm还是Vulkan

32B模型速度咋样。

不知道能否部署qwq-32B+RAGFlow？

quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 ...

我觉得至少要部署32B，否则没有什么意义。

这篇文章前段时间在零刻官网都见了

老饭 发表于 2025-3-18 13:06
SER8用户飘过，wifi蓝牙信号差到没法用，后悔死

更惨SER7 用没多久蓝牙掉了，重新弄了下本地网卡掉了，现在插个usb网卡用着。。

部署个8B的有什么意义？

软广写的好卷

就喜欢这种“有手就行”的赶脚

感谢分享！

Chouchoufish 发表于 2025-3-20 16:06
能传授下具体的投喂方法吗？

模型本身最大token130k，大概10来万个字，还包括输出的，超过这个，没有任何办法。

本地至少32B q4起步，不然就是玩玩的

其实主要是搭自己的知识库，把文档资料都上传上去，通过RAGFlow这类让AI帮忙检索汇总，引用哪里也能查看得到。我自己就是啊，至于多少B无所谓了。

广告演都不演了。打回重写。

Chouchoufish 发表于 2025-3-20 16:22
可以啊，我之前直接在LM界面投喂word，只能读取到片段。

可以用chreey studio作为前段试一试

八喜 发表于 2025-3-20 16:13
要不我写个帖子？

可以啊，我之前直接在LM界面投喂word，只能读取到片段。

Chouchoufish 发表于 2025-3-20 16:06
能传授下具体的投喂方法吗？

要不我写个帖子？

八喜 发表于 2025-3-19 20:03
单个文件夹，可以设置最大30个文档，转MD格式投喂，不超过这个文档数量，推理能力还是可以的。 ...

能传授下具体的投喂方法吗？

看完“软文”，突然觉得本地部署拿来拷机倒是不错，哈哈

是不是内存足够大的话 就可以运行更大体量的大模型了

带货还要编故事了？

你就说部署没部署吧。

既然都只用14b模型了，干嘛不上丐版M4 mac mini？早上在costco看到上海国补到手也就3400+

不如2999的macminim4 跑蒸馏模型用不到24G显存 MAC16G内存都能被当作显存 算力也比这个高

我 mac mini 也是用lm，这玩意安全吗，数据和文件传到哪。