找回密码
 加入我们
搜索
      
查看: 1298|回复: 12

[软件] 群晖NAS的synology ai console没见有人讨论,分享下本地LLM设定

[复制链接]
发表于 2025-8-20 15:40 | 显示全部楼层 |阅读模式
近期群晖NAS提醒升级synology ai console这个套件了,功能是导入LLM支持,目前支持的套件是synology office和mail plus最新版,原本以为只能选择内嵌支持的openai、google的llm,没想到可以支持本地部署的llm,搜了下网上也没有这方面的说明,可能群晖用户们以为都要用商业llm才行,所以给大家分享下方法,总结下来有两点结论:

1. synology ai console虽然只能选择有限的商业llm模型名称,但是实际调用上并没有类似api调用那样需要指定这个名称,这也让本地部署的模型可以随意使用。
2. 具备自定义llm域名的功能,可以指向内网Ip了。

或许本就是群晖留给用户的福利吧。



SNAG-0000.png
SNAG-0001.png
SNAG-0002.png
SNAG-0003.png

 楼主| 发表于 2025-8-20 18:31 | 显示全部楼层
nas连接商用的llm还是不太放心
 楼主| 发表于 2025-8-20 21:12 | 显示全部楼层
可以关注下后续群晖如何在nas设备上发挥llm的能力咯,文件搜索、分析功能肯定是要上了
 楼主| 发表于 2025-8-23 14:13 | 显示全部楼层
airy 发表于 2025-8-23 13:27
请问ollama上跑的什么模型?
刚试了一下一直显示校验失败。


lm studio最新版 + qwen3 30B A3B

lm studio不验证key,所以随便填即可。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-8-25 03:45 , Processed in 0.007631 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表