群晖NAS的synology ai console没见有人讨论，分享下本地LLM设定

powerduke · 发表于 2025-8-20 15:40

本帖最后由 powerduke 于 2025-8-27 21:00 编辑

近期群晖NAS提醒升级synology ai console这个套件了，功能是导入LLM支持，目前支持的套件是synology office和mail plus最新版，原本以为只能选择内嵌支持的openai、google的llm，没想到可以支持本地部署的llm，搜了下网上也没有这方面的说明，可能群晖用户们以为都要用商业llm才行，所以给大家分享下方法，总结下来有两点结论：

1. synology ai console虽然只能选择有限的商业llm模型名称，但是实际调用上并没有类似api调用那样需要指定这个名称，这也让本地部署的模型可以随意使用。
2. 具备自定义llm域名的功能，可以指向内网Ip了。

或许本就是群晖留给用户的福利吧。

tyy474 · 发表于 2025-8-20 16:25

隔壁威联通也把ai加入到本地数据搜索了，支持通用的api，可以用ai分析自己的办公文件了

powerduke · 发表于 2025-8-20 18:31

nas连接商用的llm还是不太放心

jcd_chh · 发表于 2025-8-20 18:55

看见了，卡登录几次没成功就没再折腾了

明明一个新的app群晖居然这么低调，当时查官网都没找到说明

YsHaNg · 发表于 2025-8-20 20:08

powerduke 发表于 2025-8-20 10:31
nas连接商用的llm还是不太放心

能输url 自建ollama就行了 llama.cpp也可以

powerduke · 发表于 2025-8-20 21:12

可以关注下后续群晖如何在nas设备上发挥llm的能力咯，文件搜索、分析功能肯定是要上了

airy · 发表于 2025-8-23 13:27

请问ollama上跑的什么模型？
刚试了一下一直显示校验失败。

lja046 · 发表于 2025-8-23 13:38

因为不能支持DS的API我就没有折腾了

powerduke · 发表于 2025-8-23 14:13

airy 发表于 2025-8-23 13:27
请问ollama上跑的什么模型？
刚试了一下一直显示校验失败。

lm studio最新版 + qwen3 30B A3B

lm studio不验证key，所以随便填即可。

gyc · 发表于 2025-8-23 17:22

tyy474 发表于 2025-8-20 16:25
隔壁威联通也把ai加入到本地数据搜索了，支持通用的api，可以用ai分析自己的办公文件了 ...

哪个产品支持了？

YsHaNg · 发表于 2025-8-23 18:36

lja046 发表于 2025-8-23 05:38
因为不能支持DS的API我就没有折腾了

DeepSeek自己的就是openai格式api

airy · 发表于 2025-8-23 19:34

powerduke 发表于 2025-8-23 14:13
lm studio最新版 + qwen3 30B A3B

lm studio不验证key，所以随便填即可。

搞定了 ~

l泰然处之01 · 发表于 2025-8-25 01:54

群晖最值得期待的是 synology meet，咨询了下明年三季度才能上

LLM · 发表于 2025-8-25 09:25

这个思路好棒啊！

ihainan · 发表于 2025-8-25 10:14

基本上主流 LLM 服务提供商给的接口都是 OpenAI API 兼容的，所以只要你的本地客户端支持 OpenAI，基本都会允许你修改 OPENAI_BASE_URL 的，那么主流的模型你都可以接入了，不管是外部的 OpenAI/OpenRouter/DeekSeek 官方或者硅基流动等，亦或是本地的 Ollama 和 vLLM，你都可以接入。不仅仅是群晖，其他客户端也是一样道理。

当然不同的模型会有细微参数上的区别和限制，但是大多数人都不会碰到。

Yuusha · 发表于 2025-8-26 14:26

ihainan 发表于 2025-8-25 10:14
基本上主流 LLM 服务提供商给的接口都是 OpenAI API 兼容的，所以只要你的本地客户端支持 OpenAI，基本都会 ...

但是不支持自定义Model的话，像是Deepseek也是用不了的吧

ihainan · 发表于 2025-8-26 14:56

Yuusha 发表于 2025-8-26 14:26
但是不支持自定义Model的话，像是Deepseek也是用不了的吧

嗷对，自定义 Model，不过一般来说支持 OPENAI_BASE_URL，也会支持自定义 Model Name 的，除非铁了心就是不让你用其他服务…比较少我觉得。

lnron · 发表于 2025-8-26 14:56

用着6.2的版本，不升级是永远没指望了。

qp6g3o · 发表于 2025-8-26 15:38

期待关注！

YsHaNg · 发表于 2025-8-26 21:24

Yuusha 发表于 2025-8-26 06:26
但是不支持自定义Model的话，像是Deepseek也是用不了的吧

新建模型卡随便取个名对应到g pt模型名上

lja046 · 发表于 2025-8-27 16:47

YsHaNg 发表于 2025-8-23 18:36
DeepSeek自己的就是openai格式api

对，但是选择模型的时候只有Openai的模型

YsHaNg · 发表于 2025-8-27 16:52

本帖最后由 YsHaNg 于 2025-8-27 08:54 编辑

lja046 发表于 2025-8-27 08:47
对，但是选择模型的时候只有Openai的模型

看楼上自己都host还不是随便改比如ollama create 云厂商api可以用https://www.litellm.ai/ 转也是能换名字的

YsHaNg · 发表于 2025-8-27 16:58

ihainan 发表于 2025-8-26 06:56
嗷对，自定义 Model，不过一般来说支持 OPENAI_BASE_URL，也会支持自定义 Model Name 的，除非铁了心就是 ...

我直接套娃

powerduke · 发表于 2025-8-27 20:58

受到楼上网友修改本地模型的名称的启发，发现还有最简单的方法，lm studio 加载模型时候修改为想要的名称就行了

Yuusha · 发表于 2025-9-5 15:40

YsHaNg 发表于 2025-8-27 16:52
看楼上自己都host还不是随便改比如ollama create 云厂商api可以用https://www.litellm.ai/ 转也是能换 ...

感谢提供思路，我直接用LiteLLM搞上了

cool_epower · 发表于 2025-9-15 11:52

先mark一下，回头试试看

zmcity · 发表于 2025-9-16 14:30

什么时候能接入photos套件，建立图片的知识图谱

YsHaNg · 发表于 2025-9-16 16:21

zmcity 发表于 2025-9-16 06:30
什么时候能接入photos套件，建立图片的知识图谱

immich吧外挂群晖照片

网仙 · 发表于 2025-9-16 16:30

楼主兄弟能讲讲这个ai能干啥么？

YsHaNg · 发表于 2025-9-16 17:03

网仙发表于 2025-9-16 08:30
楼主兄弟能讲讲这个ai能干啥么？

具体看接入什么应用目前就跟apple intelligence/notion ai/office 365那些差不多写东西用

账号		自动登录	找回密码
密码			加入我们

[软件] 群晖NAS的synology ai console没见有人讨论，分享下本地LLM设定

评分

浏览过的版块