群晖NAS的synology ai console没见有人讨论，分享下本地LLM设定
本帖最后由 powerduke 于 2025-8-27 21:00 编辑近期群晖NAS提醒升级synology ai console这个套件了，功能是导入LLM支持，目前支持的套件是synology office和mail plus最新版，原本以为只能选择内嵌支持的openai、google的llm，没想到可以支持本地部署的llm，搜了下网上也没有这方面的说明，可能群晖用户们以为都要用商业llm才行，所以给大家分享下方法，总结下来有两点结论：
1. synology ai console虽然只能选择有限的商业llm模型名称，但是实际调用上并没有类似api调用那样需要指定这个名称，这也让本地部署的模型可以随意使用。
2. 具备自定义llm域名的功能，可以指向内网Ip了。
或许本就是群晖留给用户的福利吧。
隔壁威联通也把ai加入到本地数据搜索了，支持通用的api，可以用ai分析自己的办公文件了 nas连接商用的llm还是不太放心 看见了，卡登录几次没成功就没再折腾了[雷人]
明明一个新的app群晖居然这么低调，当时查官网都没找到说明 powerduke 发表于 2025-8-20 10:31
nas连接商用的llm还是不太放心
能输url 自建ollama就行了 llama.cpp也可以 可以关注下后续群晖如何在nas设备上发挥llm的能力咯，文件搜索、分析功能肯定是要上了 请问ollama上跑的什么模型？
刚试了一下一直显示校验失败。 因为不能支持DS的API我就没有折腾了[流汗] airy 发表于 2025-8-23 13:27
请问ollama上跑的什么模型？
刚试了一下一直显示校验失败。
lm studio最新版 + qwen3 30B A3B
lm studio不验证key，所以随便填即可。 tyy474 发表于 2025-8-20 16:25
隔壁威联通也把ai加入到本地数据搜索了，支持通用的api，可以用ai分析自己的办公文件了 ...
哪个产品支持了？ lja046 发表于 2025-8-23 05:38
因为不能支持DS的API我就没有折腾了
DeepSeek自己的就是openai格式api powerduke 发表于 2025-8-23 14:13
lm studio最新版 + qwen3 30B A3B
lm studio不验证key，所以随便填即可。
搞定了 ~ 群晖最值得期待的是 synology meet，咨询了下明年三季度才能上 这个思路好棒啊！ 基本上主流 LLM 服务提供商给的接口都是 OpenAI API 兼容的，所以只要你的本地客户端支持 OpenAI，基本都会允许你修改 OPENAI_BASE_URL 的，那么主流的模型你都可以接入了，不管是外部的 OpenAI/OpenRouter/DeekSeek 官方或者硅基流动等，亦或是本地的 Ollama 和 vLLM，你都可以接入。不仅仅是群晖，其他客户端也是一样道理。
当然不同的模型会有细微参数上的区别和限制，但是大多数人都不会碰到。 ihainan 发表于 2025-8-25 10:14
基本上主流 LLM 服务提供商给的接口都是 OpenAI API 兼容的，所以只要你的本地客户端支持 OpenAI，基本都会 ...
但是不支持自定义Model的话，像是Deepseek也是用不了的吧 Yuusha 发表于 2025-8-26 14:26
但是不支持自定义Model的话，像是Deepseek也是用不了的吧
嗷对，自定义 Model，不过一般来说支持 OPENAI_BASE_URL，也会支持自定义 Model Name 的，除非铁了心就是不让你用其他服务…比较少我觉得。 用着6.2的版本，不升级是永远没指望了。 期待 关注！ Yuusha 发表于 2025-8-26 06:26
但是不支持自定义Model的话，像是Deepseek也是用不了的吧
新建模型卡随便取个名对应到g pt模型名上 YsHaNg 发表于 2025-8-23 18:36
DeepSeek自己的就是openai格式api
对，但是选择模型的时候只有Openai的模型 本帖最后由 YsHaNg 于 2025-8-27 08:54 编辑
lja046 发表于 2025-8-27 08:47
对，但是选择模型的时候只有Openai的模型
看楼上 自己都host还不是随便改 比如ollama create 云厂商api可以用https://www.litellm.ai/ 转 也是能换名字的 ihainan 发表于 2025-8-26 06:56
嗷对，自定义 Model，不过一般来说支持 OPENAI_BASE_URL，也会支持自定义 Model Name 的，除非铁了心就是 ...
我直接套娃
受到楼上网友修改本地模型的名称的启发，发现还有最简单的方法，lm studio 加载模型时候修改为想要的名称就行了[偷笑]
YsHaNg 发表于 2025-8-27 16:52
看楼上 自己都host还不是随便改 比如ollama create 云厂商api可以用https://www.litellm.ai/ 转 也是能换 ...
感谢提供思路，我直接用LiteLLM搞上了 先mark一下，回头试试看 什么时候能接入photos套件，建立图片的知识图谱[傻笑] zmcity 发表于 2025-9-16 06:30
什么时候能接入photos套件，建立图片的知识图谱
immich吧 外挂群晖照片 楼主兄弟能讲讲这个ai能干啥么？ 网仙 发表于 2025-9-16 08:30
楼主兄弟能讲讲这个ai能干啥么？
具体看接入什么应用 目前就跟apple intelligence/notion ai/office 365那些差不多 写东西用
页:
[1]
2