DeepSeek本地化部署，有手就行
自开年以来以DeepSeek为代表的AI工具火出了天际，工作中的许多琐碎事儿都可以交给AI来完成。不过对于商业体来说，提升生产力效率是一回事，数据隐私安全就是另一回事了。像奶爸公司最近就发了通知，对DeepSeek工具的使用做了诸多要求，并且严禁将部分资料上传到非本地化部署的AI中。奶爸最近刚好在修订制度，目标是将现行的37个制度整合为7个制度，不让用DeepSeek不就要了我的老命了，果断带自费购买的零刻SER9 Pro Mini PC到公司本地化部署DeepSeek，直接当着合规同事的面上传公司制度到DeepSeek（手动狗头），舒服 。
本地化部署DeepSeek教程▼自从DeepSeek问世以来，众多玩家对于本地化部署的追求就没有停过，刚开始大家都以为只有硬核的独立显卡才能进行本地化部署，后来大家发现通过CPU+内存 以及 核显GPU+内存的形式都能实现，真正让DeepSeek本地化部署走进了千家万户。对于AMD核显目前比较推荐使用LM Studio进行部署，对核显的支持更好，部署也更加简单。搜索引擎搜索LM Studio就能找到LM Studio，提醒一下官网的后缀是ai，别进了那个jewellery的网站。
关于零刻SER9 Pro▼DeepSeek对内存带宽相对来说还是比较敏感的，理论上带宽越高，响应速度会更快一点。零刻SER9 Pro采用8000MHz的美光板载LPDDR5内存，在DeepSeek的使用上更有优势一些，AMD AI 365处理器搭载的Radeon 880M核显也是目前核显第一梯队领头羊的存在。
▼零刻SER9 Pro共有两个型号，高配版采用AMD AI 9 HX370处理器，搭载Radeon 890M核显，标准版搭载AMD AI 9 HX365处理器，相较高配版便宜600，更具性价比。
▼相较上代锐龙8000系列，AMD锐龙AI 300系列处理器大幅更新了架构，CPU升级为Zen5大小核架构，核心更多，能效比更高；核显GPU则升级为了RDNA3.5架构，Radeon 880M有12个核心，Radeon 890M更是升级到了16颗；NPU则是升级到了XDNA2架构，AI算力达到了50 TOPS（不过目前LM Studio暂时无法让NPU加入运算）。
▼零刻SER9 Pro延续了SER8/SEi14的经典设计，一体式金属机身造型以及圆润的倒角相当精致，对比Mac mini M4有电源键方便实用，保留有USB-A接口的优势（手动狗头）。
▼SER9 Pro采用下进风/后出风散热风道设计，背面与地板采用塑胶材质，保证冷热通道彻底隔离。讲道理SER9 Pro着实很安静，即便是高负载之下风扇的声音只会像自然中的风声，不会有风扇高速转动的那种风切的声音。
▼SER9 Pro一如既往的大满贯的接口配置，前面板3个接口+背面8个接口，既保证了高度的扩展性也兼顾了便利性；电源依旧是小巧的航嘉代工120W，不论是外出携带还是收纳都很便利。
[*]1个USB-C 4（40Gbps/PD/DP1.4/雷电3）
[*]1个USB-C 3.2Gen2×1（10Gbps）
[*]2个USB-A 3.2Gen2×1（10Gbps）
[*]2个USB-A 2.0
[*]1个DP1.4（4K@240Hz）
[*]1个HDMI2.1（4K@240Hz）
[*]1个2.5G网口
[*]2个3.5mm音频口
▼SER9 Pro AI 365版在崭新出厂的时候跑分在140万+.
▼不过我的机器已经被我折腾了蛮久，鲁大师、360帮我装了蛮多的实用软件，造成纸面性能测试数据稍微低了点，不重要。
部署时刻▼LM Studio软件的安装很简单，基本上一路Next就行。
▼我的零刻SER9 Pro搭在了1TB英睿达SSD，而且平时也没有分盘符的习惯，这里就装在了C盘，如果大家有分盘符，而且C盘容量比较小，建议不要部署在C盘，包括之后存储模型也是。
▼打开LM Studio软件后，右上角位置有一个skip onboarding的按钮，点击跳过。
▼接着点击Select a model to load按钮，进行大模型下载。
▼搜索DeepSeek R1 Distill，注意要选择GGUF后缀（格式）。
▼实测8B与14B Q4模型都能够较为流畅的运行，小伙伴们可以自行选择，根据我收集的信息来看Qwen相对来说更适合中文大语言模型，不过实测下来Qwen与Llama个人感觉不出来差异。点击右下角的Download即可进行下载，实测不适用魔法也能正常下载，速度在2-3MB/s所有。
▼下载完成后就可以选择对应的模型进行加载了，默认情况下LM Studio会使用CPU进行运算，个人更建议使用GPU模式运行，一方面能避免CPU高负载电脑的超级卡顿，另一方面GPU模式在显存占用和响应速度上更具优势，更适合性能要求较高的场景。
▼打开手动选择模型加载参数按钮，使用零刻SER9 Pro搭载的Radeon 880M核显进行运行。
▼找到GPU OFFload这个控制选项，直接把数量拉满，如果你选用了中文会看到是GPU卸载，不用理会。
▼这时候我们就可以正式加载蒸馏模型了，不过LM Studio会提示可能会造成设备高负载，这时候我们需要将策略改为“关闭”，反正我试了一下最宽松的策略也不允许加载。
▼接着我们要设置系统给GPU分配的内存（约等于显存那么个意思），零刻SER9 Pro默认给到的是4GB。
▼重启计算机疯狂点击键盘的Del按钮进入到BIOS。
▼进入到BIOS Advanced功能标签页，选择AMD CBS功能。
▼选择NBIO Common Options选项。
▼进入到GFX Configuration功能。
▼在Dedicated Graphics Memory位置就可以选择配置给核显的内存数量。
▼零刻SER9 Pro的 BIOS预设了8G、16G、24G多个选项，用户可以很方便的进行选择。基本上7B模型给到8G就够用了。
▼全都设置好以后F4保存并退出BIOS，电脑重新启动。
▼这时候再调用DeepSeek R1模型，可以看到GPU已经快乐的奔跑起来了，虽然混合运行（CPU、GPU同时调用）的情况下，CPU占用率也蛮高，但是系统流畅度会提高不少。
▼8B Q4蒸馏模型下10.32Token/s在使用中基本上高度可用。
▼14B Q4蒸馏模型下8.22Token/s，相对7B模型并不会感觉到有明显的差异。不过注意使用14B模型要分配16GB内存给核显就是了。
▼零刻官方对SER9 Pro370和SER9 Pro365本地部署DeepSeek的性能测试，感兴趣的小伙伴可以再了解下。
零刻SER9 Pro性能测试核显3DMark基准测试▼在3DMARK上，使用Fire Strike（DX11）、Time Syp（DX12）、Speed Way（DX12 Ultimate）、Port Royal（光追）四个个基准项目进行测试，他们分别能够反映主流网游、近几年的3A大作、以及光追性能，Steel Nomad则能够提现高性能游戏电脑性能。通过量化的数据能够方便我们进行不同设备之间的横向对比。
▼最终测试结果如下：Night Raid ：39655；Fire Strike ：9929，Time Spy ：3501分；Steel Nomad Light：3360。零刻SER9 Pro HX365 搭载的AMD Radeon 880M核显的设备相较于前一代的Radeon 780M有着显著的性能提升，超高频的内存频率也起到了相当重要的作用。
游戏性能测试▼游戏性能测试这里，我们分别测试了网游LOL、竞速类游戏地平线5、老牌3A 古墓丽影暗影、吃配置小怪兽赛博朋克2077以及霍格沃兹之遗。3A大作在1080P分辨率全高画质下也能有48帧以上的成绩，不追求极致的画面用Mini PC玩游戏也挺好的。
8000MHz内存性能测试▼常用AMD的小伙伴们都知道，在AMD处理器上我们一般都是追求低延迟，对高频不敢有什么奢望，但是零刻SER9 Pro却搭载了4 * 8（32GB）lpddr5内存，就还蛮离谱的，不得不测一下了。
▼通过AIDA64进行测试，读取速度90.74GB/s，写入速度为109.29/s，复制速度为80.58GB/s，延迟138.1ns，复制速度相当不错，非常适合用来做大模型项目部署。
写在最后高性能迷你主机市场中，零刻有着美观的设计与极致的性价比。对于SER9 Pro来说，AMD锐龙AI 9 365处理器10核20线程设计，最高加速频率达5.0GHz，轻松应对多任务处理与高负载应用，Radeon 880M核显RDNA 3.5架构，12CU单元，2900MHz频率，性能堪比入门独显，完全是一步到位入坑即退坑之选。如果同时追求性能与更极致的性价比，那么SER8 8745HS版本也是不错的选择。
小主机的推广介绍都这么卷了嘛，以后除了3dm，游戏，还要测llm？[偷笑] 企业内部网络（不接入互联网），如何部署呢？ 学习了晚上抄作业 这卖点还是有人要的[偷笑][偷笑][偷笑] 感谢分享！~ 不错啊，感谢指点 不错，收藏下，厉害。 卖酱油，点了一只鸡的感觉，内网本地部署就是用来耍，无法干活的 同款键盘，昨天刚淘了一个[流汗]你的感觉咋样 yangyang00131 发表于 2025-3-17 17:18
企业内部网络（不接入互联网），如何部署呢？
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 quzhou2001 发表于 2025-3-18 08:50
在家部署好后带入公司。不过这帖子就是个广告，骗骗人的。部署个8B模型有什么用。。。 ...
一针见血了 用来告诉别人我部署过了，然后再删掉（我就这么干过），哈哈哈 怎么这么软.. 广告无疑，懂本地化部署的都知道部署8B和14B纯粹是来搞笑的。 感谢分享！~ 10个token /S 是不是 每个回答都得 喝杯茶才能出结果了 还以为是哪家395的mini主机出货了......原来是残血版啊 14B效果都很差,更何况7B、8B 老年人的不懂就问：
（1）我的需求——把一堆文献扔到某个工具里，然后让它帮我找到能解决问题的哪个，或者给个思路，Deepseek能否胜任这个工具？
（2）如果Deepseek或者某个**之类的工具能解决这个问题，而我又想部署到本地，那我大概需要多少B？对应的配置又应该是什么样子的？
（3）楼上好几位说7B 14B根本解决不了问题，那我想知道32B或者多少B能解决问题吗？如果能，32B需要上到什么配置？
年纪大了，张口闭口BBB的，感觉自己一点B数都没有，[吐槽][流汗]
补充一下，我对时长不在乎，只要不是以天计。 不是，软广味太冲了吧？我以为是docker部署镜像＋权重文件的深度计算环境部署呢，结果你就给我来个这？14B的模型和人工智障差不多真能用？自己一个人用至少也得32B q4吧？ 插眼 deepseek 本地部署眼 广告味道太重了
同时。。蒸馏版本，不如不部署
我是万万没想到，32G内存 没显卡的东西能蹭到R1的流量？？？ StevenG 发表于 2025-3-17 17:05
小主机的推广介绍都这么卷了嘛，以后除了3dm，游戏，还要测llm？
合格的二楼.但是说实话是不好的. 这个详细啊，学习一下，谢谢分享 SER8用户飘过，wifi蓝牙信号差到没法用，后悔死 看到一半感觉到事情不简单。。。 部署过的都知道，16B的都跟智障一样。图文还弄了两遍，复制粘贴的吧 Rainwolf_Q 发表于 2025-3-18 10:51
老年人的不懂就问：
（1）我的需求——把一堆文献扔到某个工具里，然后让它帮我找到能解决问题的哪个，或 ...
你需要的最最基础解决办法就是文档索引工具，FileLocatorPro，DtSearch WEB 、桌面版等都可以做到，在0.X秒内找到想要的关键词。