昨天在本地部署了deepseek r1-8b\14b\32b

loughlion

win11，137K 默频，64G D4 3200，2060 12G，试了deepseek r1-8b\14b\32b，
以前没玩过本地化ai模型，暂时只能拿小说测试，8b还挺流畅，14b能感觉明显比8b慢一点，32b就慢得有点难受了，感觉14b是个比较好的平衡点
用32b跑小说的时候，后台查看资源占用，发现cpu占用大约47%~50%，内存占用33%，12G显存占用10.5G，还有给共享显存占用10G。

loughlion

iMARS 发表于 2025-2-1 09:12
我也想玩玩试试，这个吃哪个配置？我149ks、96g 6800c34、4090

你看我的配置应该能发现，对显卡要求不高，我的2060都能勉强跑得动32b

loughlion

Miner 发表于 2025-2-1 09:35
32b 什么版本？4位量化？

就ollama提供的32b版本

loughlion

dikuf001 发表于 2025-2-1 09:47
本地部署deepseek，这才叫生产力啊， 天天跑小说训练，时间一长，用deepseek写网文，出个爆款，发财了？ ...

指望这个发财等于白日做梦。
只是刚接触这个，不知道能干点啥

loughlion

syringalibra 发表于 2025-2-1 10:39
下载LM Studio，搜索deepseek R1，选择适配的模型（有绿色标签即可用）
https://lmstudio.ai/ ...

我是用ollama，LM studio和ollama有什么不同呢？

loughlion

syringalibra 发表于 2025-2-1 11:50
LM Studio图形界面，设置起来容易一点，比如CPU和GPU的加载分配等等，其他和ollama没什么区别 ...

我也用了图形界面，chatbox的，ollama+chatbox会不会比LM Studio资源占用多？要是换LM是不是要收费啊？

loughlion

YsHaNg 发表于 2025-2-1 19:00
那你少了个ollama很强的前端 open webui是御用的 原名叫ollama webui 有前后端打包一键跑
docker run -d  ...

open webui昨天也尝试安装了，后来听说这个操作需要7*24小时运行，否则意义不大，我没什么外网访问家里主机的需求，就放弃了

loughlion

syringalibra 发表于 2025-2-1 14:24
LM基础版是免费的，资源占用来说应该差不多吧，LM适合大模型尝鲜，即开即用 ...

下午试了LM，但是安装之后搜索deepseek，能搜到的最大就是8b，而且还找不到怎么安装model

loughlion

chh-carter 发表于 2025-2-2 15:46
不会啊，我刚搜了，很多几百个gb的大模型啊