跟风在家用主力电脑上用了deepseek，正如坛友们所说

powerduke

deepseek太火了，全网的安装教程铺天盖地可见大家都想本地跑跑，软件也很傻瓜，lm studio或者ollama，直接下载搞搞就可以感受deepseek了，还可以试试无限制的模型写写小x文，自己主力机16G显存+32G内存，这个主流家用电脑跑deepseek感受下来：

1. 显存装的下的模型跑起来才舒服，速度有5x个token/s，再看看爆显存的模型只有8个token/s就很不爽了，看着那么多更大的模型有那么一瞬间想搞个大显存的卡来用了。

2. lm studio上满血deepseek尺寸有大几百G了，要想体验舒服，不上几十个token/s是不够的，看坛友讨论相对连接的廉价cpu+大内存方案只有几个token，cpu+gpu各跑一半效率，内存基本占满，这效率不上也罢。

3. 所谓无码模型、无倾向模型、**模型等等，个人无非是猎奇玩玩了，让AI写一段金庸和小龙女的xx场景，什么智能硬编都挺为难的

4. 模型那么多，有基于已有模型蒸馏的、有基于几位量化的、有面向编程的、有面向法律医疗的的，资源消耗根本没有尽头，个人真的要作为有效的辅助工具使用，只要关注现有手头硬件能跑的模型是否满足需要就够了，那些数笔画、问精确数字、量化等问题的讨论评估，对于这类基于统计、概率概念的AI模型来说完全是南辕北辙的做法，因为后者根本做不到，也没必要做到，能回答正确99%的常态化语言信息就已经是很好的工具了。

singfw

金庸和小龙女的XX场景。。。

dfdf44

为啥本地部署，为了隐私？

chrisein

singfw 发表于 2025-2-19 16:17
金庸和小龙女的XX场景。。。

我最感兴趣的也是这一句

powerduke

chrisein 发表于 2025-2-19 16:40
我最感兴趣的也是这一句

你正好回答了上面哪位问为什么要本地部署，人性使然啊

260_

“金庸和小龙女的xx场景”多么小众的文字

04DVzr

你这不叫deepseek模型，叫经过r1蒸馏的qwen

把蒸馏模型叫成deepseek r1，就像是把“硕士毕业的老师教学的初中毕业生”叫成“硕士生”一样搞笑

raiya

本地部署主要是为了涩涩内容。这玩意儿智力低的时候，男女不分，没有记忆力。你不能用他一次性写超过100个字，否则基本就是胡说八道。

powerduke

04DVzr 发表于 2025-2-19 16:49
你这不叫deepseek模型，叫经过r1蒸馏的qwen

把蒸馏模型叫成deepseek r1，就像是把“硕士毕业的老师教学的 ...

其实叫啥都行，lm studio上这样显示的模型名称，有不同意见可以给lm studio反馈嘛

ONEChoy

a本地i。。。西嗨。。。

gooker

70b包含 以下都不行

marcobai

想炒高显卡价格？

gmlee1999

本地的太弱鸡了。个人老实付费。

明镜止水

金庸和小龙女的XX场景。。。

采花郎

请教，这个DS模型，在你的平台，能让他输出音频吗？
打个比方，我和DS语音聊天

秦南瓜

等前沿大佬们继续优化迭代吧！希望未来能像运行游戏一样，大部分资源可以不用一次性加载，那就再好不过了。

mypchas6fans

采花郎 发表于 2025-2-20 08:44
请教，这个DS模型，在你的平台，能让他输出音频吗？
打个比方，我和DS语音聊天 ...

这个我理解不是模型的能力，或者说不需要是。
接一个TTS肯定有人做了，消耗也不会很大

powerduke

采花郎 发表于 2025-2-20 08:44
请教，这个DS模型，在你的平台，能让他输出音频吗？
打个比方，我和DS语音聊天 ...

你说的应该是类似豆包的语音直接交互的功能是吧，局限于我只装了ollama(命令行模式下的文字交互)和lm studio(比较方便的app，整合了文字交互、模型下载等功能)，应该是没有直接语音输出的功能。

楼上网友提的我也认同，文字转语音不一定是ai的功能，有整合软件支持的话一定可以实现文字转语音。如果有多模态ai模型的话，是可以实现文字直接到语音数据输出的，只是deepseek模型应该不是多模态的，应该还是基于文字的。

powerduke

秦南瓜 发表于 2025-2-20 08:46
等前沿大佬们继续优化迭代吧！希望未来能像运行游戏一样，大部分资源可以不用一次性加载，那就再好不过了。 ...

这次全民大狂欢式的本地部署“大模型”，本质也是降低了硬件运行门槛，让更多人可以体验下相对以往接近openai水平的模型在本地运行的效果，cpu+gpu+内存可以一起上，比起以往只能gpu跑推理严重受限于显存大小。

应用这类ai模型的大前提还是：推理是基于训练好的模型参数+输入的计算结果，模型数据不一次加载，就变成了cpu+gpu+内存+nvme的模式，受限于又多了个硬盘速度和带宽限制，这推理速度不敢想啊

秦南瓜

powerduke 发表于 2025-2-20 12:15
这次全民大狂欢式的本地部署“大模型”，本质也是降低了硬件运行门槛，让更多人可以体验下相对以往接近op ...

让全民对ai的认知上一个台阶是好事。
硬件瓶颈总会有办法的，比如近期ktransformer。老百姓能负担得起跑671b了，10~14token，后面还会有更多优化

powerduke

秦南瓜 发表于 2025-2-20 12:59
让全民对ai的认知上一个台阶是好事。
硬件瓶颈总会有办法的，比如近期ktransformer。老百姓能负担得起跑6 ...

希望是双向奔赴，家用pc性能越来越强，模型越来越小越高效准确。

以后deepseek也可以成为steam上的免费一员，用来做benchmark也不是不行，内存小的用1.5B，大的无上限满血模型走起。

我輩樹である

采花郎 发表于 2025-2-20 08:44
请教，这个DS模型，在你的平台，能让他输出音频吗？
打个比方，我和DS语音聊天 ...

装一个page assist的chrome插件。

fairness

我輩樹である 发表于 2025-2-20 13:14
装一个page assist的chrome插件。

这么简单就可以语音了？

我輩樹である

fairness 发表于 2025-2-20 13:28
这么简单就可以语音了？

你试试就知道了。stt tts 联网rag。

记得在设置里面改一下中文识别。