看到有人烂炒本地部署deepseek带动显卡消费我就想笑

04DVzr

1：本地单卡部署的都是r1的蒸馏模型，部署的是经过智商150的r1训练过的智商60的小模型，最多就是个玩具，实际效果远不如r1一根；
2：部署完整r1有两种方法：
        1是买h800 h100集群，10张80g h100大概两百万，跟游戏卡屁关系没有；
        2是用KTransformers框架，能塞下q8量化需要670g以上内存，此外需要用到一张显卡。光是内存和server平台的价格就够劝退一堆人。此外，4090 48g仅需要两万二。真要本地部署完整版r1，有哪个弱智会放着两万块钱48g显存的卡不买，去买5090 5080？
3：个人用户用api的开销远低于本地部署。5080一张卡就按msrp算，8000块钱，够买十亿个token。普通人按一星期烧100万token算（绝大多数人用不到），够用1000星期，相当于20年。更不要说新模型发布后云平台可以随时跟进。相比api，本地部署性价比差的离谱

求求你们换个方法烂炒显卡吧，张口就是本地部署deepseek真的暴露智商

明月路小霸王

最近怎么多了这么多这种小号？

amagene

显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来，
5月份也有老黄家的3000美元的project digits，量化版的满血很轻松
如果喜欢用苹果的，等几个月，估计不到4万轻松能上量化版的满血。不等，需要5万上1.5B。
现在17000左右苹果机子，轻松上70B的蒸馏模型

atiufo

这玩意儿就像当初的AI画图那样，对大多数人来说就是图一乐

knd

amagene 发表于 2025-2-19 15:58
显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来 ...

等等党永远不亏，目前的重新买硬件确实没有性价比。买的t10计算卡大概率吃灰了，部署了还是远不如api跑的快

chiyiangel

很多场景下 本地部署的考虑是 安全>效果

VariedValiance

chiyiangel 发表于 2025-2-19 16:15
很多场景下 本地部署的考虑是 安全>效果

哥们，那是公司考虑的事情，个人用户掺和个毛……网页版和API对你哪里不安全了，你是各国政要还是咋滴，公司直接找代理商买机架式服务器，里面插的也是计算卡，谁要RTX40系、50系啊

意念中的空气

说大实话又有人不乐意了，影响他的持卡情绪价值，用过deepseek都不知道有几个，更别说去部署这么复杂的操作。

新城

有没有可能是这个新闻导致的???
本来想等破发买...结果破防了...

pingji

VariedValiance 发表于 2025-2-19 16:16
哥们，那是公司考虑的事情，个人用户掺和个毛……网页版和API对你哪里不安全了，你是各国政要还是咋滴， ...

一台8卡240w和100张卡240w你选哪个，别说什么报账之类的事，在这种价差面前那都不是问题，当国企呢这么正规……

大Fuzz

现在不是又出了个gork3吗

毛茸茸

新城 发表于 2025-2-19 16:18
有没有可能是这个新闻导致的???
本来想等破发买...结果破防了...

内存占用380G，这是个人用户能看的吗？

fzyw

deepseek不是已经暂停api充值了吗？

a010301208

大Fuzz 发表于 2025-2-19 16:27
现在不是又出了个gork3吗

没开源，不过在我看来本地部署个人的话主要还是玩R18，毕竟R18是第一生产力

叶子烟

新城 发表于 2025-2-19 16:18
有没有可能是这个新闻导致的???
本来想等破发买...结果破防了...

成本【不到7万】关游戏佬屁事。。。

shiangyeh

厂商也在炒啊，好不容易又遇到一个热点，肯定是赶紧炒作多卖点卡

fhhghost

个人本地部署不就是玩玩而已么 谁认真谁是nt

04DVzr

atiufo 发表于 2025-2-19 16:06
这玩意儿就像当初的AI画图那样，对大多数人来说就是图一乐

ai画图12g显存能玩，16g舒适；llm 70b（q8量化占用70g显存）的模型都是弱智，更别说现在一堆人往电脑上装的14b了。
把蒸馏模型当r1真的暴露智力

yopmai

amagene 发表于 2025-2-19 15:58
显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来 ...

这个的确是，后续方向是内存一体化的小主机，

M4 Ultra 、AMD和Nvidia小主机

价格便宜，跑跑本地推理够用

saga1974

本地玩AI不是2080Ti 22G才是王道么。比16G的残废游戏卡好多了

wangzorro

普通人压根用不到DS本地部署的红利，现在各种AI满天飞，哪里用得到你本地部署。没必要

toddler

6.1 的小号全是储备用途啊

gartour

别人只是分析一下原因而已，不用这么激动。

sak2024

lyys

ollama的32B，它繁的12画是来自它的知识库，它说引用的是3本权威书里的，繁就是12画。然后为了证明繁就是12画，拼命的推理。。。。然后我告诉它，爱因斯坦数了都是17画，它判断我在说笑话，因为3本权威书里写的清清楚楚，就是12画

chiyiangel

VariedValiance 发表于 2025-2-19 16:16
哥们，那是公司考虑的事情，个人用户掺和个毛……网页版和API对你哪里不安全了，你是各国政要还是咋滴， ...

当然不完全是啊，单位并不会100%解决你的大模型需求，本地跑的也不用完全满血；比如体制内单位有些材料就不适合上传到公网但又需要通过RAG等技术来作为补充输入，单位也不会提供统一的内网部署，这时候你就只有一个选择本地跑量化版（以上场景不是YY出来的 实际情况而已）。

VariedValiance

chiyiangel 发表于 2025-2-20 09:24
当然不完全是啊，单位并不会100%解决你的大模型需求，本地跑的也不用完全满血；比如体制内单位有些材料就 ...

你跑了量化版吗，感觉咋样啊，反正我是受不了跟智障对话的总不能让我自费买5090D上班吧

chiyiangel

VariedValiance 发表于 2025-2-20 09:36
你跑了量化版吗，感觉咋样啊，反正我是受不了跟智障对话的总不能让我自费买5090D上班吧 ...

7900XTX能跑model32B的Q4_K_M，我自己是只跑了14b，是有些弱智但有补充上下文起码不会“瞎说”（尤其涉及到一些数据的时候），有时候写材料足矣。

Saltydog

一开始我部署之后是想看看能不能生成一些涩涩的东西,但是效果堪忧
最近发现gemini几乎没有安全审查机制,那还要本地部署有啥用

lx2bl

Saltydog 发表于 2025-2-20 09:52
一开始我部署之后是想看看能不能生成一些涩涩的东西,但是效果堪忧
最近发现gemini几乎没有安全审查机制,那 ...

所以搞DS是为了那玩意？我啥也不懂