看到有人烂炒本地部署deepseek带动显卡消费我就想笑
本帖最后由 04DVzr 于 2025-2-19 15:36 编辑1：本地单卡部署的都是r1的蒸馏模型，部署的是经过智商150的r1训练过的智商60的小模型，最多就是个玩具，实际效果远不如r1一根；
2：部署完整r1有两种方法：
1是买h800 h100集群，10张80g h100大概两百万，跟游戏卡屁关系没有；
2是用KTransformers框架，能塞下q8量化需要670g以上内存，此外需要用到一张显卡。光是内存和server平台的价格就够劝退一堆人。此外，4090 48g仅需要两万二。真要本地部署完整版r1，有哪个弱智会放着两万块钱48g显存的卡不买，去买5090 5080？
3：个人用户用api的开销远低于本地部署。5080一张卡就按msrp算，8000块钱，够买十亿个token。普通人按一星期烧100万token算（绝大多数人用不到），够用1000星期，相当于20年。更不要说新模型发布后云平台可以随时跟进。相比api，本地部署性价比差的离谱
求求你们换个方法烂炒显卡吧，张口就是本地部署deepseek真的暴露智商 最近怎么多了这么多这种小号？ 显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来，
5月份也有老黄家的3000美元的project digits，量化版的满血很轻松
如果喜欢用苹果的，等几个月，估计不到4万轻松能上量化版的满血。不等，需要5万上1.5B。
现在17000左右苹果机子，轻松上70B的蒸馏模型 这玩意儿就像当初的AI画图那样，对大多数人来说就是图一乐[偷笑] amagene 发表于 2025-2-19 15:58
显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来 ...
等等党永远不亏，目前的重新买硬件确实没有性价比。买的t10计算卡大概率吃灰了，部署了还是远不如api跑的快 很多场景下 本地部署的考虑是 安全>效果 本帖最后由 VariedValiance 于 2025-2-19 16:17 编辑
chiyiangel 发表于 2025-2-19 16:15
很多场景下 本地部署的考虑是 安全>效果
哥们，那是公司考虑的事情，个人用户掺和个毛……网页版和API对你哪里不安全了，你是各国政要还是咋滴，公司直接找代理商买机架式服务器，里面插的也是计算卡，谁要RTX40系、50系啊[雷人] 说大实话又有人不乐意了，影响他的持卡情绪价值，用过deepseek都不知道有几个，更别说去部署这么复杂的操作。 有没有可能是这个新闻导致的???
本来想等破发买...结果破防了...
VariedValiance 发表于 2025-2-19 16:16
哥们，那是公司考虑的事情，个人用户掺和个毛……网页版和API对你哪里不安全了，你是各国政要还是咋滴， ...
一台8卡240w和100张卡240w你选哪个，别说什么报账之类的事，在这种价差面前那都不是问题，当国企呢这么正规…… 现在不是又出了个gork3吗 新城 发表于 2025-2-19 16:18
有没有可能是这个新闻导致的???
本来想等破发买...结果破防了...
内存占用380G，这是个人用户能看的吗？[恶魔] deepseek不是已经暂停api充值了吗？ 大Fuzz 发表于 2025-2-19 16:27
现在不是又出了个gork3吗
没开源，不过在我看来本地部署个人的话主要还是玩R18，毕竟R18是第一生产力 新城 发表于 2025-2-19 16:18
有没有可能是这个新闻导致的???
本来想等破发买...结果破防了...
成本【不到7万】关游戏佬屁事。。。 厂商也在炒啊，好不容易又遇到一个热点，肯定是赶紧炒作多卖点卡 个人本地部署不就是玩玩而已么 谁认真谁是nt atiufo 发表于 2025-2-19 16:06
这玩意儿就像当初的AI画图那样，对大多数人来说就是图一乐
ai画图12g显存能玩，16g舒适；llm 70b（q8量化占用70g显存）的模型都是弱智，更别说现在一堆人往电脑上装的14b了。
把蒸馏模型当r1真的暴露智力 amagene 发表于 2025-2-19 15:58
显卡来本地部署deepseek，确实只适合少部分人，尤其是游戏玩家
不折腾的，等价廉物美效率远超显卡的LPU出来 ...
这个的确是，后续方向是内存一体化的小主机，
M4 Ultra 、AMD和Nvidia小主机
价格便宜，跑跑本地推理够用 本地玩AI不是2080Ti 22G才是王道么。比16G的残废游戏卡好多了 普通人压根用不到DS本地部署的红利，现在各种AI满天飞，哪里用得到你本地部署。没必要 6.1 的小号全是储备用途啊 别人只是分析一下原因而已，不用这么激动。 [偷笑] [偷笑] ollama的32B，它繁的12画是来自它的知识库，它说引用的是3本权威书里的，繁就是12画。然后为了证明繁就是12画，拼命的推理。。。。[狂笑]然后我告诉它，爱因斯坦数了都是17画，它判断我在说笑话，因为3本权威书里写的清清楚楚，就是12画[困惑] VariedValiance 发表于 2025-2-19 16:16
哥们，那是公司考虑的事情，个人用户掺和个毛……网页版和API对你哪里不安全了，你是各国政要还是咋滴， ...
当然不完全是啊，单位并不会100%解决你的大模型需求，本地跑的也不用完全满血；比如体制内单位有些材料就不适合上传到公网但又需要通过RAG等技术来作为补充输入，单位也不会提供统一的内网部署，这时候你就只有一个选择本地跑量化版（以上场景不是YY出来的 实际情况而已）。 chiyiangel 发表于 2025-2-20 09:24
当然不完全是啊，单位并不会100%解决你的大模型需求，本地跑的也不用完全满血；比如体制内单位有些材料就 ...
你跑了量化版吗，感觉咋样啊，反正我是受不了跟智障对话的[偷笑]总不能让我自费买5090D上班吧 VariedValiance 发表于 2025-2-20 09:36
你跑了量化版吗，感觉咋样啊，反正我是受不了跟智障对话的总不能让我自费买5090D上班吧 ...
7900XTX能跑model32B的Q4_K_M，我自己是只跑了14b，是有些弱智但有补充上下文起码不会“瞎说”（尤其涉及到一些数据的时候），有时候写材料足矣。
一开始我部署之后是想看看能不能生成一些涩涩的东西,但是效果堪忧
最近发现gemini几乎没有安全审查机制,那还要本地部署有啥用[可爱] Saltydog 发表于 2025-2-20 09:52
一开始我部署之后是想看看能不能生成一些涩涩的东西,但是效果堪忧
最近发现gemini几乎没有安全审查机制,那 ...
所以搞DS是为了那玩意？[偷笑]我啥也不懂
页:
[1]
2