Chiphell - 分享与交流用户体验

标题: 远离本地部署，API访问性能天花板 [打印本页]

作者: hawie 时间: 2025-3-8 11:22
标题: 远离本地部署，API访问性能天花板
本帖最后由 hawie 于 2025-3-8 11:24 编辑

关键字：
DeepSeek-R1 671b，非量化；
128KB上下文（真正满血）；
tokens生成速度，比百度、硅基、元宝、豆包…，体感至少快十倍，不是一个量级。

输出质量：
吊打同是（声称）满血服务的其他各平台。
见后面附图，提问内容为，从CHH本坛收集的两道题。
题一，

有100堆外观相同的金币，每堆100个。其中某一堆中的所有金币都是假币，而其他堆中的所有金币都是真币，每枚真币重10克，每枚假币重11克。你有一台最大称重50Kg的电子秤可以称重，那么要识别出有假币的那一堆，最少需要几次称重？

题二，

我在打麻将，现在手里有如下牌：1张幺鸡，1张2条，2张3条，3张4条，1张5条，1张6条，2张7条，1张8条，1张9条。请问我听哪几张牌。

收费：
一年全免，传言后续也不收。

反观：
国内各大运营平台提供的API服务，最高的只提供64KB上下文。而且已经收费，或者纷纷表示开始收费。

感受：
明明DeekSeek-R1是国人的骄傲，为何没有一个服务平台，格局能比老外强一点？
以上，是这段时期各个平台折腾对比之后的感受，大家不用再把精力放这方面了，特分享。

附图（以下内容是连续的，只是分块截图）：
(, 下载次数: 54)
(, 下载次数: 73)
(, 下载次数: 39)
(, 下载次数: 63)
(, 下载次数: 49)
(, 下载次数: 75)
注：
这里关于上下文的回答，与部署时所示128K参数一致。
这个平台的名字叫，Microsoft Azure，部署时不要采用serverless模式。

·END·

作者: manwomans 时间: 2025-3-8 11:23
火山引擎就挺快的

作者: 8owd8wan 时间: 2025-3-8 11:29
这个挺贵的

作者: 8owd8wan 时间: 2025-3-8 11:30
啊？免费？我去看看……

作者: loughlion 时间: 2025-3-8 11:37
要注册，好像有期限，超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗？目前免费。
阿里云刚发布没两天的QwQ，性能已经赶上R1满血版了，本地部署成本比R1版低得多，64G内存就能跑了

作者: forfans 时间: 2025-3-8 11:40
免一年，下周上班看看

作者: hawie 时间: 2025-3-8 11:43

loughlion 发表于 2025-3-8 11:37
要注册，好像有期限，超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗？目前免费。
阿里云刚发布没两天 ...

目前免费期限一年，后续收费等你人工点选同意才计费。
元宝没有API访问，只能自身客户端。
阿里QwQ第一时间去官网试了，吹爆打满血671b，却连同为32b的R1也不如，一测就知道。本地也部署了一个，效果不如R1，准备删掉。

作者: loughlion 时间: 2025-3-8 11:52

hawie 发表于 2025-3-8 11:43
目前免费期限一年，后续收费等你人工点选同意才计费。
元宝没有API访问，只能自身客户端。
阿里QwQ第一时 ...

我也本地部署了qwq，我觉得它比r1 32b好一点

作者: hawie 时间: 2025-3-8 11:58

loughlion 发表于 2025-3-8 11:52
我也本地部署了qwq，我觉得它比r1 32b好一点

探讨一下，觉得好一点的，是问的哪个方面？
我用平常相同的问题，测试对比，明显不如r1。

作者: loughlion 时间: 2025-3-8 12:04

hawie 发表于 2025-3-8 11:58
探讨一下，觉得好一点的，是问的哪个方面？
我用平常相同的问题，测试对比，明显不如r1。 ...

https://www.chiphell.com/thread-2678380-1-1.html

作者: hantty 时间: 2025-3-8 12:35

明明DeekSeek-R1是国人的骄傲，为何没有一个服务平台，格局能比老外强一点？

小平台这么说还可以，但是你给的这个是全球老大啊打不过不很正常

作者: 8owd8wan 时间: 2025-3-8 13:05

hawie 发表于 2025-3-8 11:43
目前免费期限一年，后续收费等你人工点选同意才计费。
元宝没有API访问，只能自身客户端。
阿里QwQ第一时 ...

自从CloseAI拒绝提供O1给微软后，那半年，微软真的挺憋屈的。
DeepSeek R1，让微软大仇得报

作者: kk321 时间: 2025-3-8 13:15
有教程嘛请问

作者: davidking 时间: 2025-3-8 13:17
为什么要远离本地部署？本地部署的意义就是不联网处理涉密信息

作者: amagene 时间: 2025-3-8 13:17
即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量（可随时取消）。
你的为什么是1年？

作者: trashgod 时间: 2025-3-8 13:25
Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过。
Azure这个云服务体系做得比阿里云和AWS感觉都烂不少。

你问他上下文多少，知识库到什么时候。他直接忽略了你第一个问题，有点逗啊

作者: mrs 时间: 2025-3-8 13:36
为什么我二月份注册的只有一个月的免费期？免费额度是$200

作者: hawie 时间: 2025-3-8 14:06

mrs 发表于 2025-3-8 13:36
为什么我二月份注册的只有一个月的免费期？免费额度是$200

$200 free, 30 天内使用。常用服务365天免费，超过55项服务始终免费。R1部署时提示始终免费。

作者: hawie 时间: 2025-3-8 14:10

trashgod 发表于 2025-3-8 13:25
Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过 ...

注册的时侯有点抽风。使用时不用**。国外ai平台其他的closeai、gemini之类一直得翻才能用。

作者: hawie 时间: 2025-3-8 14:11

amagene 发表于 2025-3-8 13:17
即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量（可随时取消）。
你的为什么是1年？ ...

按服务区分。后面有提示，常用服务365天免费，超过55项服务始终免费。R1部署时提示始终免费。

作者: hawie 时间: 2025-3-8 14:13

hantty 发表于 2025-3-8 12:35
小平台这么说还可以，但是你给的这个是全球老大啊打不过不很正常

当心百度、阿里、腾讯、字节说你小看他们……。

作者: mrs 时间: 2025-3-8 14:13
我使用了几个平台对比下来发现，微软的对ZZ敏感问题不予回答，别的平台使用穿甲弹提示词后都能正常对话

作者: kk321 时间: 2025-3-8 14:20
我刚刚部署了个AZURE的，感觉不是满血版
一个汉字具有左右结构，左边是木，右边是乞。这个字是什么?只需回答这个字即可。
这个问题回答不出来

作者: mrs 时间: 2025-3-8 14:27
清除上下文，两次回答不一样是咋回事？

(, 下载次数: 42)

作者: hawie 时间: 2025-3-8 14:30

kk321 发表于 2025-3-8 14:20
我刚刚部署了个AZURE的，感觉不是满血版
一个汉字具有左右结构，左边是木，右边是乞。这个字是什么?只需 ...

文末有提示，部署时不要采用serverless模式。
(, 下载次数: 51)

作者: mrs 时间: 2025-3-8 14:30
一个说知识截至24年7月，一个说知识截至24年1月，这么不严谨的么？是deepseek的问题还是微软的问题？

作者: kk321 时间: 2025-3-8 14:35

hawie 发表于 2025-3-8 14:30
文末有提示，部署时不要采用serverless模式。

请问哪里确定不是serverless 方便创建的时候截个图看看吗吗

作者: hawie 时间: 2025-3-8 14:42

kk321 发表于 2025-3-8 14:35
请问哪里确定不是serverless 方便创建的时候截个图看看吗吗

默认创建的是serverless。
关键步骤大致是：登录后，右上角梯形图标（预览功能），打开/重新打开“将模型部署到 Azure AI 模型推理服务”，然后，模型广场中选取DeepSeek-R1，部署。
验证：
你能用openai api访问，就不是serverless的了。

作者: hawie 时间: 2025-3-8 14:46

mrs 发表于 2025-3-8 14:30
一个说知识截至24年7月，一个说知识截至24年1月，这么不严谨的么？是deepseek的问题还是微软的问题？ ...

这是大模型的普遍状态，多问几遍，甚至可能告诉你它是OpenAI。这些大模型相互用别家的数据蒸馏，什么都可能发生。

作者: tianjie 时间: 2025-3-8 14:59
好像没有serverless模式选

作者: powerduke 时间: 2025-3-8 15:00
本帖最后由 powerduke 于 2025-3-8 15:04 编辑

hawie 发表于 2025-3-8 14:46
这是大模型的普遍状态，多问几遍，甚至可能告诉你它是OpenAI。这些大模型相互用别家的数据蒸馏，什么都可 ...

讨论一下。

这个是有比较清晰地解释，不是蒸馏的原因，因为满血版是通过互联网文本数据训练语言相关内容，而22年最早的llm chat**上市后大量的询问类似"你是谁"的问题，而基于llm这类大模型的技术框架，概率高的答案必然最容易出现。

deepseek采用的grpo，也不过是回答16个方案下，选取出现最多的那个答案作为reward的正确答案参考，本质还是概率。归根到底，还是数据中的概率问题。

补充一下，reward采用啥，是这几年llm发展，google、openai、deepmind的一些论文讨论的很多，因为这个是RL中的难点，

作者: mrs 时间: 2025-3-8 15:00

hawie 发表于 2025-3-8 14:46
这是大模型的普遍状态，多问几遍，甚至可能告诉你它是OpenAI。这些大模型相互用别家的数据蒸馏，什么都可 ...

学习了，谢谢

作者: mrs 时间: 2025-3-8 15:07

powerduke 发表于 2025-3-8 15:00
讨论一下。

这个是有比较清晰地解释，不是蒸馏的原因，因为满血版是通过互联网文本数据训练语言相关内容 ...

谢谢分享

作者: yangyang00131 时间: 2025-3-8 15:31
本地部署更为是为了不shemi

作者: pdww269hit 时间: 2025-3-8 20:43

loughlion 发表于 2025-3-8 11:37
要注册，好像有期限，超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗？目前免费。
阿里云刚发布没两天 ...

问qwq第一个问题直接答错了，干掉我2w tokens

作者: loughlion 时间: 2025-3-8 21:02

pdww269hit 发表于 2025-3-8 20:43
问qwq第一个问题直接答错了，干掉我2w tokens

我和你体验相反

作者: robles 时间: 2025-3-9 08:56
试试下边这道题，很多号称满血的跑几分钟就没下文了或者得出错误答案，原版没问题，大概跑7、8分钟能得出正确答案:三分之根号三。
-----------------------------------------------------------------------------------------------------------------------------
在平面四边形ABCD中，AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。将\triangle ACD沿AC翻折至\triangle ACP，其中P为动点。求二面角A - CP - B的余弦值的最小值。

作者: hawie 时间: 2025-3-9 09:56

robles 发表于 2025-3-9 08:56
试试下边这道题，很多号称满血的跑几分钟就没下文了或者得出错误答案，原版没问题，大概跑7、8分钟能得出正 ...

(, 下载次数: 56)

答案正确，
看到最后一行，没把格式显示出来，这应该算是客户端的问题。于是重新算了一遍，也是一样，结果也对，看来客户端要更新了。
(, 下载次数: 34)

很高兴又收集到一道这样的题。谢谢了。

作者: taichow 时间: 2025-3-9 11:30
按照网上的部署方式，不知为何都是“DeepSeek-R1 的无服务器 API 部署”。找不到其他方式。

作者: taichow 时间: 2025-3-11 01:02

taichow 发表于 2025-3-9 11:30
按照网上的部署方式，不知为何都是“DeepSeek-R1 的无服务器 API 部署”。找不到其他方式。 ...

谢谢！发现开始收费了。
DeepSeek R1 定价

通过这些优化，DeepSeek R1 现在提供了良好的性价比。无论您是构建聊天机器人、文档摘要工具还是 AI 驱动的搜索体验，您都可以以具有竞争力的成本获得高质量的模型，从而更轻松地扩展 AI 工作负载，而不会花费大量资金。

型号 SKU 以美元（1K 代币）为单位的输入定价以美元为单位的输出定价（1K 代币）
DeepSeek-R1 全球版 0.00135 美元 0.0054 美元
DeepSeek-R1 区域 0.001485 美元 0.00594 美元

作者: YsHaNg 时间: 2025-3-11 05:35
好麻烦 azure ai foundry openai api和普通的openai api还不一样得用LiteLLM转译才能在open webui里用算了我还是去薅Google羊毛吧反正Gemini2.0pro也是免费用

作者: ckee 时间: 2025-3-11 06:51

taichow 发表于 2025-3-11 01:02
谢谢！发现开始收费了。
DeepSeek R1 定价

楼主还没吹完呢就收费了

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)