hawie 发表于 2025-3-8 11:22

远离本地部署,API访问性能天花板

本帖最后由 hawie 于 2025-3-8 11:24 编辑

关键字:
DeepSeek-R1 671b,非量化;
128KB上下文(真正满血);
tokens生成速度,比百度、硅基、元宝、豆包…,体感至少快十倍,不是一个量级。

输出质量:
吊打同是(声称)满血服务的其他各平台。
见后面附图,提问内容为,从CHH本坛收集的两道题。
题一,
有100堆外观相同的金币,每堆100个。其中某一堆中的所有金币都是假币,而其他堆中的所有金币都是真币,每枚真币重10克,每枚假币重11克。你有一台最大称重50Kg的电子秤可以称重,那么要识别出有假币的那一堆,最少需要几次称重?题二,
我在打麻将,现在手里有如下牌:1张幺鸡,1张2条,2张3条,3张4条,1张5条,1张6条,2张7条,1张8条,1张9条。请问我听哪几张牌。
收费:
一年全免,传言后续也不收。

反观:
国内各大运营平台提供的API服务,最高的只提供64KB上下文。而且已经收费,或者纷纷表示开始收费。

感受:
明明DeekSeek-R1是国人的骄傲,为何没有一个服务平台,格局能比老外强一点?
以上,是这段时期各个平台折腾对比之后的感受,大家不用再把精力放这方面了,特分享。

附图(以下内容是连续的,只是分块截图):






注:
这里关于上下文的回答,与部署时所示128K参数一致。
这个平台的名字叫,Microsoft Azure,部署时不要采用serverless模式。

·END·

manwomans 发表于 2025-3-8 11:23

火山引擎就挺快的

8owd8wan 发表于 2025-3-8 11:29

这个挺贵的

8owd8wan 发表于 2025-3-8 11:30

啊?免费?我去看看……

loughlion 发表于 2025-3-8 11:37

要注册,好像有期限,超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗?目前免费。
阿里云刚发布没两天的QwQ,性能已经赶上R1满血版了,本地部署成本比R1版低得多,64G内存就能跑了

forfans 发表于 2025-3-8 11:40

免一年,下周上班看看

hawie 发表于 2025-3-8 11:43

loughlion 发表于 2025-3-8 11:37
要注册,好像有期限,超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗?目前免费。
阿里云刚发布没两天 ...

目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时间去官网试了,吹爆打满血671b,却连同为32b的R1也不如,一测就知道。本地也部署了一个,效果不如R1,准备删掉。

loughlion 发表于 2025-3-8 11:52

hawie 发表于 2025-3-8 11:43
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时 ...

我也本地部署了qwq,我觉得它比r1 32b好一点

hawie 发表于 2025-3-8 11:58

loughlion 发表于 2025-3-8 11:52
我也本地部署了qwq,我觉得它比r1 32b好一点

探讨一下,觉得好一点的,是问的哪个方面?
我用平常相同的问题,测试对比,明显不如r1。

loughlion 发表于 2025-3-8 12:04

hawie 发表于 2025-3-8 11:58
探讨一下,觉得好一点的,是问的哪个方面?
我用平常相同的问题,测试对比,明显不如r1。 ...

https://www.chiphell.com/thread-2678380-1-1.html

hantty 发表于 2025-3-8 12:35

明明DeekSeek-R1是国人的骄傲,为何没有一个服务平台,格局能比老外强一点?
小平台这么说还可以,但是你给的这个是全球老大啊打不过不很正常[吐槽]

8owd8wan 发表于 2025-3-8 13:05

hawie 发表于 2025-3-8 11:43
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时 ...

自从CloseAI拒绝提供O1给微软后,那半年,微软真的挺憋屈的。
DeepSeek R1,让微软大仇得报

kk321 发表于 2025-3-8 13:15

有教程嘛请问

davidking 发表于 2025-3-8 13:17

为什么要远离本地部署?本地部署的意义就是不联网处理涉密信息

amagene 发表于 2025-3-8 13:17

即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量(可随时取消)。
你的为什么是1年?

trashgod 发表于 2025-3-8 13:25

Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过。
Azure这个云服务体系做得比阿里云和AWS感觉都烂不少。

你问他上下文多少,知识库到什么时候。他直接忽略了你第一个问题,有点逗啊[震惊]

mrs 发表于 2025-3-8 13:36

为什么我二月份注册的只有一个月的免费期?免费额度是$200

hawie 发表于 2025-3-8 14:06

mrs 发表于 2025-3-8 13:36
为什么我二月份注册的只有一个月的免费期?免费额度是$200

$200 free, 30 天内使用。常用服务365天免费,超过55项服务始终免费。R1部署时提示始终免费。

hawie 发表于 2025-3-8 14:10

trashgod 发表于 2025-3-8 13:25
Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过 ...

注册的时侯有点抽风。使用时不用**。国外ai平台其他的closeai、gemini之类一直得翻才能用。

hawie 发表于 2025-3-8 14:11

amagene 发表于 2025-3-8 13:17
即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量(可随时取消)。
你的为什么是1年? ...

按服务区分。后面有提示,常用服务365天免费,超过55项服务始终免费。R1部署时提示始终免费。

hawie 发表于 2025-3-8 14:13

hantty 发表于 2025-3-8 12:35
小平台这么说还可以,但是你给的这个是全球老大啊打不过不很正常

当心百度、阿里、腾讯、字节说你小看他们……。

mrs 发表于 2025-3-8 14:13

我使用了几个平台对比下来发现,微软的对ZZ敏感问题不予回答,别的平台使用穿甲弹提示词后都能正常对话

kk321 发表于 2025-3-8 14:20

我刚刚部署了个AZURE的,感觉不是满血版
一个汉字具有左右结构,左边是木,右边是乞。这个字是什么?只需回答这个字即可。
这个问题回答不出来

mrs 发表于 2025-3-8 14:27

清除上下文,两次回答不一样是咋回事?


hawie 发表于 2025-3-8 14:30

kk321 发表于 2025-3-8 14:20
我刚刚部署了个AZURE的,感觉不是满血版
一个汉字具有左右结构,左边是木,右边是乞。这个字是什么?只需 ...

文末有提示,部署时不要采用serverless模式。

mrs 发表于 2025-3-8 14:30

一个说知识截至24年7月,一个说知识截至24年1月,这么不严谨的么?是deepseek的问题还是微软的问题?

kk321 发表于 2025-3-8 14:35

hawie 发表于 2025-3-8 14:30
文末有提示,部署时不要采用serverless模式。

请问哪里确定不是serverless方便创建的时候截个图看看吗吗

hawie 发表于 2025-3-8 14:42

kk321 发表于 2025-3-8 14:35
请问哪里确定不是serverless方便创建的时候截个图看看吗吗

默认创建的是serverless。
关键步骤大致是:登录后,右上角梯形图标(预览功能),打开/重新打开“将模型部署到 Azure AI 模型推理服务”,然后,模型广场中选取DeepSeek-R1,部署。
验证:
你能用openai api访问,就不是serverless的了。

hawie 发表于 2025-3-8 14:46

mrs 发表于 2025-3-8 14:30
一个说知识截至24年7月,一个说知识截至24年1月,这么不严谨的么?是deepseek的问题还是微软的问题? ...

这是大模型的普遍状态,多问几遍,甚至可能告诉你它是OpenAI。这些大模型相互用别家的数据蒸馏,什么都可能发生。

tianjie 发表于 2025-3-8 14:59

好像没有serverless模式选
页: [1] 2
查看完整版本: 远离本地部署,API访问性能天花板