远离本地部署,API访问性能天花板
本帖最后由 hawie 于 2025-3-8 11:24 编辑关键字:
DeepSeek-R1 671b,非量化;
128KB上下文(真正满血);
tokens生成速度,比百度、硅基、元宝、豆包…,体感至少快十倍,不是一个量级。
输出质量:
吊打同是(声称)满血服务的其他各平台。
见后面附图,提问内容为,从CHH本坛收集的两道题。
题一,
有100堆外观相同的金币,每堆100个。其中某一堆中的所有金币都是假币,而其他堆中的所有金币都是真币,每枚真币重10克,每枚假币重11克。你有一台最大称重50Kg的电子秤可以称重,那么要识别出有假币的那一堆,最少需要几次称重?题二,
我在打麻将,现在手里有如下牌:1张幺鸡,1张2条,2张3条,3张4条,1张5条,1张6条,2张7条,1张8条,1张9条。请问我听哪几张牌。
收费:
一年全免,传言后续也不收。
反观:
国内各大运营平台提供的API服务,最高的只提供64KB上下文。而且已经收费,或者纷纷表示开始收费。
感受:
明明DeekSeek-R1是国人的骄傲,为何没有一个服务平台,格局能比老外强一点?
以上,是这段时期各个平台折腾对比之后的感受,大家不用再把精力放这方面了,特分享。
附图(以下内容是连续的,只是分块截图):
注:
这里关于上下文的回答,与部署时所示128K参数一致。
这个平台的名字叫,Microsoft Azure,部署时不要采用serverless模式。
·END·
火山引擎就挺快的 这个挺贵的 啊?免费?我去看看…… 要注册,好像有期限,超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗?目前免费。
阿里云刚发布没两天的QwQ,性能已经赶上R1满血版了,本地部署成本比R1版低得多,64G内存就能跑了 免一年,下周上班看看 loughlion 发表于 2025-3-8 11:37
要注册,好像有期限,超过期限收费。
腾讯的元宝不是已经接入R1满血版了吗?目前免费。
阿里云刚发布没两天 ...
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时间去官网试了,吹爆打满血671b,却连同为32b的R1也不如,一测就知道。本地也部署了一个,效果不如R1,准备删掉。 hawie 发表于 2025-3-8 11:43
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时 ...
我也本地部署了qwq,我觉得它比r1 32b好一点 loughlion 发表于 2025-3-8 11:52
我也本地部署了qwq,我觉得它比r1 32b好一点
探讨一下,觉得好一点的,是问的哪个方面?
我用平常相同的问题,测试对比,明显不如r1。 hawie 发表于 2025-3-8 11:58
探讨一下,觉得好一点的,是问的哪个方面?
我用平常相同的问题,测试对比,明显不如r1。 ...
https://www.chiphell.com/thread-2678380-1-1.html 明明DeekSeek-R1是国人的骄傲,为何没有一个服务平台,格局能比老外强一点?
小平台这么说还可以,但是你给的这个是全球老大啊打不过不很正常[吐槽] hawie 发表于 2025-3-8 11:43
目前免费期限一年,后续收费等你人工点选同意才计费。
元宝没有API访问,只能自身客户端。
阿里QwQ第一时 ...
自从CloseAI拒绝提供O1给微软后,那半年,微软真的挺憋屈的。
DeepSeek R1,让微软大仇得报 有教程嘛请问 为什么要远离本地部署?本地部署的意义就是不联网处理涉密信息 即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量(可随时取消)。
你的为什么是1年? Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过。
Azure这个云服务体系做得比阿里云和AWS感觉都烂不少。
你问他上下文多少,知识库到什么时候。他直接忽略了你第一个问题,有点逗啊[震惊] 为什么我二月份注册的只有一个月的免费期?免费额度是$200 mrs 发表于 2025-3-8 13:36
为什么我二月份注册的只有一个月的免费期?免费额度是$200
$200 free, 30 天内使用。常用服务365天免费,超过55项服务始终免费。R1部署时提示始终免费。 trashgod 发表于 2025-3-8 13:25
Microsoft Azure好像拒绝给国内IP服务啊。。。tmd上次注册公司账户被拒绝了。。。绕了一圈外面注册的才通过 ...
注册的时侯有点抽风。使用时不用**。国外ai平台其他的closeai、gemini之类一直得翻才能用。 amagene 发表于 2025-3-8 13:17
即付即用或免费试用 Azure 最多 30 天。无前期承诺使用量(可随时取消)。
你的为什么是1年? ...
按服务区分。后面有提示,常用服务365天免费,超过55项服务始终免费。R1部署时提示始终免费。 hantty 发表于 2025-3-8 12:35
小平台这么说还可以,但是你给的这个是全球老大啊打不过不很正常
当心百度、阿里、腾讯、字节说你小看他们……。 我使用了几个平台对比下来发现,微软的对ZZ敏感问题不予回答,别的平台使用穿甲弹提示词后都能正常对话 我刚刚部署了个AZURE的,感觉不是满血版
一个汉字具有左右结构,左边是木,右边是乞。这个字是什么?只需回答这个字即可。
这个问题回答不出来
清除上下文,两次回答不一样是咋回事?
kk321 发表于 2025-3-8 14:20
我刚刚部署了个AZURE的,感觉不是满血版
一个汉字具有左右结构,左边是木,右边是乞。这个字是什么?只需 ...
文末有提示,部署时不要采用serverless模式。
一个说知识截至24年7月,一个说知识截至24年1月,这么不严谨的么?是deepseek的问题还是微软的问题? hawie 发表于 2025-3-8 14:30
文末有提示,部署时不要采用serverless模式。
请问哪里确定不是serverless方便创建的时候截个图看看吗吗 kk321 发表于 2025-3-8 14:35
请问哪里确定不是serverless方便创建的时候截个图看看吗吗
默认创建的是serverless。
关键步骤大致是:登录后,右上角梯形图标(预览功能),打开/重新打开“将模型部署到 Azure AI 模型推理服务”,然后,模型广场中选取DeepSeek-R1,部署。
验证:
你能用openai api访问,就不是serverless的了。
mrs 发表于 2025-3-8 14:30
一个说知识截至24年7月,一个说知识截至24年1月,这么不严谨的么?是deepseek的问题还是微软的问题? ...
这是大模型的普遍状态,多问几遍,甚至可能告诉你它是OpenAI。这些大模型相互用别家的数据蒸馏,什么都可能发生。 好像没有serverless模式选
页:
[1]
2