找回密码
 加入我们
搜索
      
查看: 10980|回复: 128

[软件] 目前的情况,如果想本地部署一个和网络api水平近似的大模型满血版,成本大概多少?

[复制链接]
发表于 2025-9-10 22:57 | 显示全部楼层
帮你问了一下DS,它这么说的:

轻量级推理/实验        1-2 张 NVIDIA A100 (80GB) 或 2-4 张 RTX 4090        $11,000 - $20,000 (约人民币 8-15万)        适用于参数较小的模型(如70亿参数)、原型验证或低并发场景。
标准级部署        4-8 张 NVIDIA A100 (80GB)        $45,000 - $90,000 (约人民币 32-65万)        适用于中等规模模型(如数百亿参数),能处理一定的并发请求,平衡性能与成本。
高性能/千亿参数        16+ 张 NVIDIA A100/H100 (80GB)        $170,000+ (约人民币 120万元以上)        适用于千亿参数的全量模型、高并发或低延迟要求的商业场景,需组建计算集群。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-10-30 04:49 , Processed in 0.007329 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表