求推荐点大容量D5，然后上B850还是Z890

盐湖

平安是福 发表于 2025-10-23 17:43
千问3 30B-A3B默认就只推荐8个专家

它是有128个但只能开8个，你知道80BA3B是几个吗？

盐湖

平安是福 发表于 2025-10-23 17:44
主要我是穷哥们，有钱能全部在gpu里面跑那肯定是最快的，但问题是一张H20可以买几套这种192g+4090/5090的 ...

没推荐买H20，只是因为这个事改变了我之前认为H20价格不符合性能的认识，之前是觉得它性能太低空有大显存没用。

平安是福

盐湖 发表于 2025-10-23 18:44
它是有128个但只能开8个，你知道80BA3B是几个吗？

数据来自huggingface页面

QWEN3 NEXT 80B A3B 专家混合:

    专家人数:512
    活跃专家人数:10人
    共享专家数量:1
    专家中级尺寸:512

平安是福

盐湖 发表于 2025-10-23 18:45
没推荐买H20，只是因为这个事改变了我之前认为H20价格不符合性能的认识，之前是觉得它性能太低空有大显存 ...

所以第二代禁卡令加上了显存速度限制。老黄H20是没有砍显存的，因为大语言模型的推理本身是个内存密集型任务，H20大部分情况核心性能不构成瓶颈。他这个核心算力可能会在预填充阶段受限（很小）

盐湖

平安是福 发表于 2025-10-23 18:50
所以第二代禁卡令加上了显存速度限制。老黄H20是没有砍显存的，因为大语言模型的推理本身是个内存密集型 ...

原来如此，显存速度限制一加，hbm卡大概是没机会放出来了