hx370跑大模型的速度是不是有问题？

shalei2004 · 发表于 2025-4-12 23:59

tutupc 发表于 2025-4-12 23:55
我觉得32g都没必要，8845足以

那个最多部署个14B吧

某人的马甲 · 发表于 2025-4-13 00:00

ROCM目前还不支持HX370。。

gartour · 发表于 2025-4-13 00:03

很多人都没明白，说“显存小”，指的是gddr那种高带宽的显存小，并不是光有容量就能跑ai了。没有带宽为前提，大容量显存等于0.

tutupc · 发表于 2025-4-13 09:22

gartour 发表于 2025-4-13 00:03
很多人都没明白，说“显存小”，指的是gddr那种高带宽的显存小，并不是光有容量就能跑ai了。没有带宽为前提 ...

是啊，花钱买教训

laucsky · 发表于 2025-4-13 09:26

那个废物NPU为什么是0% 哈哈
AI个寂寞

pingji · 发表于 2025-4-13 09:32

tutupc 发表于 2025-4-7 15:53
我还特地买的64g版，划分48g显存，跑出来跟cpu完全没区别，看起来可能GPU有一点点加速 ...

你划过去多少他本质也是内存不是显存，带宽差太远了

gartour · 发表于 2025-4-13 14:11

tutupc 发表于 2025-4-13 09:22
是啊，花钱买教训

买前看看评测就知道的。

AI MAX 395 内存带宽翻倍，划96GB，一样跑不动

大头吃小头 · 发表于 2025-4-13 14:15

显存带宽硬伤，期待AMD出个12通道的超级apu

Amarillys · 发表于 2025-4-13 16:09

核显跑，用vulkan吗
至少核显功耗低吧

unist · 发表于 2025-4-13 16:22

核心集成GPU跑大模型，听起来是AI MAX 395的领域

账号		自动登录	找回密码
密码			加入我们

[CPU] hx370跑大模型的速度是不是有问题？