感觉低成本架设私人AI服务器的时机快成熟了，AMD MI50/MI100大船

KimmyGLM

Miner 发表于 2025-4-16 10:18
1张，跑70b q4，大概7-8tok/s

爆显存了吧，有没 33b q4 的测试数据呀？

闲鱼卖家都帮你测好了，不过既然吹的性能这么强，你猜为啥没有涨很多。

zhuifeng88

KimmyGLM 发表于 2025-4-16 10:24
闲鱼卖家都帮你测好了，不过既然吹的性能这么强，你猜为啥没有涨很多。

...

这并发性能属于是烂完了...毕竟算力那么低

boyinfly

KimmyGLM 发表于 2025-4-16 10:17
V100 可以当游戏卡用啊，TCC改成WDDM 模式就行。

便宜的是sxm2的，家用要上pcie转接卡，加上散热成本远比mi50高，还没显示输出接口，确实不如600多块的mi50刷个镭7的bios方便

zhuifeng88

boyinfly 发表于 2025-4-16 09:55
18年的卡，这性能可以了。

别只看decode速度勉强能用啊, 没独立wmma算力太低, prefill性能就烂完了, 输入带个哪怕只有4k token的参考资料都要等2分钟才能出第一个字到时候就绷不住了

boyinfly

deepfishing 发表于 2025-4-16 10:23
我玩过9070xt跑推理，只能讲不要对农企有任何期待，这远古vega还是啥架构插服务器上都是浪费服务器槽位。
9 ...

这卡当游戏卡用还是可以的，自带dp接口，毕竟便宜，现在二手3060游戏卡还1000多块了

boyinfly

zhuifeng88 发表于 2025-4-16 10:29
别只看decode速度勉强能用啊, 没独立wmma算力太低, prefill性能就烂完了, 输入带个哪怕只有4k token的参 ...

你就当它是个游戏卡也值了，600来块钱，自带dp接口，刷个bios玩游戏也行，3060二手都还1000多了

xjr12000

boyinfly 发表于 2025-4-16 09:50
模型版本        参数量（B）        显存需求（GB）
DeepSeek 1.5B        15亿        60
DeepSeek 7B        70亿        240（FP16），120（AMP） ...

你这个单位是G？
1.5B都要60G显存？
数据错误

StevenG

zhuifeng88 发表于 2025-4-16 10:25
这并发性能属于是烂完了...毕竟算力那么低

为什么我看，感觉还可以啊。。传说中的性价比王者， 2080ti 22g，现在也得2500上下

lh0ngfu

几百块 32G 感觉可以，但是好像我的鱼搜不到哈哈哈哈哈哈哈

boyinfly

xjr12000 发表于 2025-4-16 10:34
你这个单位是G？
1.5B都要60G显存？
数据错误

网上搜的，卡我还没买，具体性能只能搜一下网上的。

StevenG

zhuifeng88 发表于 2025-4-16 10:29
别只看decode速度勉强能用啊, 没独立wmma算力太低, prefill性能就烂完了, 输入带个哪怕只有4k token的参 ...

纯讨论哈，prefill慢的问题用大嘤的amx能解嘛？清华那个ktransformers不是开始支持rocm了嘛，这玩意用的**显存，显存带宽应该没瓶颈，当然性能拉胯是一定的。。。

zhuifeng88

StevenG 发表于 2025-4-16 10:35
为什么我看，感觉还可以啊。。传说中的性价比王者， 2080ti 22g，现在也得2500上下 ...

这32b q4并发性能换2080ti 22来能高接近一个数量级...

zhuifeng88

StevenG 发表于 2025-4-16 10:38
纯讨论哈，prefill慢的问题用大嘤的amx能解嘛？清华那个ktransformers不是开始支持rocm了嘛，这玩意用的* ...

amx可以, 但那就不是这个价位的事情了, 1w以上的洋垃圾平台再考虑这个吧 (而且还插着mi50干什么呢, 负责减速吗)

klxq15

boyinfly 发表于 2025-4-16 10:03
MI50算力和V100是一个级别的

v100有tensorcore，mi50没有

boyinfly

klxq15 发表于 2025-4-16 10:42
v100有tensorcore，mi50没有

mi50刷个bios可以直接自带dp输出画面当游戏卡用，v100不行

StevenG

zhuifeng88 发表于 2025-4-16 10:42
amx可以, 但那就不是这个价位的事情了, 1w以上的洋垃圾平台再考虑这个吧 (而且还插着mi50干什么呢, 负责 ...

确实，一条ddr5 32g 5600都比这玩意贵。。。

oldnetdog

中间过渡产品，软件都抛弃支持了。

zjmttt

私人就算了，那个电费。。。。如果有钱不心疼电费的话，我想那也不会去买大船了。。。。。

Miner

zhuifeng88 发表于 2025-4-16 10:40
这32b q4并发性能换2080ti 22来能高接近一个数量级...

那么，自己玩一下这种小模型，是两张2080ti 22，还是两张a770？前者可以32b q8，后者 q8  要炸显存，勉强可以 q6，不过后者有新卡，保 3 年，价格也实惠点~

Juzi丶

什么年代还吹gcn奠子辣鸡

seunji

我觉得嗨挺有兴趣折腾的，这个价格还要什么自行车

sunnymen

boyinfly 发表于 2025-4-16 09:58
1张，跑70b q4，大概7-8tok/s

昨天看那个斯伯土的视频。3ka只能9tok

awpak78

boyinfly 发表于 2025-4-16 10:14
我有必要吹这电子垃圾么，我又不是卖卡的，你要只会用ollama这卡不适合你 ...

张口闭口就是70B_Q4，32B_Q4这种GGUF特色格式；配llama.cpp典中典之一张卡跑70B Q4，模型都分层1/4到CPU去了还测锤子显卡性能。
还嘴硬不是ollama/llama.cpp草履虫？

MI50的ROCm只支持到5.7.1，高性能推理框架都起手要求ROCm 6.x。拿什么来多卡加速？

我捡P100的时候就评估过MI50**了，ROCm放弃支持等于卡间高速通信报废，等于多卡无法加速。

买一堆电热丝来堆显存，然后跑起来的速度纯单卡瓶颈，那么喜欢大内存不如去堆DDR4 REG便宜内存条

boyinfly

awpak78 发表于 2025-4-16 11:23
张口闭口就是70B_Q4，32B_Q4这种GGUF特色格式；配llama.cpp典中典之一张卡跑70B Q4，模型都分层1/4到CPU ...

我就当这卡是个游戏卡可以把？600来块买来玩个黑猴子不行么？跟我在这杠个毛线，我又不是卖卡的。

boyinfly

sunnymen 发表于 2025-4-16 11:22
昨天看那个斯伯土的视频。3ka只能9tok

我看他视频了，感觉这卡当游戏卡玩玩可以，有点当年P106的感觉

zhuifeng88

awpak78 发表于 2025-4-16 11:23
张口闭口就是70B_Q4，32B_Q4这种GGUF特色格式；配llama.cpp典中典之一张卡跑70B Q4，模型都分层1/4到CPU ...

* q4倒也谈不上gguf特色吧, 反正一般讨论也没必要区分, 至少我是所有4bit量化统称q4的, 除非是有必要特别区分的上下文

港城钢铁侠

说实话这价格没啥理由不买T10，主要是功耗差距太大了，T10是这卡一半的功耗，除非遇到爆显存，不然推理性能也是比mi50强的，这就是这卡为啥涨不起来

lksimba

boyinfly 发表于 2025-4-16 11:31
我就当这卡是个游戏卡可以把？600来块买来玩个黑猴子不行么？跟我在这杠个毛线，我又不是卖卡的。 ...

当游戏卡啥性能啊？

michaelzxp

还是买个 mac 做个人 ai 服务器吧

boyinfly

lksimba 发表于 2025-4-16 11:42
当游戏卡啥性能啊？

鲁大师39w分，刷bios解锁功耗能到44w分，差不多3060水平吧。