感觉低成本架设私人AI服务器的时机快成熟了，AMD MI50/MI100大船

boyinfly

看到陆续有大船靠岸，大批AMD的计算卡进入国内，主要以MI50 16G和MI100 32G为主。
这卡黄鱼上MI50 16G目前600左右，MI100 32G900左右，无风扇，非常适合服务器插个4卡8卡跑AI。
这卡应该是第一批7nm的产品，对应民用版就是Radeon VII，功耗不算高。而且这卡还带一个mini-DP，刷个Radeon VII的bios就可以当显卡用，不刷bios也能用核显串流显示，类似于P106。二三十块钱DIY个涡轮扇挂屁股后面普通电脑或者外置显卡坞也能用，主要显存都是HBM的，非常适合跑AI玩。我都想弄两块跑个私人deepseek玩了。


查了一下，这卡当初3万多，现在50分之1的价格
我不卖卡，我也是网上看到的消息，别找我买卡，买卡直接去小黄鱼！！！



AMD RADEON INSTINCT MI50 16GB PCIe.
PN -102D 1631 412 702883.
R-R-ATI-102-16302.

QTY :  41,200 units  ( tested working pulled )

klxq15

MI100?是MI50 32G吧。。

popgame

这个性能4张32G能跑多大的模型

boyinfly

klxq15 发表于 2025-4-16 09:34
MI100?是MI50 32G吧。。

MI50 16G/32G
MI100 32G

klxq15

boyinfly 发表于 2025-4-16 09:37
MI50 16G/32G
MI100 32G

MI100 32G卖多少钱。。为啥华强北还没出MI系列的显卡桥

StevenG

boyinfly 发表于 2025-4-16 09:37
MI50 16G/32G
MI100 32G

黄鱼上没看到mi100 32g呀。。都是mi50 32g 950上下

boyinfly

popgame 发表于 2025-4-16 09:36
这个性能4张32G能跑多大的模型

1张，跑70b q4，大概7-8tok/s


这是单卡性能，4卡linux下性能X4，22左右

boyinfly

klxq15 发表于 2025-4-16 09:38
MI100 32G卖多少钱。。为啥华强北还没出MI系列的显卡桥

MI100估计船快到了吧，MI100已经是7nm的CDNA核心了
现在主要是MI50 16G/32G vega20核心


https://www.amd.com/zh-cn/produc ... s/accelerators.html

gartour

boyinfly 发表于 2025-4-16 09:39
4张，跑70b q4，大概7-8tok/s

这速度也就玩个三分钟热情了。开个深度思考还得跌到 1以下

StevenG

boyinfly 发表于 2025-4-16 09:42
MI100估计船快到了吧，MI100已经是7nm的CDNA核心了
现在主要是MI50 16G/32G vega20核心

那100还有折腾的价值，vega估计下个版本的rocm就彻底不支持了吧

boyinfly

popgame 发表于 2025-4-16 09:36
这个性能4张32G能跑多大的模型

模型版本        参数量（B）        显存需求（GB）
DeepSeek 1.5B        15亿        60
DeepSeek 7B        70亿        240（FP16），120（AMP）
DeepSeek 32B        320亿        512（FP16），256（AMP）
DeepSeek 70B        700亿        1200（FP16），600（AMP）
DeepSeek 671B        6710亿        10736（FP16），5368（AMP）

mkkkno1

性能太低了，不然也不会成垃圾

boyinfly

gartour 发表于 2025-4-16 09:48
这速度也就玩个三分钟热情了。开个深度思考还得跌到 1以下

主要是这卡便宜啊，低成本搭建私人ai服务器成为可能

boyinfly

StevenG 发表于 2025-4-16 09:49
那100还有折腾的价值，vega估计下个版本的rocm就彻底不支持了吧

至少目前linux下这卡效能还是可以的，毕竟也是7nm的
600/900块就能买16G/32 HBM显存的卡，还不便宜？
刷个bios还能当游戏卡用一下，性能差不多3060水平了

boyinfly

mkkkno1 发表于 2025-4-16 09:53
性能太低了，不然也不会成垃圾

18年的卡，这性能可以了。

boyinfly

mkkkno1 发表于 2025-4-16 09:53
性能太低了，不然也不会成垃圾

1张，跑70b q4，大概7-8tok/s


这是单卡性能，4卡linux下性能X4，22左右

KimmyGLM

性能太差，只能拿来跑跑LLM；
还不如买V100 16G 组组多卡

archxm

显卡是用来打游戏的

boyinfly

KimmyGLM 发表于 2025-4-16 09:59
性能太差，只能拿来跑跑LLM；
还不如买V100 16G 组组多卡

MI50算力和V100是一个级别的

用户

这玩意不是镭七吗

boyinfly

archxm 发表于 2025-4-16 09:59
显卡是用来打游戏的

这卡不太适合打游戏，要弄个涡轮扇，长度太长了，差不多36cm了，很多机箱放不下，涡轮扇噪音也是一个问题

boyinfly

用户 发表于 2025-4-16 10:04
这玩意不是镭七吗

对，换皮的计算卡

awpak78

boyinfly 发表于 2025-4-16 09:39
1张，跑70b q4，大概7-8tok/s

ollama只支持PP，别™做梦性能x4了，多少张卡都是一样的速度

AMD浪费沙子拿着7nm的工艺干出来16nm Tesla P100相当的性能，还5年就完全停止软件支持，别吹电子垃圾了。

【半块RTX4090 玩转70B大语言模型】 https://www.bilibili.com/video/BV1DH4y1c7gK/
👆
P100多卡再垃圾起码还有CUDA更新，跑得起来卡间通信

zhuifeng88

boyinfly 发表于 2025-4-16 10:03
MI50算力和V100是一个级别的

哪门子的一个级别...v100的tensorcore虽然烂但又不是用不上
    还有这张图把v100的tensorcore fp16算力标到tf32那栏里了

boyinfly

awpak78 发表于 2025-4-16 10:08
ollama只支持PP，别™做梦性能x4了，多少张卡都是一样的速度

AMD浪费沙子拿着7nm的工艺干出来16nm Tesla ...

我有必要吹这电子垃圾么，我又不是卖卡的，你要只会用ollama这卡不适合你

boyinfly

zhuifeng88 发表于 2025-4-16 10:08
哪门子的一个级别...v100的tensorcore虽然烂但又不是用不上
    还有这张图把v100的tensorcore fp16算力 ...

v100家用普通电脑不如这卡容易玩，好歹这卡还能当个游戏卡用

KimmyGLM

boyinfly 发表于 2025-4-16 10:15
v100家用普通电脑不如这卡容易玩，好歹这卡还能当个游戏卡用

V100 可以当游戏卡用啊，TCC改成WDDM 模式就行。

Miner

boyinfly 发表于 2025-4-16 09:39
1张，跑70b q4，大概7-8tok/s

1张，跑70b q4，大概7-8tok/s

爆显存了吧，有没 33b q4 的测试数据呀？

boyinfly

Miner 发表于 2025-4-16 10:18
1张，跑70b q4，大概7-8tok/s

爆显存了吧，有没 33b q4 的测试数据呀？

网上搜一下吧，我还没买这卡，正考虑是否买两片玩玩，看情况这卡价格可能还要跌，感觉四五百块钱是正常大船价格

deepfishing

我玩过9070xt跑推理，只能讲不要对农企有任何期待，这远古vega还是啥架构插服务器上都是浪费服务器槽位。
9070xt特性全开，软件适配全开，然后单颗核心显存容量翻倍然后俩个做互联怼起来，才能有看头