感觉低成本架设私人AI服务器的时机快成熟了，AMD MI50/MI100大船
本帖最后由 boyinfly 于 2025-4-16 10:06 编辑看到陆续有大船靠岸，大批AMD的计算卡进入国内，主要以MI50 16G和MI100 32G为主。
这卡黄鱼上MI50 16G目前600左右，MI100 32G900左右，无风扇，非常适合服务器插个4卡8卡跑AI。
这卡应该是第一批7nm的产品，对应民用版就是Radeon VII，功耗不算高。而且这卡还带一个mini-DP，刷个Radeon VII的bios就可以当显卡用，不刷bios也能用核显串流显示，类似于P106。二三十块钱DIY个涡轮扇挂屁股后面普通电脑或者外置显卡坞也能用，主要显存都是HBM的，非常适合跑AI玩。我都想弄两块跑个私人deepseek玩了。
查了一下，这卡当初3万多，现在50分之1的价格
我不卖卡，我也是网上看到的消息，别找我买卡，买卡直接去小黄鱼！！！
AMD RADEON INSTINCT MI50 16GB PCIe.
PN -102D 1631 412 702883.
R-R-ATI-102-16302.
QTY :41,200 units( tested working pulled )
MI100?是MI50 32G吧。。 这个性能4张32G能跑多大的模型 klxq15 发表于 2025-4-16 09:34
MI100?是MI50 32G吧。。
MI50 16G/32G
MI100 32G
boyinfly 发表于 2025-4-16 09:37
MI50 16G/32G
MI100 32G
MI100 32G卖多少钱。。为啥华强北还没出MI系列的显卡桥 boyinfly 发表于 2025-4-16 09:37
MI50 16G/32G
MI100 32G
黄鱼上没看到mi100 32g呀。。都是mi50 32g 950上下 本帖最后由 boyinfly 于 2025-4-16 09:57 编辑
popgame 发表于 2025-4-16 09:36
这个性能4张32G能跑多大的模型
1张，跑70b q4，大概7-8tok/s
这是单卡性能，4卡linux下性能X4，22左右 klxq15 发表于 2025-4-16 09:38
MI100 32G卖多少钱。。为啥华强北还没出MI系列的显卡桥
MI100估计船快到了吧，MI100已经是7nm的CDNA核心了
现在主要是MI50 16G/32G vega20核心
https://www.amd.com/zh-cn/products/specifications/accelerators.html
boyinfly 发表于 2025-4-16 09:39
4张，跑70b q4，大概7-8tok/s
这速度也就玩个三分钟热情了。开个深度思考还得跌到 1以下 boyinfly 发表于 2025-4-16 09:42
MI100估计船快到了吧，MI100已经是7nm的CDNA核心了
现在主要是MI50 16G/32G vega20核心
那100还有折腾的价值，vega估计下个版本的rocm就彻底不支持了吧 popgame 发表于 2025-4-16 09:36
这个性能4张32G能跑多大的模型
模型版本 参数量（B） 显存需求（GB）
DeepSeek 1.5B 15亿 60
DeepSeek 7B 70亿 240（FP16），120（AMP）
DeepSeek 32B 320亿 512（FP16），256（AMP）
DeepSeek 70B 700亿 1200（FP16），600（AMP）
DeepSeek 671B 6710亿 10736（FP16），5368（AMP） 性能太低了，不然也不会成垃圾 gartour 发表于 2025-4-16 09:48
这速度也就玩个三分钟热情了。开个深度思考还得跌到 1以下
主要是这卡便宜啊，低成本搭建私人ai服务器成为可能 StevenG 发表于 2025-4-16 09:49
那100还有折腾的价值，vega估计下个版本的rocm就彻底不支持了吧
至少目前linux下这卡效能还是可以的，毕竟也是7nm的
600/900块就能买16G/32 HBM显存的卡，还不便宜？
刷个bios还能当游戏卡用一下，性能差不多3060水平了 mkkkno1 发表于 2025-4-16 09:53
性能太低了，不然也不会成垃圾
18年的卡，这性能可以了。
mkkkno1 发表于 2025-4-16 09:53
性能太低了，不然也不会成垃圾
1张，跑70b q4，大概7-8tok/s
这是单卡性能，4卡linux下性能X4，22左右 性能太差，只能拿来跑跑LLM；
还不如买V100 16G 组组多卡 显卡是用来打游戏的 KimmyGLM 发表于 2025-4-16 09:59
性能太差，只能拿来跑跑LLM；
还不如买V100 16G 组组多卡
MI50算力和V100是一个级别的
这玩意不是镭七吗 archxm 发表于 2025-4-16 09:59
显卡是用来打游戏的
这卡不太适合打游戏，要弄个涡轮扇，长度太长了，差不多36cm了，很多机箱放不下，涡轮扇噪音也是一个问题 用户 发表于 2025-4-16 10:04
这玩意不是镭七吗
对，换皮的计算卡
boyinfly 发表于 2025-4-16 09:39
1张，跑70b q4，大概7-8tok/s
ollama只支持PP，别™做梦性能x4了，多少张卡都是一样的速度
AMD浪费沙子拿着7nm的工艺干出来16nm Tesla P100相当的性能，还5年就完全停止软件支持，别吹电子垃圾了。
【半块RTX4090 玩转70B大语言模型】 https://www.bilibili.com/video/BV1DH4y1c7gK/
👆
P100多卡再垃圾起码还有CUDA更新，跑得起来卡间通信 boyinfly 发表于 2025-4-16 10:03
MI50算力和V100是一个级别的
哪门子的一个级别...v100的tensorcore虽然烂但又不是用不上
还有这张图把v100的tensorcore fp16算力标到tf32那栏里了 awpak78 发表于 2025-4-16 10:08
ollama只支持PP，别™做梦性能x4了，多少张卡都是一样的速度
AMD浪费沙子拿着7nm的工艺干出来16nm Tesla ...
我有必要吹这电子垃圾么，我又不是卖卡的，你要只会用ollama这卡不适合你 zhuifeng88 发表于 2025-4-16 10:08
哪门子的一个级别...v100的tensorcore虽然烂但又不是用不上
还有这张图把v100的tensorcore fp16算力 ...
v100家用普通电脑不如这卡容易玩，好歹这卡还能当个游戏卡用 boyinfly 发表于 2025-4-16 10:15
v100家用普通电脑不如这卡容易玩，好歹这卡还能当个游戏卡用
V100 可以当游戏卡用啊，TCC改成WDDM 模式就行。 boyinfly 发表于 2025-4-16 09:39
1张，跑70b q4，大概7-8tok/s
1张，跑70b q4，大概7-8tok/s
爆显存了吧，有没 33b q4 的测试数据呀？ Miner 发表于 2025-4-16 10:18
1张，跑70b q4，大概7-8tok/s
爆显存了吧，有没 33b q4 的测试数据呀？
网上搜一下吧，我还没买这卡，正考虑是否买两片玩玩，看情况这卡价格可能还要跌，感觉四五百块钱是正常大船价格 我玩过9070xt跑推理，只能讲不要对农企有任何期待，这远古vega还是啥架构插服务器上都是浪费服务器槽位。
9070xt特性全开，软件适配全开，然后单颗核心显存容量翻倍然后俩个做互联怼起来，才能有看头