Miner 发表于 2025-4-16 10:18
1张，跑70b q4，大概7-8tok/s
爆显存了吧，有没 33b q4 的测试数据呀？
闲鱼卖家都帮你测好了，不过既然吹的性能这么强，你猜为啥没有涨很多。
KimmyGLM 发表于 2025-4-16 10:24
闲鱼卖家都帮你测好了，不过既然吹的性能这么强，你猜为啥没有涨很多。
...
这并发性能属于是烂完了...毕竟算力那么低
KimmyGLM 发表于 2025-4-16 10:17
V100 可以当游戏卡用啊，TCC改成WDDM 模式就行。
便宜的是sxm2的，家用要上pcie转接卡，加上散热成本远比mi50高，还没显示输出接口，确实不如600多块的mi50刷个镭7的bios方便
boyinfly 发表于 2025-4-16 09:55
18年的卡，这性能可以了。
别只看decode速度勉强能用啊, 没独立wmma算力太低, prefill性能就烂完了, 输入带个哪怕只有4k token的参考资料都要等2分钟才能出第一个字到时候就绷不住了
deepfishing 发表于 2025-4-16 10:23
我玩过9070xt跑推理，只能讲不要对农企有任何期待，这远古vega还是啥架构插服务器上都是浪费服务器槽位。
9 ...
这卡当游戏卡用还是可以的，自带dp接口，毕竟便宜，现在二手3060游戏卡还1000多块了
zhuifeng88 发表于 2025-4-16 10:29
别只看decode速度勉强能用啊, 没独立wmma算力太低, prefill性能就烂完了, 输入带个哪怕只有4k token的参 ...
你就当它是个游戏卡也值了，600来块钱，自带dp接口，刷个bios玩游戏也行，3060二手都还1000多了
boyinfly 发表于 2025-4-16 09:50
模型版本 参数量（B） 显存需求（GB）
DeepSeek 1.5B 15亿 60
DeepSeek 7B 70亿 240（FP16），120（AMP） ...
你这个单位是G？
1.5B都要60G显存？
数据错误
zhuifeng88 发表于 2025-4-16 10:25
这并发性能属于是烂完了...毕竟算力那么低
为什么我看，感觉还可以啊。。传说中的性价比王者， 2080ti 22g，现在也得2500上下
几百块 32G 感觉可以，但是好像我的鱼搜不到哈哈哈哈哈哈哈
xjr12000 发表于 2025-4-16 10:34
你这个单位是G？
1.5B都要60G显存？
数据错误
网上搜的，卡我还没买，具体性能只能搜一下网上的。
zhuifeng88 发表于 2025-4-16 10:29
别只看decode速度勉强能用啊, 没独立wmma算力太低, prefill性能就烂完了, 输入带个哪怕只有4k token的参 ...
纯讨论哈，prefill慢的问题用大嘤的amx能解嘛？清华那个ktransformers不是开始支持rocm了嘛，这玩意用的**显存，显存带宽应该没瓶颈，当然性能拉胯是一定的。。。
StevenG 发表于 2025-4-16 10:35
为什么我看，感觉还可以啊。。传说中的性价比王者， 2080ti 22g，现在也得2500上下 ...
这32b q4并发性能换2080ti 22来能高接近一个数量级...
StevenG 发表于 2025-4-16 10:38
纯讨论哈，prefill慢的问题用大嘤的amx能解嘛？清华那个ktransformers不是开始支持rocm了嘛，这玩意用的* ...
amx可以, 但那就不是这个价位的事情了, 1w以上的洋垃圾平台再考虑这个吧 (而且还插着mi50干什么呢, 负责减速吗)
boyinfly 发表于 2025-4-16 10:03
MI50算力和V100是一个级别的
v100有tensorcore，mi50没有
klxq15 发表于 2025-4-16 10:42
v100有tensorcore，mi50没有
mi50刷个bios可以直接自带dp输出画面当游戏卡用，v100不行
zhuifeng88 发表于 2025-4-16 10:42
amx可以, 但那就不是这个价位的事情了, 1w以上的洋垃圾平台再考虑这个吧 (而且还插着mi50干什么呢, 负责 ...
确实，一条ddr5 32g 5600都比这玩意贵。。。
中间过渡产品，软件都抛弃支持了。
私人就算了，那个电费。。。。如果有钱不心疼电费的话，我想那也不会去买大船了。。。。。
zhuifeng88 发表于 2025-4-16 10:40
这32b q4并发性能换2080ti 22来能高接近一个数量级...
那么，自己玩一下这种小模型，是两张2080ti 22，还是两张a770？前者可以32b q8，后者 q8要炸显存，勉强可以 q6，不过后者有新卡，保 3 年，价格也实惠点~
什么年代还吹gcn奠子辣鸡
我觉得嗨挺有兴趣折腾的，这个价格还要什么自行车
boyinfly 发表于 2025-4-16 09:58
1张，跑70b q4，大概7-8tok/s
昨天看那个斯伯土的视频。3ka只能9tok
boyinfly 发表于 2025-4-16 10:14
我有必要吹这电子垃圾么，我又不是卖卡的，你要只会用ollama这卡不适合你 ...
张口闭口就是70B_Q4，32B_Q4这种GGUF特色格式；配llama.cpp典中典之一张卡跑70B Q4，模型都分层1/4到CPU去了还测锤子显卡性能。
还嘴硬不是ollama/llama.cpp草履虫？
MI50的ROCm只支持到5.7.1，高性能推理框架都起手要求ROCm 6.x。拿什么来多卡加速？
我捡P100的时候就评估过MI50**了，ROCm放弃支持等于卡间高速通信报废，等于多卡无法加速。
买一堆电热丝来堆显存，然后跑起来的速度纯单卡瓶颈，那么喜欢大内存不如去堆DDR4 REG便宜内存条
awpak78 发表于 2025-4-16 11:23
张口闭口就是70B_Q4，32B_Q4这种GGUF特色格式；配llama.cpp典中典之一张卡跑70B Q4，模型都分层1/4到CPU ...
我就当这卡是个游戏卡可以把？600来块买来玩个黑猴子不行么？跟我在这杠个毛线，我又不是卖卡的。
sunnymen 发表于 2025-4-16 11:22
昨天看那个斯伯土的视频。3ka只能9tok
我看他视频了，感觉这卡当游戏卡玩玩可以，有点当年P106的感觉
awpak78 发表于 2025-4-16 11:23
张口闭口就是70B_Q4，32B_Q4这种GGUF特色格式；配llama.cpp典中典之一张卡跑70B Q4，模型都分层1/4到CPU ...
* q4倒也谈不上gguf特色吧, 反正一般讨论也没必要区分, 至少我是所有4bit量化统称q4的, 除非是有必要特别区分的上下文
说实话这价格没啥理由不买T10，主要是功耗差距太大了，T10是这卡一半的功耗，除非遇到爆显存，不然推理性能也是比mi50强的，这就是这卡为啥涨不起来
boyinfly 发表于 2025-4-16 11:31
我就当这卡是个游戏卡可以把？600来块买来玩个黑猴子不行么？跟我在这杠个毛线，我又不是卖卡的。 ...
当游戏卡啥性能啊？
还是买个 mac 做个人 ai 服务器吧
lksimba 发表于 2025-4-16 11:42
当游戏卡啥性能啊？
鲁大师39w分，刷bios解锁功耗能到44w分，差不多3060水平吧。