各位大佬 AMD的卡能跑本地大模型吗

459413498

比如qwen deepseek klingAI这种

目前用的1070ti跑个实时翻译都能把视频给卡了

价格合适的话 想换9070XT

ainomelody

现在搞个wsl应该可以了，之前还得上linux跑

Demir

A卡还不如I卡呢。

炼金术士

很不幸，不太能
生产力相关老老实实上n卡

BFG9K

买张4060Ti 16G吧

StevenG

能跑，建议7900xtx，显存更大，而且9070xt大概率5000+，二者最终价差应该就是大几百块，但是多出的显存能让你跑的模型上一个台阶。

悠悠lyz

7900XTX单卡能跑Qwen 70B
推理可以，四五十token/s

ganxy

应该能跑推理，毕竟很多人甚至还买mac mini 来跑呢

装陈醋的酱油瓶

实时翻译用的是啥?

yangzi123aaa20

能跑的人不会问，会问的人跑不了

xyzhangabc

LLM 只推理不训练的话，window下装个ollama几乎都是一键部署了，随便跑。

wun_008

我用两个 p102 用ollama 跑了个 千问2.5 32b 一秒3个字，已经可以当个人办公助手了
ollama 现在可以叠加显存 还能拿内存来帮忙，非常牛逼啊 我一共才投资了 6 7百块
amd 主要用来打游戏

gdens84

实测7800xt推理速度和4070ti一样（linux下）。推理的话不建议上9070xt，一个是推理基本只看显存大小和带宽，一个是amd rocm对新卡支持会很滞后，要跑买个7900xt/7900xtx就行

lavin

DEEPSEEK 需要显存不少

我輩樹である

你不追新就可以，hugface里面有rocm支持的可以现拉。如果你要最新的，新特性amd基本都不会第一时间支持，而且需要你自己集成，看你的能力了。

459413498

装陈醋的酱油瓶 发表于 2025-1-16 10:19
实时翻译用的是啥?

**支持whisper的插件 从视频提取音轨 然后转成日文或者英文字幕 再加上本地部署的模型 设置好prompt翻译一下 就是每句中文

zxy2001

459413498 发表于 2025-1-16 12:12
**支持whisper的插件 从视频提取音轨 然后转成日文或者英文字幕 再加上本地部署的模型 设置好prompt翻译 ...

高级玩法。。。看美剧不用等字幕组了

FelixIvory

换hp z2 mini g1a 工作站。
strix halo 128g内存，最大96g显存。

自挂东南枝

可以，7900xtx的24G显存性价比很高，直接用koboldcpp，可以用vulkan或者rocm跑。

悠悠lyz

Leciel 发表于 2025-1-16 10:13
我这最多就跑个32B的模型。你的单卡70B是怎么部署的？

需要确认.