没想到农企软件适配这么早搞好了，9070xt跑rocm版的llamacpp推理

deepfishing

折腾了好几天，终于跑起来了。
先决条件，无法在win下编译，wsl也不行，必须装ubuntu，使用rocm6.3.4，还需要手动编译hipblaslt。

可以看看这个，vulkan版的各种卡的性能 https://github.com/ggml-org/llama.cpp/discussions/10879。

只能讲适配确实比以前早的太多了，虽然我感觉性能优化可能还有优化空间

试了编译rocWMMA，爆fp8相关的错误，然后看rocWMMA最新版要rocm6.4，然后公开版本没有6.4，只能讲农企这波软件更新和打鸡血一样了。

bacu

ROCm 的文档上还没写支持，居然实际已经支持了，hipblaslt 估计下个版本就可以好了，现在 ROCm 更新的比以前明显快了

zerozerone

过年在7900xtx简单跑了下7b感觉好于预期。

Charles-Lee

rocm一如既往linux支持最好