[求助]为啥我的GPU-Z不显示Bus Interface Load了？我怎么知道瓶颈在哪？

查看数: 3548 | 评论数: 4 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2024-2-23 14:52

[求助]为啥我的GPU-Z不显示Bus Interface Load了？我怎么知道瓶颈在哪？按道理两张卡不应该频繁的传数据吗？

godspeed66 发表于 2024-2-23 15:41

zhuifeng88 发表于 2024-2-23 15:27
transformers sequential map bs=1 generation的话正常, 每token两张卡之间只要传不到1MB的数据, bus loa ...

收到谢谢

zhuifeng88 发表于 2024-2-23 15:27

本帖最后由 zhuifeng88 于 2024-2-23 15:33 编辑

godspeed66 发表于 2024-2-23 15:16
就是Qwen1.5-72B-Chat-**Q-Int4的推理，transformers 4.37.2，不是在微调

transformers sequential map bs=1 generation的话正常, 每token两张卡之间只要传不到1MB的数据, bus load当然不带动的

稍微动那3次应该能和prompt prefill的时间点对上

godspeed66 发表于 2024-2-23 15:16

zhuifeng88 发表于 2024-2-23 15:01
看你用法啊, 要是ddp/zero2以下的话本来就不会频繁传数据, tensor parallel/zero3才会

而且又不是没显示 ...

就是Qwen1.5-72B-Chat-**Q-Int4的推理，transformers 4.37.2，不是在微调

zhuifeng88 发表于 2024-2-23 15:01

本帖最后由 zhuifeng88 于 2024-2-23 15:02 编辑

看你用法啊, 要是ddp/zero2以下的话本来就不会频繁传数据, tensor parallel/zero3才会

而且又不是没显示 AC}~8H~8ZJ~9Y)UKVOG`OTQ.png

GMT+8, 2025-5-2 18:03 , Processed in 0.011229 second(s), 9 queries , Gzip On, Redis On.

账号		自动登录	找回密码
密码			加入我们

[求助]为啥我的GPU-Z不显示Bus Interface Load了？ 我怎么知道瓶颈在哪？