feilong4397 发表于 2025-8-2 23:00

RTX 2000ADA运行千问16B的模型比4060TI 16G差多少?

想入手一个显卡,专业卡RTX2000 ada和4060TI 16G在使用16B模型时,速度能差多少?主要是看中2000 ada的半高属性

aozorahishi 发表于 2025-8-3 12:34

从给出的纸面算力上就慢一半

a010301208 发表于 2025-8-3 12:38

算力差45%[偷笑]

la814273 发表于 2025-8-3 13:53

单并发速度跟带宽关联更大,而不是算力。4060ti带宽多30%左右

a010301208 发表于 2025-8-3 14:15

la814273 发表于 2025-8-3 13:53
单并发速度跟带宽关联更大,而不是算力。4060ti带宽多30%左右

算力依然是首要考虑[偷笑]真要考虑带宽,那肯定买50系,5060ti比4060ti带宽多了50%不止[偷笑]

feilong4397 发表于 2025-8-3 14:36

谢谢~跑个16B/8B的模型,半高选择面太小了

la814273 发表于 2025-8-3 15:23

a010301208 发表于 2025-8-3 14:15
算力依然是首要考虑真要考虑带宽,那肯定买50系,5060ti比4060ti带宽多了50%不止 ...

算力主要影响prefill和多并发吧,就自己用的话速度跟带宽影响更大

a010301208 发表于 2025-8-3 15:33

la814273 发表于 2025-8-3 15:23
算力主要影响prefill和多并发吧,就自己用的话速度跟带宽影响更大

有一定的影响,4000 ada的带宽也没有5060TI高[偷笑]如果是多卡的话,那带宽重要性会更高,不过他就一张卡来说,其实还好[偷笑]
页: [1]
查看完整版本: RTX 2000ADA运行千问16B的模型比4060TI 16G差多少?