核心数量和显存哪个重要？

zhuifeng88

alieshex 发表于 2024-1-5 21:22
显卡是这样的，显存硬指标。内存的话至少有虚拟内存swap之类的可以缓解，显卡现在还没这机制 ...

显卡至少11年前就有这机制了
https://developer.nvidia.com/blog/unified-memory-in-cuda-6

zhuifeng88

alieshex 发表于 2024-1-5 23:43
有这机制不代表能用啊，更不代表能像虚拟内存这样使用起来没差别。。。。目前我遇到的大部分都是爆了直接 ...

单纯从机制上来说用起来和虚拟内存也是一样的, 系统内存侧程序主动申请pinned page或者windows下的hugepage也都不能被换出, 只是gpu侧历史原因大部分用了这类申请

使用体验上来说那确实, 毕竟历史原因大部分

不过像pytorch最近已经改成默认申请managed显存了