社区 › 电脑讨论(新) › 请问有谁清楚某python软件到底能吃多少内存

wangguan8602745 发表于 2022-11-29 23:44

请问有谁清楚某python软件到底能吃多少内存

本帖最后由 wangguan8602745 于 2022-11-30 11:05 编辑

这个软件关于face的 深度学习
16g内存 吃到90%
如果双开可以吃满100%接近卡死机器
我怕我买了32g内存还是不够用
又或者买了64g内存完全多余了
所以请问熟悉dfl这个软件的内存占用的高人解答下 到底可以占用多少

wangguan8602745 发表于 2022-11-29 23:45

因为同价格32g内存就可以买特挑bdie兼顾游戏
               64g内存就是纯生产力了。万一只能用到32g 那64g完全多余了。。

dodd 发表于 2022-11-30 00:06

有生产力需求还不直接把内存加满？
到时候软件参数调一调模型换一换万一32GB内存不够的话手上一堆小条子不闹心吗？
再说了，大内存还有ramdisk之类的各种玩法，纯浪费倒不至于。

qiuhepeng 发表于 2022-11-30 00:07

最好用13代d4，这样1000块就可以上32gx2 自己oc到4000c19，金百达银爵，兼顾游戏和容量

karaki 发表于 2022-11-30 00:16

无脑64，感觉这种软件都是有多少内存吃多少内存的，或者可以通过参数调整。
高频特挑其实就是玩个过程，真正用起来提升微乎其微的，容量加倍在生产力方面那可是实打实的

搞基薛定谔 发表于 2022-11-30 01:05

我的科学计算是可以占到将近500G的，如果不提前关掉程序的话估计会爆，爆了之后就会出现硬盘读写百分百的情况了。。

lucksufe 发表于 2022-11-30 01:13

YsHaNg 发表于 2022-11-30 05:06

resource.setrlimit内存封顶

cdmin 发表于 2022-11-30 09:17

extrame 发表于 2022-11-30 09:34

wangguan8602745 发表于 2022-11-29 23:45
因为同价格32g内存就可以买特挑bdie兼顾游戏
               64g内存就是纯生产力了。万一只能用到32g ...

没有的事儿, 深度学习你调一下BatchSize, 基本都可以吃满.
128G还合计合计, 32和64现在也没差多少钱了.

wangguan8602745 发表于 2022-11-30 10:18

extrame 发表于 2022-11-30 09:34
没有的事儿, 深度学习你调一下BatchSize, 基本都可以吃满.
128G还合计合计, 32和64现在也没差多少钱了. ...

我以为batchsize 比较吃显存
不清楚内存占用具体到什么情况 因为我目前是16g

extrame 发表于 2022-11-30 10:22

wangguan8602745 发表于 2022-11-30 10:18
我以为batchsize 比较吃显存
不清楚内存占用具体到什么情况 因为我目前是16g
...

各模型有读取缓存差异, 所以内存使用会略有不同.
不过大体上是差不多的:
把BatchSize调小, 增加线程数会吃内存.
把BatchSize调大, 减少线程数会吃显存.

gnattu 发表于 2022-11-30 10:22

这个帐不是这么算的吧。。。
是不是特挑B die是差那几帧，但是有没有那么大内存直接是 模型能不能跑[震惊]

wangguan8602745 发表于 2022-11-30 10:26

gnattu 发表于 2022-11-30 10:22
这个帐不是这么算的吧。。。
是不是特挑B die是差那几帧，但是有没有那么大内存直接是 模型能不能跑 ...

目前16g内存 我需要的参数到顶了都能跑 只是不能双开 还有占满了对我使用电脑看网页什么的有影响
因为这软件吃显存是主力

KingDOD 发表于 2022-11-30 10:27

有生产力需求内存直接上满到顶~效率提升是实打实的~到时候内存再不够就该换平台了~
内存频率和游戏帧数相关的部分基本只会影响最低帧~和帧延迟~高频和低频相差5%左右。。。多数人无感~

目已 发表于 2022-11-30 10:40

别看很多网上晒了很多tm5过测的高频，你让他们跑个20轮yc 的vst试试？正经用的稳定第一

wangguan8602745 发表于 2022-11-30 10:46

目已 发表于 2022-11-30 10:40
别看很多网上晒了很多tm5过测的高频，你让他们跑个20轮yc 的vst试试？正经用的稳定第一 ...

超高频肯定是扯淡的 尤其是显卡cpu满载了机箱温度上来了 内存马上不稳定了
但是体质特挑的bide 不去冲击极限 随意调整起来很方便 比如3600c14
你调到3900c15 只动内存电压就行 不用去跑测试直接用就很稳定了

wangguan8602745 发表于 2022-11-30 10:47

KingDOD 发表于 2022-11-30 10:27
有生产力需求内存直接上满到顶~效率提升是实打实的~到时候内存再不够就该换平台了~
内存频率和游戏帧数相关 ...

我只有这一项生产力要求。。如果买来64g只用到30g 会有点难受。。因为我也没别的用途了

iwaitu 发表于 2022-11-30 10:59

放心,64G 也不够的，在开发机器上用不到这么大，大不了控制下线程数就行了，倒是生产环境，大数据推理的时候对内存需求比较高，我的生产环境推理服务器内存都是80G起，gpu 卡也是 80G版本的 A100，就这样还要控制任务并发数量进行排队呢

谎言之神Cyric 发表于 2022-11-30 11:13

生产力就不要问了，哪怕上低频垃圾延时内存也优先考虑容量吧，上32*4最好

hp6325 发表于 2022-11-30 11:18

号码助手 发表于 2022-11-30 11:18

用主板最大支持的内存[偷笑]

我輩樹である 发表于 2022-11-30 11:41

一般是显存的两倍。

wangguan8602745 发表于 2022-11-30 12:11

我輩樹である 发表于 2022-11-30 11:41
一般是显存的两倍。

谢谢指教

qiuhepeng 发表于 2022-11-30 12:37

我輩樹である 发表于 2022-11-30 11:41
一般是显存的两倍。

个人用户简单的机器学习初学者，想一步步学一下，请问32g内存，16g显存够不够用

重庆森林 发表于 2022-11-30 12:45

dp lab啊？这种玩意你没32g以上的内存就别折腾了

wangguan8602745 发表于 2022-11-30 12:50

重庆森林 发表于 2022-11-30 12:45
dp lab啊？这种玩意你没32g以上的内存就别折腾了

dpl 我16g内存用3年了。。。
多数是看显卡和显存以及cpu
内存小了 在训练时候网页看视频或者其他操作会受影响
所以现在考虑升级32g还是64g
我怕这种软件是有多少占多少
当然也有可能软件是占到一定限度就不占了 毕竟训练时候用的不是内存
容纳素材应该是内存的作用

我輩樹である 发表于 2022-11-30 13:03

qiuhepeng 发表于 2022-11-30 12:37
个人用户简单的机器学习初学者，想一步步学一下，请问32g内存，16g显存够不够用 ...

关键是你要学什么任务，如果是序列模型，对设备要求都要高一些。当然了32g内存16g显存（4080？）对初学者已经非常奢侈了，如果这个配置学习当下流行的transformer模型完全没问题。

可以用hugging face的pipline快速测试一下。

https://huggingface.co/docs/transformers/task_summary

初学容易弃坑，建议从白嫖算力开始，一个是避免浪费钱，一个是别人搭好了环境，可以直接上手。

yajian2 发表于 2022-11-30 13:16

这两天刚搭了stable diffussion web ui，不会训练，只会text2img，大概要吃8G，加上系统10G吧，我没显卡。

qiuhepeng 发表于 2022-11-30 13:29

我輩樹である 发表于 2022-11-30 13:03
关键是你要学什么任务，如果是序列模型，对设备要求都要高一些。当然了32g内存16g显存（4080？）对初学者 ...

多谢大佬，那一般偏向生物医药统计的科研应该学什么，有入门的好去处吗

查看完整版本: 请问有谁清楚某python软件到底能吃多少内存