Chiphell - 分享与交流用户体验

标题: 最近学习machine learning想用nuc替换掉群晖 [打印本页]

作者: wimming 时间: 2023-7-3 23:45
标题: 最近学习machine learning想用nuc替换掉群晖
最近接触机器学习，需要一台性能好点的服务器，目前J4125的群晖性能基本被我榨干了，10+个docker，3个虚拟机，想换一台性能强点、体积小、静音的“家用”服务器，因为intel在科学计算方面有很大的优势所以基本不考虑amd了。

因为市面上支持3.5寸硬盘的机箱基本没有比群晖更小更精致的了，加之现在固态便宜，所以考虑干脆放弃3.5寸硬盘，把蓝光原盘等影视资源全放到阿里云，这样的好处是不用考虑家里的上传带宽，只要下行有个100m就能看原盘了，也能分享给其他亲戚朋友看。然后一些重要的数据以及经常用到的热数据就放在固态硬盘里（包括那些“你们懂的”资源

），剩下的基本就是在nuc里面选了：

   【选项1】nuc12、nuc13，因为我打算用linux系统，不知目前发行版的linux对大小核调度还有没有问题？

   【选项2】nuc9幽灵峡谷，比起上面最大的优势是可以放显卡（虽然目前暂时用不到DL），三条m.2插槽，老平台虽然性能差点但肯定能稳定跑linux，再怎么也比群晖j4125强。但在看到那个1U的电源时我又纠结了，我对这种电源的印象就四个字：飞机起飞，板砖虽大但起码安静。

   这两个选项也许都不完美，迷你主机要求体积小、静音、性能这三者貌似是一个“不可能三角”，如果要取舍，我还是选前两者，毕竟只是主要用来学习，性能可以凑合对付一下，但群晖的性能已被榨干无论如何也凑合不了，各位老铁还有什么其他方案吗？

作者: myway 时间: 2023-7-3 23:54
记得 Ubuntu 针对 NUC 有优化……要么记错了

作者: dedededede 时间: 2023-7-4 00:03
nuc9不吵，电源和风扇只有轻微的风声。
主要问题是散热，主板上那两条m2，拷贝个几百兆就上了70度，底板上那条稍微好些。
插槽上我用转接卡插了两块u2，里面那块离主板非常近，把cpu的涡轮风扇进风口堵了，外面那块稍好些，温度都不低。
每次往里灌的时候，都不敢大批量，只能灌一些歇一会，平常读取的时候没啥问题。

作者: shuizhuyuanluo 时间: 2023-7-4 00:16
机器学习，不考虑下 jetson orin 吗，支持cuda，不过是arm的

作者: lmbh 时间: 2023-7-4 00:24
两台机器各干各不好吗？感觉针对的功能完全没有重叠的地方。

作者: BetaHT 时间: 2023-7-4 00:45
我的方案是在nuc中跑win+vmware/hyperv

24小时开机，很稳定很安静

作者: leonhard 时间: 2023-7-4 01:38
直接云主机得了，省得思考

作者: regwoo 时间: 2023-7-4 05:40
没GPU你学什么啊

作者: meng83 时间: 2023-7-4 06:49

regwoo 发表于 2023-7-4 05:40
没GPU你学什么啊

cpu也可以跑

作者: archxm 时间: 2023-7-4 07:15
你真狠，4125 开三个虚拟机

作者: yin19991999 时间: 2023-7-4 08:00

meng83 发表于 2023-7-4 06:49
cpu也可以跑

cpu跑的是人才那速度。.

作者: tedaz 时间: 2023-7-4 08:58
具体什么机器学习，能用cpu？

作者: 我輩樹である 时间: 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。

作者: meng83 时间: 2023-7-4 09:33

yin19991999 发表于 2023-7-4 08:00
cpu跑的是人才那速度。.

取决于具体模型，很多时候cpu比gpu快

作者: mosigan 时间: 2023-7-4 09:35

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

m2 ultra优势也就是显存大，不支持cuda，速度也比不上nv，拿来推理还行，训练还是算了

作者: deigo_block 时间: 2023-7-4 11:24
选项2 NUC9 的话不如考虑马格努斯一号准系统,散热性能比NUC9好太多了,还不吵

作者: archxm 时间: 2023-7-4 11:30
nuc9不便宜吧，能装显卡，个头也不小。还不如搞个a4，b760itx 13400

作者: wimming 时间: 2023-7-4 11:39

archxm 发表于 2023-7-4 11:30
nuc9不便宜吧，能装显卡，个头也不小。还不如搞个a4，b760itx 13400

5L应该比A4小吧，能装20CM的显卡，用的1U那种电源

作者: wimming 时间: 2023-7-4 11:40

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

ARM软件支持还不太好啊，我自己用的M1 MACBOOK

作者: wimming 时间: 2023-7-4 11:40

archxm 发表于 2023-7-4 07:15
你真狠，4125 开三个虚拟机

openwrt、win10 ltsc、ubuntu ，18G内存用完了

作者: wimming 时间: 2023-7-4 11:41

yin19991999 发表于 2023-7-4 08:00
cpu跑的是人才那速度。.

前辈用的什么设备，我目前还在学习阶段

作者: wimming 时间: 2023-7-4 11:42

dedededede 发表于 2023-7-4 00:03
nuc9不吵，电源和风扇只有轻微的风声。
主要问题是散热，主板上那两条m2，拷贝个几百兆就上了70度，底板上 ...

不装显卡都这样了那装了显卡岂不是

作者: wimming 时间: 2023-7-4 11:43

lmbh 发表于 2023-7-4 00:24
两台机器各干各不好吗？感觉针对的功能完全没有重叠的地方。

主要不想管理太多电脑，就存储加工作，也不打算整all in one

作者: wimming 时间: 2023-7-4 11:44

tedaz 发表于 2023-7-4 08:58
具体什么机器学习，能用cpu？

前辈用的什么设备，我目前还在学习阶段

作者: wimming 时间: 2023-7-4 11:45

BetaHT 发表于 2023-7-4 00:45
我的方案是在nuc中跑win+vmware/hyperv

24小时开机，很稳定很安静

是普通小盒子那种NUC吗

作者: wimming 时间: 2023-7-4 11:46

myway 发表于 2023-7-3 23:54
记得 Ubuntu 针对 NUC 有优化……要么记错了

之前只知道WIN11才支持大小核调度，怕有些驱动搞不定

作者: BetaHT 时间: 2023-7-4 12:00

wimming 发表于 2023-7-4 11:45
是普通小盒子那种NUC吗

是的。作为个人服务器性能已经非常过剩了。

作者: tedaz 时间: 2023-7-4 12:30

wimming 发表于 2023-7-4 11:44
前辈用的什么设备，我目前还在学习阶段

不懂机器学习也就玩玩在线的ai和sd绘图

作者: facebbook 时间: 2023-7-4 13:06

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

试试~~~~~~~

作者: SeeSnow 时间: 2023-7-4 13:24
如果用TensorFlow和PyTorch

你也可以考虑在m1或m2的mac mini或studio上跑

https://zhuanlan.zhihu.com/p/410961551

作者: wimming 时间: 2023-7-4 17:10

SeeSnow 发表于 2023-7-4 13:24
如果用TensorFlow和PyTorch

你也可以考虑在m1或m2的mac mini或studio上跑

这个是两年前帖子了不知道现在软件方面怎样，我目前是用的M1 MACBOOK

作者: zhuifeng88 时间: 2023-7-4 18:57

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

关于这个...对比了下llama.cpu 65b q4_0的推理速度, 完全没能理解m2u怎么宠起来的
m2u顶配也就10token/s
36核spr全核3.6GHz略微改动仅仅把avx512vnni用起来没有深入优化就有8-9token/s了, 价格不到顶配m2u一半

作者: yan1990_y 时间: 2023-7-4 19:02

meng83 发表于 2023-7-4 09:33
取决于具体模型，很多时候cpu比gpu快

你说的是训练还是推理啊？能不能举个例子啊，这样我就不用买H100了

作者: zhuifeng88 时间: 2023-7-4 19:11

yan1990_y 发表于 2023-7-4 19:02
你说的是训练还是推理啊？能不能举个例子啊，这样我就不用买H100了

llm不切图单纯把权重offload给system memory就很容易这样, 卡在pcie带宽上, 全cpu跑反而不会有这个问题, 切图的话毕竟复杂程度一下子上去了

作者: dlutwang 时间: 2023-7-5 14:24
提示: 作者被禁止或删除内容自动屏蔽

作者: wqxlcdymqc 时间: 2023-7-5 14:46
如果不用GPU，搞个M1 M2 Mac Mini挺好的

作者: q3again0605 时间: 2023-7-5 15:25

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

是看了林yi视频了吧

作者: wimming 时间: 2023-7-5 16:14

dlutwang 发表于 2023-7-5 14:24
你的原盘放到阿里云，，，估计没几天就和谐了吧

这个只有小JIEJIE才会和谐吗，正经的电影也会？

作者: wimming 时间: 2023-7-5 16:20

wqxlcdymqc 发表于 2023-7-5 14:46
如果不用GPU，搞个M1 M2 Mac Mini挺好的

好几楼都推荐Mac mini，看来我可以先用手头的m1 air试试

作者: 我輩樹である 时间: 2023-7-5 16:25
本帖最后由我輩樹である于 2023-7-5 16:32 编辑

q3again0605 发表于 2023-7-5 15:25
是看了林yi视频了吧

看推特上的。很多做llm/vit的组都在给m2 ultra做适配了，其实不止m2，m1做适配的更多。

现在都在呼吁苹果给个官方支持。

作者: 我輩樹である 时间: 2023-7-5 16:35
本帖最后由我輩樹である于 2023-7-5 16:37 编辑

zhuifeng88 发表于 2023-7-4 18:57
关于这个...对比了下llama.cpu 65b q4_0的推理速度, 完全没能理解m2u怎么宠起来的
m2u顶配也就10token/s
...

可能是m2不需要买设备吧。苹果设备保有量比较大。搞得我也想买了。据说m1max也可以有5tokens。

作者: 数不清 时间: 2023-7-5 16:37
就NUC那低电压U，性能也能用？

作者: q3again0605 时间: 2023-7-5 19:09

我輩樹である发表于 2023-7-5 16:25
看推特上的。很多做llm/vit的组都在给m2 ultra做适配了，其实不止m2，m1做适配的更多。

现在都在呼吁苹 ...

同等价位的pc我知道能耗比肯定比不了，但是性能上应该超不少吧，应该够上3090ti sli和4090x2吧。但是考虑显存占用就吃亏了。

作者: zhuifeng88 时间: 2023-7-5 19:23

q3again0605 发表于 2023-7-5 19:09
同等价位的pc我知道能耗比肯定比不了，但是性能上应该超不少吧，应该够上3090ti sli和4090x2吧。但是考虑 ...

同价位足够4090x4了

作者: q3again0605 时间: 2023-7-5 19:29

zhuifeng88 发表于 2023-7-5 19:23
同价位足够4090x4了

也是差不多了，顶配好像5w多了

作者: tsaotse 时间: 2023-7-7 11:19
nuc9在高负载的时候，CPU风扇和电源风扇堪比飞机起飞……

作者: i6wz1l 时间: 2023-7-7 16:34
威联通吧有12带cpu的机器也就1w多块钱，虚拟机支持的比群辉好

作者: 山不是水 时间: 2023-7-8 05:35

我輩樹である发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

是看了林XX等UP在那吹的视频吧？
整个视频尬得。。。

作者: 山不是水 时间: 2023-7-8 05:39

dlutwang 发表于 2023-7-5 14:24
你的原盘放到阿里云，，，估计没几天就和谐了吧

迅雷离线下载到迅雷云盘，用Alist挂载迅雷云盘
迅雷云盘基本不会和谐，有些有版权的多试试几个国外的源，换源后基本都可以避免迅雷版权

作者: 我輩樹である 时间: 2023-7-8 08:05

山不是水发表于 2023-7-8 05:35
是看了林XX等UP在那吹的视频吧？
整个视频尬得。。。

什么林xx不清楚，见推特。

作者: sciwander 时间: 2023-7-8 11:24
NUC9+3060 itx

作者: 听弦 时间: 2023-7-8 13:03
其实，你只要放开体积，那性能和静音都能到位了，再说这玩意不用摆桌子上吧，随便哪个角落放放好了，大点就大点呗，散热什么的都不是问题。

作者: wimming 时间: 2023-7-8 15:56

听弦发表于 2023-7-8 13:03
其实，你只要放开体积，那性能和静音都能到位了，再说这玩意不用摆桌子上吧，随便哪个角落放放好了，大点就 ...

有道理，多谢

作者: wimming 时间: 2023-7-8 15:56

sciwander 发表于 2023-7-8 11:24
NUC9+3060 itx

现在应该是4060了？

作者: achu2000 时间: 2023-7-9 19:12
想玩机器学习的话，最好要有块nvidia的独显，6g以上显存，24g不嫌多。我用幻影峡谷(i71165g7@2.8G,rtx2060 6g)跑chatglm26b-int4勉强能跑，供参考。

作者: wimming 时间: 2023-7-10 00:16

achu2000 发表于 2023-7-9 19:12
想玩机器学习的话，最好要有块nvidia的独显，6g以上显存，24g不嫌多。我用幻影峡谷(,rtx2060 6g)跑chatglm2 ...

多谢指点，目前已不考虑普通小盒子的Nuc了

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)