wimming 发表于 2023-7-4 17:10

SeeSnow 发表于 2023-7-4 13:24
如果用TensorFlow和PyTorch

你也可以考虑在m1或m2的mac mini或studio上跑


这个是两年前帖子了不知道现在软件方面怎样，我目前是用的M1 MACBOOK

zhuifeng88 发表于 2023-7-4 18:57

我輩樹である 发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

关于这个...对比了下llama.cpu 65b q4_0的推理速度, 完全没能理解m2u怎么宠起来的
m2u顶配也就10token/s
36核spr全核3.6GHz略微改动仅仅把avx512vnni用起来没有深入优化就有8-9token/s了, 价格不到顶配m2u一半

yan1990_y 发表于 2023-7-4 19:02

meng83 发表于 2023-7-4 09:33
取决于具体模型，很多时候cpu比gpu快

你说的是训练还是推理啊？能不能举个例子啊，这样我就不用买H100了

zhuifeng88 发表于 2023-7-4 19:11

yan1990_y 发表于 2023-7-4 19:02
你说的是训练还是推理啊？能不能举个例子啊，这样我就不用买H100了

llm不切图单纯把权重offload给system memory就很容易这样, 卡在pcie带宽上, 全cpu跑反而不会有这个问题, 切图的话毕竟复杂程度一下子上去了

dlutwang 发表于 2023-7-5 14:24

wqxlcdymqc 发表于 2023-7-5 14:46

如果不用GPU，搞个M1 M2 Mac Mini挺好的

q3again0605 发表于 2023-7-5 15:25

我輩樹である 发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

是看了林yi视频了吧[傻笑]

wimming 发表于 2023-7-5 16:14

dlutwang 发表于 2023-7-5 14:24
你的原盘放到阿里云，，，估计没几天就和谐了吧

这个只有小JIEJIE才会和谐吗，正经的电影也会？

wimming 发表于 2023-7-5 16:20

wqxlcdymqc 发表于 2023-7-5 14:46
如果不用GPU，搞个M1 M2 Mac Mini挺好的

好几楼都推荐Mac mini，看来我可以先用手头的m1 air试试

我輩樹である 发表于 2023-7-5 16:25

本帖最后由 我輩樹である 于 2023-7-5 16:32 编辑

q3again0605 发表于 2023-7-5 15:25
是看了林yi视频了吧

看推特上的。很多做llm/vit的组都在给m2 ultra做适配了，其实不止m2，m1做适配的更多。

现在都在呼吁苹果给个官方支持。

我輩樹である 发表于 2023-7-5 16:35

本帖最后由 我輩樹である 于 2023-7-5 16:37 编辑

zhuifeng88 发表于 2023-7-4 18:57
关于这个...对比了下llama.cpu 65b q4_0的推理速度, 完全没能理解m2u怎么宠起来的
m2u顶配也就10token/s
...

可能是m2不需要买设备吧。苹果设备保有量比较大。搞得我也想买了。据说m1max也可以有5tokens。

数不清 发表于 2023-7-5 16:37

就NUC那低电压U，性能也能用？

q3again0605 发表于 2023-7-5 19:09

我輩樹である 发表于 2023-7-5 16:25
看推特上的。很多做llm/vit的组都在给m2 ultra做适配了，其实不止m2，m1做适配的更多。

现在都在呼吁苹 ...

同等价位的pc我知道能耗比肯定比不了，但是性能上应该超不少吧，应该够上3090ti sli和4090x2吧。但是考虑显存占用就吃亏了。

zhuifeng88 发表于 2023-7-5 19:23

q3again0605 发表于 2023-7-5 19:09
同等价位的pc我知道能耗比肯定比不了，但是性能上应该超不少吧，应该够上3090ti sli和4090x2吧。但是考虑 ...

同价位足够4090x4了

q3again0605 发表于 2023-7-5 19:29

zhuifeng88 发表于 2023-7-5 19:23
同价位足够4090x4了

也是差不多了，顶配好像5w多了

tsaotse 发表于 2023-7-7 11:19

nuc9在高负载的时候，CPU风扇和电源风扇堪比飞机起飞……

i6wz1l 发表于 2023-7-7 16:34

威联通吧有12带cpu的机器也就1w多块钱，虚拟机支持的比群辉好

山不是水 发表于 2023-7-8 05:35

我輩樹である 发表于 2023-7-4 09:02
很多人肯定想不到，当前用transformer做应用的新宠居然是mac studio m2 ultra顶配。 ...

是看了林XX等UP在那吹的视频吧？
整个视频尬得。。。

山不是水 发表于 2023-7-8 05:39

dlutwang 发表于 2023-7-5 14:24
你的原盘放到阿里云，，，估计没几天就和谐了吧

迅雷离线下载到迅雷云盘，用Alist挂载迅雷云盘
迅雷云盘基本不会和谐，有些有版权的多试试几个国外的源，换源后基本都可以避免迅雷版权

我輩樹である 发表于 2023-7-8 08:05

山不是水 发表于 2023-7-8 05:35
是看了林XX等UP在那吹的视频吧？
整个视频尬得。。。

什么林xx不清楚，见推特。

sciwander 发表于 2023-7-8 11:24

NUC9+3060 itx

听弦 发表于 2023-7-8 13:03

其实，你只要放开体积，那性能和静音都能到位了，再说这玩意不用摆桌子上吧，随便哪个角落放放好了，大点就大点呗，散热什么的都不是问题。

wimming 发表于 2023-7-8 15:56

听弦 发表于 2023-7-8 13:03
其实，你只要放开体积，那性能和静音都能到位了，再说这玩意不用摆桌子上吧，随便哪个角落放放好了，大点就 ...

有道理，多谢[音乐]

wimming 发表于 2023-7-8 15:56

sciwander 发表于 2023-7-8 11:24
NUC9+3060 itx

现在应该是4060了？

achu2000 发表于 2023-7-9 19:12

想玩机器学习的话，最好要有块nvidia的独显，6g以上显存，24g不嫌多。我用幻影峡谷(i71165g7@2.8G,rtx2060 6g)跑chatglm26b-int4勉强能跑，供参考。

wimming 发表于 2023-7-10 00:16

achu2000 发表于 2023-7-9 19:12
想玩机器学习的话，最好要有块nvidia的独显，6g以上显存，24g不嫌多。我用幻影峡谷(,rtx2060 6g)跑chatglm2 ...

多谢指点，目前已不考虑普通小盒子的Nuc了
页: 1 [2]
查看完整版本: 最近学习machine learning想用nuc替换掉群晖