mac mini4到手了, 跑大模型效果

netjunegg

手头有个游戏本是4060m显卡, 和mac mini4跑同样的大模型进行对比

同样用ollama跑qwen2.5:7b, 本以为mini 4的速度会明显慢, 谁知道并不慢, 反倒比4060m快50%

同样从0开始启动, 两边一模一样的提示词, 用go语言生成websocket客户端和服务端示例

mini 4总共耗时46秒, 4060m总共耗时70秒, 计时误差不超过2秒, 挺出乎意料的.

看了下两边数据都是百分百在gpu中, 显存占用6G多点.


另外试了下, mini4可以跑qwen2.5:14b, 显存占用10G多点, 这个4060m就无能为力了.

如果确实如此的话, 我感觉mini4挺值, 有点后悔没买pro加大内存的了, 不知道pro跑更大的模型效果怎么样


有没有小伙伴能做下类似的测试? 看跟我的结果是否一样?


---------------- 更新, 反转:
重启4060m的系统后, 再次测试4060m, 发现速度提高了非常多, 又大幅超越mini4, 领先一半以上,  无语了, 这个倒是比较符合预期

之前测试的时候已经重启过ollama服务端和客户端, 看来跟重启系统效果还是大不一样, 有点玄学, 难道系统运行久了就慢?

raiya

支持你买M4 MAX的笔记本。

游荡在灯塔

https://vmem-for-llms.kcores.com ... 0cfbc7990f015a88c70

请！

我个人试下来，m4 pro 24G在LM studio和sillytavern的情况下跑nemo 2407基本上和3080m 16G一个速度

dsy12289011

感觉不如3070性价比高阿

netjunegg

raiya 发表于 2024-12-1 04:24
支持你买M4 MAX的笔记本。

一方面数据差别太意外, 需要进一步验证
另一方面, 性能增长不一定是线型关系, 也需要进一步确定, 毕竟36g以上内存的太贵了, 买回来性能达不到要求就麻烦了

暂时交流为主

netjunegg

游荡在灯塔 发表于 2024-12-1 04:29
https://vmem-for-llms.kcores.com/index-cn?continueFlag=64a91bfe849e20cfbc7990f015a88c70

请！

我看链接里面是单纯考虑显存带宽, 而且是纯理论带宽, 不是实测性能. 所以3060比4060高很多, 因为前者位宽高

netjunegg

dsy12289011 发表于 2024-12-1 05:42
感觉不如3070性价比高阿

是啊, 二手性价比无敌

不过新款mini是真让人喜欢, 最小mini主机, 而且电源内置, 还自带音箱, 音箱效果好于很多笔记本, 就像一个美女, 又漂亮身材又好, 又很有才, 个人表示非常喜欢

raiya

netjunegg 发表于 2024-12-1 09:09
一方面数据差别太意外, 需要进一步验证
另一方面, 性能增长不一定是线型关系, 也需要进一步确定, 毕竟36g ...

按照目前看到的信息，这东西要么就最低配，性价比最高。要么就配到48G以上，内存越大越好MAX ULTRA的。

因为中间那个价格段，都不如拿这个钱去买显卡。

M4的内存带宽，最低的100G，就是双通道DDR5的带宽，pro 200G， MAX 400G，ULTRA 800G。GPU核心性能是肯定不如N卡的。所以一定要内存够大，那么在跑爆显存的模型的时候才有价值。

netjunegg

raiya 发表于 2024-12-1 09:25
按照目前看到的信息，这东西要么就最低配，性价比最高。要么就配到48G以上，内存越大越好MAX ULTRA的。

...

确实如此, 中间一系列还是挺尴尬的, 如果价格再亲民点就好了, 说不定能卖疯, 特别是32G版本

本地跑个模型还是挺方便的, 挺有用

另外m4系列带宽好像稍有提升, 比如基础款120G, pro 273GB/s, max 546G, 比400高了不少. 不知道ultra会不会超1T

晓古城

能买来挖旷了

binne

企业里都是有机房的。
学生写论文直接4090，毕竟代码写累了可以玩游戏。
夹在中间，Mac Studio 满配128GB内存。

这个Mac Mini 跑大模型，给谁用？学生说不能玩游戏，企业说 我有机房，中间夹心层说，Studio不好吗？

Mac能跑AI，算是一个卖点，只是点缀吧，聊胜于无。

wispier

M4的意义在于，游戏显卡跑不了的大模型它能跑，前提是内存足够大

cecini

mini 哪个配置

深水河

binne 发表于 2024-12-1 11:00
企业里都是有机房的。
学生写论文直接4090，毕竟代码写累了可以玩游戏。
夹在中间，Mac Studio 满配128GB内 ...

mac用户好不容易给自己创造了一项需求，你这样不太好吧

binne

深水河 发表于 2024-12-1 11:10
mac用户好不容易给自己创造了一项需求，你这样不太好吧

只是苹果统一内存的意外功能。很好，比HMB便宜多了。

buxiang110

dsy12289011 发表于 2024-12-1 05:42
感觉不如3070性价比高阿

成熟模型，m2跑起来都很快。但是如果训练，内存明显不够。

zhuifeng88

一样的prompt但不用greedy采样的话两边生成的东西大概率是不一样的, 你有确认过两边生成的长度差不多吗
(或者说最好加上ollama的log)

netjunegg

zhuifeng88 发表于 2024-12-1 11:43
一样的prompt但不用greedy采样的话两边生成的东西大概率是不一样的, 你有确认过两边生成的长度差不多吗
(或 ...

生成结果倒是很接近, 但是

---------------- 更新, 反转:
重启4060m的系统后, 再次测试4060m, 发现速度提高了非常多, 又大幅超越mini4, 领先一半以上,  无语了, 这个倒是比较符合预期

之前测试的时候已经重启过ollama服务端和客户端, 看来跟重启系统效果还是大不一样, 有点玄学, 难道系统运行久了就慢?

nikition

京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

烨庆

nikition 发表于 2024-12-1 15:56
京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

不要浪费时间精力，抢不过黄牛的，别人用脚本，你手动.

raiya

nikition 发表于 2024-12-1 15:56
京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

闲鱼，第一批拿到的人那里收的，加了一百多块钱，也就教育优惠的价格。

这种事情么，想穿就是加点钱，节约一个月时间。第一批拿到的人本来就最便宜，而且还必须在第二批拿到的人之前出手，所以价格也不会很高。

BetaHT

运行大型模型肯定需要用到显卡。
Mac Mini的主要定位是体验macOS系统。

当前，网络购物们在全力为Mac Mini寻找应用场景，这恰恰说明它的实际用途可能并不值那么多钱，因为最了解自己产品的苹果公司自己也没有过多强调这些用途。

另外，印象中作为Mac体验入门版的Mac Mini起步价应该不到3000元，现在都已经涨到4000多元了，却还在谈论性价比，这实在是令人费解。

netjunegg

BetaHT 发表于 2024-12-1 21:57
运行大型模型肯定需要用到显卡。
Mac Mini的主要定位是体验macOS系统。

丐版还好吧, 同等价位x86 nuc很难跑大模型, 但mini可以, 甚至可以跑14b的, 速度还是可以的, 可以正常使用. 而且居然带音箱, 效果还不错, 出乎意料.

另外发现, 天天玩的游戏wotb支持macos, 运行非常流畅, 每天玩两三个小时.

mini和apple tv很接近, 如果价格再向apple tv靠拢一点就更好了

cabala

二手M1和M2价格已经向TV靠拢了

uprit

你这侧的不严谨啊，得先把模型加载好，再测输出速度呀。正常使用大模型，一般都常驻内存显存的。

uprit

netjunegg 发表于 2024-12-1 09:10
我看链接里面是单纯考虑显存带宽, 而且是纯理论带宽, 不是实测性能. 所以3060比4060高很多, 因为前者位宽 ...

其实没毛病，大模型发展这块儿，现在可以说遇到了“内存墙”，也就是带宽瓶颈。M4带宽就120GB，跑模型用，丐版16G就挺好，内存再高没意义。

netjunegg

uprit 发表于 2024-12-2 07:46
你这侧的不严谨啊，得先把模型加载好，再测输出速度呀。正常使用大模型，一般都常驻内存显存的。

...

应该加载好了, 两边都是先说句"你好", 它给出回应, 说明都加载好了

不过4060m这边重启了下系统后重测, 结果有所反转

fkpwolf

netjunegg 发表于 2024-12-2 08:07
应该加载好了, 两边都是先说句"你好", 它给出回应, 说明都加载好了

不过4060m这边重启了下系统后重测,  ...

这太少了，试试说100句不同的然后对比下

netjunegg

fkpwolf 发表于 2024-12-2 09:53
这太少了，试试说100句不同的然后对比下

说一句就应该完整加载吧? 不可能加载一部分就能输出结果吧?

fkpwolf

netjunegg 发表于 2024-12-2 11:20
说一句就应该完整加载吧? 不可能加载一部分就能输出结果吧?

a s k c h a t g p t