mac mini4到手了, 跑大模型效果

netjunegg

手头有个游戏本是4060m显卡, 和mac mini4跑同样的大模型进行对比

同样用ollama跑qwen2.5:7b, 本以为mini 4的速度会明显慢, 谁知道并不慢, 反倒比4060m快50%

同样从0开始启动, 两边一模一样的提示词, 用go语言生成websocket客户端和服务端示例

mini 4总共耗时46秒, 4060m总共耗时70秒, 计时误差不超过2秒, 挺出乎意料的.

看了下两边数据都是百分百在gpu中, 显存占用6G多点.


另外试了下, mini4可以跑qwen2.5:14b, 显存占用10G多点, 这个4060m就无能为力了.

如果确实如此的话, 我感觉mini4挺值, 有点后悔没买pro加大内存的了, 不知道pro跑更大的模型效果怎么样


有没有小伙伴能做下类似的测试? 看跟我的结果是否一样?


---------------- 更新, 反转:
重启4060m的系统后, 再次测试4060m, 发现速度提高了非常多, 又大幅超越mini4, 领先一半以上,  无语了, 这个倒是比较符合预期

之前测试的时候已经重启过ollama服务端和客户端, 看来跟重启系统效果还是大不一样, 有点玄学, 难道系统运行久了就慢?

netjunegg

装陈醋的酱油瓶 发表于 2024-12-3 09:20
比如：过热进入降频状态性能会发挥的更加保守，直到重启才会恢复。
有的笔记本从待机状态恢复的性能就很 ...

我Linux系统, ubuntu2404, 自带官方cuda驱动, 发现每次ollama启动第一次能用cuda, 第二次启动就不行, 抱错, 对用户太不友好了, 这点不如mini

装陈醋的酱油瓶

netjunegg 发表于 2024-12-1 12:07
生成结果倒是很接近, 但是

---------------- 更新, 反转:

比如：过热进入降频状态性能会发挥的更加保守，直到重启才会恢复。
有的笔记本从待机状态恢复的性能就很不正常
另外巨硬的快速启动也是坨翔

wqxlcdymqc

飞翔 发表于 2024-12-2 15:06
4060多少钱？ M4 MAX多少钱呢？

我又没扯价格的事，就说下m4在大模型方面比4060还差远了，需要m4 max才能比。况且会买这个的，又不可能专门是冲着大模型去的，大模型只是里面能做到的一个方面而已。既然选择笔记本，有几个人是专门为了跑大模型的。
你真要比，咋不比在能耗、屏幕、续航、重量这些方面能达到m4 max的macbook pro的4060笔记本要多少钱

飞翔

wqxlcdymqc 发表于 2024-12-2 13:40
看了不少大模型测试，m4 max才能超过4060，也不是全面超过

4060多少钱？ M4 MAX多少钱呢？

wqxlcdymqc

看了不少大模型测试，m4 max才能超过4060，也不是全面超过

rnxii

nikition 发表于 2024-12-1 15:56
京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

你可以等双十二，教育优惠加88vip

nikition

烨庆 发表于 2024-12-1 17:33
不要浪费时间精力，抢不过黄牛的，别人用脚本，你手动.

哦，原来是这样子呀。。。

fkpwolf

netjunegg 发表于 2024-12-2 11:20
说一句就应该完整加载吧? 不可能加载一部分就能输出结果吧?

a s k c h a t g p t

netjunegg

fkpwolf 发表于 2024-12-2 09:53
这太少了，试试说100句不同的然后对比下

说一句就应该完整加载吧? 不可能加载一部分就能输出结果吧?

fkpwolf

netjunegg 发表于 2024-12-2 08:07
应该加载好了, 两边都是先说句"你好", 它给出回应, 说明都加载好了

不过4060m这边重启了下系统后重测,  ...

这太少了，试试说100句不同的然后对比下

netjunegg

uprit 发表于 2024-12-2 07:46
你这侧的不严谨啊，得先把模型加载好，再测输出速度呀。正常使用大模型，一般都常驻内存显存的。

...

应该加载好了, 两边都是先说句"你好", 它给出回应, 说明都加载好了

不过4060m这边重启了下系统后重测, 结果有所反转

uprit

netjunegg 发表于 2024-12-1 09:10
我看链接里面是单纯考虑显存带宽, 而且是纯理论带宽, 不是实测性能. 所以3060比4060高很多, 因为前者位宽 ...

其实没毛病，大模型发展这块儿，现在可以说遇到了“内存墙”，也就是带宽瓶颈。M4带宽就120GB，跑模型用，丐版16G就挺好，内存再高没意义。

uprit

你这侧的不严谨啊，得先把模型加载好，再测输出速度呀。正常使用大模型，一般都常驻内存显存的。

cabala

二手M1和M2价格已经向TV靠拢了

netjunegg

BetaHT 发表于 2024-12-1 21:57
运行大型模型肯定需要用到显卡。
Mac Mini的主要定位是体验macOS系统。

丐版还好吧, 同等价位x86 nuc很难跑大模型, 但mini可以, 甚至可以跑14b的, 速度还是可以的, 可以正常使用. 而且居然带音箱, 效果还不错, 出乎意料.

另外发现, 天天玩的游戏wotb支持macos, 运行非常流畅, 每天玩两三个小时.

mini和apple tv很接近, 如果价格再向apple tv靠拢一点就更好了

BetaHT

运行大型模型肯定需要用到显卡。
Mac Mini的主要定位是体验macOS系统。

当前，网络购物们在全力为Mac Mini寻找应用场景，这恰恰说明它的实际用途可能并不值那么多钱，因为最了解自己产品的苹果公司自己也没有过多强调这些用途。

另外，印象中作为Mac体验入门版的Mac Mini起步价应该不到3000元，现在都已经涨到4000多元了，却还在谈论性价比，这实在是令人费解。

raiya

nikition 发表于 2024-12-1 15:56
京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

闲鱼，第一批拿到的人那里收的，加了一百多块钱，也就教育优惠的价格。

这种事情么，想穿就是加点钱，节约一个月时间。第一批拿到的人本来就最便宜，而且还必须在第二批拿到的人之前出手，所以价格也不会很高。

烨庆

nikition 发表于 2024-12-1 15:56
京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

不要浪费时间精力，抢不过黄牛的，别人用脚本，你手动.

nikition

京东那个3千多有补贴的一直抢不到。。。。大家都是4千多入手吗？

netjunegg

zhuifeng88 发表于 2024-12-1 11:43
一样的prompt但不用greedy采样的话两边生成的东西大概率是不一样的, 你有确认过两边生成的长度差不多吗
(或 ...

生成结果倒是很接近, 但是

---------------- 更新, 反转:
重启4060m的系统后, 再次测试4060m, 发现速度提高了非常多, 又大幅超越mini4, 领先一半以上,  无语了, 这个倒是比较符合预期

之前测试的时候已经重启过ollama服务端和客户端, 看来跟重启系统效果还是大不一样, 有点玄学, 难道系统运行久了就慢?

zhuifeng88

一样的prompt但不用greedy采样的话两边生成的东西大概率是不一样的, 你有确认过两边生成的长度差不多吗
(或者说最好加上ollama的log)

buxiang110

dsy12289011 发表于 2024-12-1 05:42
感觉不如3070性价比高阿

成熟模型，m2跑起来都很快。但是如果训练，内存明显不够。

binne

深水河 发表于 2024-12-1 11:10
mac用户好不容易给自己创造了一项需求，你这样不太好吧

只是苹果统一内存的意外功能。很好，比HMB便宜多了。

深水河

binne 发表于 2024-12-1 11:00
企业里都是有机房的。
学生写论文直接4090，毕竟代码写累了可以玩游戏。
夹在中间，Mac Studio 满配128GB内 ...

mac用户好不容易给自己创造了一项需求，你这样不太好吧

cecini

mini 哪个配置

wispier

M4的意义在于，游戏显卡跑不了的大模型它能跑，前提是内存足够大

binne

企业里都是有机房的。
学生写论文直接4090，毕竟代码写累了可以玩游戏。
夹在中间，Mac Studio 满配128GB内存。

这个Mac Mini 跑大模型，给谁用？学生说不能玩游戏，企业说 我有机房，中间夹心层说，Studio不好吗？

Mac能跑AI，算是一个卖点，只是点缀吧，聊胜于无。

晓古城

能买来挖旷了

netjunegg

raiya 发表于 2024-12-1 09:25
按照目前看到的信息，这东西要么就最低配，性价比最高。要么就配到48G以上，内存越大越好MAX ULTRA的。

...

确实如此, 中间一系列还是挺尴尬的, 如果价格再亲民点就好了, 说不定能卖疯, 特别是32G版本

本地跑个模型还是挺方便的, 挺有用

另外m4系列带宽好像稍有提升, 比如基础款120G, pro 273GB/s, max 546G, 比400高了不少. 不知道ultra会不会超1T