跨越不止一点——M4升级M4 Pro+4TB/32B至每秒17词

amagene

terryteng 发表于 2025-3-14 14:20
然后是跑大模型的结果，分别跑了qwq、gemma3:27b、deepseek-r1:32b、deepseek-r1:70b，基本是原本满配Mac ...

你的qwq是多少量化

Freewill1

高内存版本对我还是贵了点……

zylicheng

hawie 发表于 2025-3-16 08:31
macOS 比其他OS更容易安装deepseek：
1. 安装ollama，首页点下载、再安装即可。

已经收到了

hawie

zylicheng 发表于 2025-3-16 16:57
已经收到了

好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一项，点击显示GPU等硬件信息。关心36GB统一内存默认会留多少给GPU。

zylicheng

hawie 发表于 2025-3-16 18:46
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一 ...

好的，在下载ollama，一会全部试试

浮夸谁的爱

m1max接着在用吧

haoyumena

hawie 发表于 2025-3-16 18:46
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一 ...

默认好像是3/4的总内存，我的mbp是12/16，mini是48/64

bbzcat

hawie 发表于 2025-3-15 07:32
一台机子，能跑的量化蒸馏模型不多，保留着参数，或者latest省略，都正常，除非经常换来换去。一般也就是 ...

量化、蒸馏损失再大，无关紧要，性能妥协而已 —— 呵呵，这可不是速度慢不慢的性能问题啊

iget

感谢分享，硬盘扩充到4T好评！

zufh

求一个

小天才李燎 Pro产品

购买链接

microsc

m4 pro的mac mini真的强的离谱。。

fevaoctwh

hawie 发表于 2025-3-16 18:46
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一 ...

LM Studio也能看，最近能跑的量化版本你参考吧

hawie

fevaoctwh 发表于 2025-3-17 10:37
LM Studio也能看，最近能跑的量化版本你参考吧

27GB VRAM，真好！跑这几个当红大模型轻轻松松了。
32b用m4 pro能及格/良好，要优秀必须得max以上了。

terryteng

haoyumena 发表于 2025-3-16 09:50
感谢。我查看了一下我自己的，默认这两个选项已经是0，然后ollama ps显示100%GPU，我自己的是64G的版本， ...

我之前M4Pro 64G，系统不调整配置的话，ollama跑32b也是10T/s左右

蓝雪

就多了个PRO，但性能提升真的大

terryteng

amagene 发表于 2025-3-16 13:25
你的qwq是多少量化

32b-q4_K_M

Paramount

今天我也下单了一台 M4

xiaomin23

这北美版音箱真耐用

dsp

terryteng 发表于 2025-3-10 14:43
目前看机器要下周才送到，到时候跑一下。
按照同等配置的mbp，我看下来32B应该是20tokens/sec左右 ...

老板，实际跑起来是什么成绩？

terryteng

dsp 发表于 2025-4-3 06:51
老板，实际跑起来是什么成绩？

前面已经回复过了 你翻一翻哈哈

jyecdd

音箱经典，有年头了