terryteng 发表于 2025-3-14 14:20
然后是跑大模型的结果，分别跑了qwq、gemma3:27b、deepseek-r1:32b、deepseek-r1:70b，基本是原本满配Mac ...
你的qwq是多少量化
高内存版本对我还是贵了点……
hawie 发表于 2025-3-16 08:31
macOS 比其他OS更容易安装deepseek：
1. 安装ollama，首页点下载、再安装即可。
已经收到了
zylicheng 发表于 2025-3-16 16:57
已经收到了
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一项，点击显示GPU等硬件信息。关心36GB统一内存默认会留多少给GPU。
hawie 发表于 2025-3-16 18:46
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一 ...
好的，在下载ollama，一会全部试试
m1max接着在用吧
hawie 发表于 2025-3-16 18:46
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一 ...
默认好像是3/4的总内存，我的mbp是12/16，mini是48/64
hawie 发表于 2025-3-15 07:32
一台机子，能跑的量化蒸馏模型不多，保留着参数，或者latest省略，都正常，除非经常换来换去。一般也就是 ...
量化、蒸馏损失再大，无关紧要，性能妥协而已 —— 呵呵，这可不是速度慢不慢的性能问题啊
感谢分享，硬盘扩充到4T好评！
求一个小天才李燎 Pro产品购买链接
m4 pro的mac mini真的强的离谱。。
hawie 发表于 2025-3-16 18:46
好！
还有一个https://lmstudio.ai/，这个安装启动之后，它的右下角有个齿轮，点击进设置，选左侧最后一 ...
LM Studio也能看，最近能跑的量化版本你参考吧
fevaoctwh 发表于 2025-3-17 10:37
LM Studio也能看，最近能跑的量化版本你参考吧
27GB VRAM，真好！跑这几个当红大模型轻轻松松了。
32b用m4 pro能及格/良好，要优秀必须得max以上了。
haoyumena 发表于 2025-3-16 09:50
感谢。我查看了一下我自己的，默认这两个选项已经是0，然后ollama ps显示100%GPU，我自己的是64G的版本， ...
我之前M4Pro 64G，系统不调整配置的话，ollama跑32b也是10T/s左右
就多了个PRO，但性能提升真的大
amagene 发表于 2025-3-16 13:25
你的qwq是多少量化
32b-q4_K_M
今天我也下单了一台 M4
这北美版音箱真耐用
dsp 发表于 2025-4-3 06:51
老板，实际跑起来是什么成绩？
前面已经回复过了 你翻一翻哈哈
音箱经典，有年头了[傻笑]