海鲜市场淘个二手雷电3的拓展钨吧
没有需求啊。。。 港城钢铁侠 发表于 2025-2-17 13:46
跑32b的话24G内存后台多一点就不太够了吧，我这边是m4 24g+512g，跑32B内存会爆，能看到用到swap分区拿硬 ...
open webui可以跑单独机器容器里 走http://ollama:port通信 p_ricky777 发表于 2025-2-18 17:21
手感灾难，我宁愿用接收器
各有所爱吧，一直用MAC我觉得还挺好的。 haoyumena 发表于 2025-2-17 23:59
我那台是64G的，跑起来内存占用见过飙到40的，我觉得48G可能才比较稳。
我现在主要是用lm studio，open...
lm studio默认调mlx open webui以前名字叫ollama webui YsHaNg 发表于 2025-2-18 17:24
open webui可以跑单独机器容器里 走http://ollama:port通信
是的，但是说实话就m4的那点内存带宽，跑32B速度太慢了 i6wz1l 发表于 2025-2-18 14:14
32跑了么
速度怎么样呢
32B跑4bit mlx有13t/s左右
页:
1
[2]