专业做AI的我盲猜楼主这是把内存当显存买来跑Ollama或其他大模型项目了,苹果的的内存再贵,能有老黄的显存贵吗? 有跑大模型么?什么参数的?我也刚刚买了台128G的,在等收货 70b 10t是它的极限。 我輩樹である 发表于 2025-2-10 18:45
70b 10t是它的极限。
用什么优化的参数,什么模型?大概的速度是? nan480 发表于 2025-2-10 18:47
用什么优化的参数,什么模型?大概的速度是?
能用的就是deepseek-r1 70bq4,蒸馏的也差不多。开flash attention,10tps。fp8也可以跑,速度忘了反正不快。 我輩樹である 发表于 2025-2-10 18:50
能用的就是deepseek-r1 70bq4,蒸馏的也差不多。开flash attention,10tps。fp8也可以跑,速度忘了反正不 ...
谢谢,频繁使用的话电池表现如何?机器发热怎么样 nan480 发表于 2025-2-10 19:03
谢谢,频繁使用的话电池表现如何?机器发热怎么样
发热噪音都是最大了,当然按照windows的标准不算大。
不插电平均掉电3-5%,gpu功耗50w。
nan480 发表于 2025-2-10 19:03
谢谢,频繁使用的话电池表现如何?机器发热怎么样
频繁使用还是接电源吧,热量和风扇转速会飞起,掉电也很快的,毕竟是疯狂计算中 leon168cool 发表于 2025-2-10 19:09
频繁使用还是接电源吧,热量和风扇转速会飞起,掉电也很快的,毕竟是疯狂计算中 ...
谢谢,还是好期待。
我想部署一个本地的模型做一些公司数据的分析,看看合同什么的。
然后在外接一个满血大模型日常做一些无关隐私的工作。
转了一圈用户体验好的还得是mac 我輩樹である 发表于 2025-2-10 19:09
发热噪音都是最大了,当然按照windows的标准不算大。
不插电平均掉电3-5%,gpu功耗50w。
谢谢,还是好期待。
我想部署一个本地的模型做一些公司数据的分析,看看合同什么的。
然后在外接一个满血大模型日常做一些无关隐私的工作。
转了一圈用户体验好的还得是mac latte79 发表于 2024-11-16 22:00
不能看呢,看了就想买,买了也没啥用
买了就可以去星巴克上班了
页:
1
[2]