找回密码
 加入我们
搜索
      
查看: 1784|回复: 24

[显卡] 给热力消退的本地AI部署浇把火🔥

[复制链接]
发表于 2025-7-6 14:12 | 显示全部楼层 |阅读模式
本帖最后由 hawie 于 2025-7-6 14:14 编辑

发现一个本地实用组合:

模型:Qwen3 30b a6b, 128k context
性能:58 token/s
价格:¥6999
机型:Mac mini m4pro 10GbE

以前要满血Deepseek R1才可能回答正确的两个验智题,全部回答正确:
(末尾行首有性能显示)

题一:每局随机抽取四张扑克牌,可以重复使用。
仅允许使用加法(+)、减法(-)、乘法(x) 、除法(÷)四种运算符。
每张牌必须使用且只能使用一次。
目标是通过这些运算使四张牌的计算结果等于24。第一组:1 9 4 5
截屏2025-07-06 13.24.35.png

题二:有100堆外观相同的金币,每堆100个。其中某一堆中的所有金币都是假币,而其他堆中的所有金币都是真币,每枚真币重10克,每枚假币重11克。你有一台最大称重50Kg的电子秤可以称重,那么要识别出有假币的那一堆,最少需要几次称重?
截屏2025-07-06 13.53.55.png

还有更牛的组合吗?
抛砖帖,欢迎推荐/交流!
发表于 2025-7-6 14:24 来自手机 | 显示全部楼层
24gb内存版本?
发表于 2025-7-6 14:31 | 显示全部楼层
这个是24G内存的吗?
 楼主| 发表于 2025-7-6 14:48 | 显示全部楼层
本帖最后由 hawie 于 2025-7-6 14:50 编辑

是的,m4pro 24GB ram、512GB ssd、10GbE nic。
发表于 2025-7-6 14:53 | 显示全部楼层
买个3090,咸鱼5000多
发表于 2025-7-6 14:53 | 显示全部楼层
你问它
正八胞体在四维空间用8种颜色涂它的8个胞(不限次数),有多少种涂法
发表于 2025-7-6 15:06 | 显示全部楼层
yakeyyy 发表于 2025-7-6 14:53
你问它
正八胞体在四维空间用8种颜色涂它的8个胞(不限次数),有多少种涂法 ...

你真坏
 楼主| 发表于 2025-7-6 15:37 | 显示全部楼层
yakeyyy 发表于 2025-7-6 14:53
你问它
正八胞体在四维空间用8种颜色涂它的8个胞(不限次数),有多少种涂法 ...

你欺负AI可以,不过AI很清楚自己的能力,把问题退化为“无对称性要求”了。虽然但是根据正八胞体的几何特性,对称性必须纳入考量。

看在这AI只有30b的份上,你凑合看看调戏的结果吧
截屏2025-07-06 15.20.57.png
 楼主| 发表于 2025-7-6 15:38 | 显示全部楼层
发表于 2025-7-6 15:43 来自手机 | 显示全部楼层
内存太小了
发表于 2025-7-6 16:27 | 显示全部楼层
yakeyyy 发表于 2025-7-6 14:53
你问它
正八胞体在四维空间用8种颜色涂它的8个胞(不限次数),有多少种涂法 ...

....
因此,考虑到正八胞体在四维空间中的旋转对称性,用8种可重复使用的颜色涂其8个胞,共有 88,858 种不等价的涂法。
 楼主| 发表于 2025-7-6 16:40 | 显示全部楼层
hawie 发表于 2025-7-6 15:37
你欺负AI可以,不过AI很清楚自己的能力,把问题退化为“无对称性要求”了。虽然但是根据正八胞体的几何特 ...

鼻祖官网也是这么干的:
截屏2025-07-06 16.36.05.png

谷 歌家的:
截屏2025-07-06 16.35.02.png
截屏2025-07-06 16.35.30.png

发表于 2025-7-6 16:51 | 显示全部楼层
hawie 发表于 2025-7-6 16:40
鼻祖官网也是这么干的:

也是谷歌家的
这是一个非常有趣的组合数学问题,它不能简单地用 8⁸ 来计算,因为正八胞体(Tesseract)在四维空间中可以旋转。如果一种涂色方案可以通过旋转得到另一种方案,那么这两种方案就被视为是同一种。要解决这个问题,我们需要使用群论中的伯恩赛德引理(Burnside's Lemma)。
解题思路
伯恩赛德引理的公式为:
不同涂法数量 = (1 / |G|) * Σ |X^g|
其中:
G 是对象的对称操作群(在这里是正八胞体的旋转群)。
|G| 是这个群中元素的数量(即旋转操作的总数)。
g 是群中的一个元素(一种具体的旋转操作)。
X 是所有可能的涂色方案集合(不考虑对称性,即 8⁸ 种)。
X^g 是在旋转 g 操作下保持不变的涂色方案集合。
|X^g| 是这些不变方案的数量。
Σ |X^g| 是对所有旋转操作 g,其不变方案数的总和。
步骤 1: 确定旋转群的大小 |G|
正八胞体是四维的立方体。我们可以通过与三维立方体的类比来找到其旋转群的大小。
一个三维立方体有6个面。我们可以将任意一个面旋转到“顶部”位置(6种选择)。
固定一个面在顶部后,我们还可以围绕穿过顶面和底面中心的轴旋转4次(0°, 90°, 180°, 270°)。
所以,立方体的旋转对称操作总数是 6 × 4 = 24。
现在我们将其推广到四维的正八胞体:
正八胞体有8个“胞”(每个胞都是一个三维立方体)。
我们可以将任意一个胞旋转到“前面”(8种选择)。
固定一个胞在“前面”后,我们可以对这个胞进行它自己的任意一种旋转对称操作,而整个正八胞体也随之旋转。一个立方体有24种旋转操作。
所以,正八胞体的旋转对称操作总数 |G| = 8 × 24 = 192。
步骤 2: 分类旋转操作并计算 |X^g|
这是最复杂的一步。我们需要将192种旋转操作分类,并找出每种旋转如何置换(permute)这8个胞。
对于一个旋转 g,如果它将8个胞置换成 k 个循环(cycle),那么要使一种涂色方案在 g 操作下保持不变,同一个循环内的所有胞必须涂上相同的颜色。我们有8种颜色可选,因此有 8^k 种不变的涂色方案。
根据对正八胞体旋转群的详细分析(这是一个非常高等的群论结果),我们可以将其192个旋转操作根据它们对8个胞的置换类型(循环结构)分为以下几类:
旋转类型描述        旋转操作数量        作用于8个胞的循环结构        循环数量 (k)        不变涂色方案数 (8^k)        对总和的贡献
1. 单位元 (Identity) <br> (不旋转)        1        (1)(1)(1)(1)(1)(1)(1)(1)        8        8⁸ = 16,777,216        1 × 16,777,216
2. 绕“面心”的180°旋转 <br> (36个)        36        (2)(2)(2)(2)        4        8⁴ = 4,096        36 × 4,096 = 147,456
3. 绕“顶点”的120°旋转 <br> (32个)        32        (1)(1)(3)(3)        4        8⁴ = 4,096        32 × 4,096 = 131,072
4. 绕“面心”的90°旋转 <br> (51个)        51        (4)(4)        2        8² = 64        51 × 64 = 3,264
5. 绕“顶点”的60°“螺旋”旋转 <br> (24个)        24        (2)(6)        2        8² = 64        24 × 64 = 1,536
6. 8阶旋转 <br> (48个)        48        (8)        1        8¹ = 8        48 × 8 = 384
总计        192                                17,060,928
(注:此处的分类和计数来自对该群循环指数(Cycle Index)的精确研究结果,例如 C. Cedillo 的论文 "The cycle index of the rotation group of the hypercube"。)
步骤 3: 计算最终结果
现在,我们将所有不变涂色方案的总和除以旋转操作的总数:
Σ |X^g| = 16,777,216 + 147,456 + 131,072 + 3,264 + 1,536 + 384 = 17,060,928
不同涂法数量 = (1 / 192) * 17,060,928
17,060,928 / 192 = 88,859
结论
将正八胞体的8个胞用8种颜色进行涂色(颜色可重复使用),考虑旋转对称性后,共有 88,859 种不同的涂法。
发表于 2025-7-6 17:08 来自手机 | 显示全部楼层
现在个人跑ai本地推理最具新性价比的就是mac。我的m1 max 好几年前的本,跑qwen3 32b 都能跑到15token/sec。国内开放本地使用的模型现在qwen3就是扛把子,搞rag跑1.7b很多时候都够了。safetensor模型用mlx项目提供的转换脚本秒转换为mlx的。
发表于 2025-7-6 17:26 | 显示全部楼层
什么叫浇火?
 楼主| 发表于 2025-7-6 17:33 | 显示全部楼层

粗以为6999能达到这个性能算是门槛拉低很多了
发表于 2025-7-6 17:40 来自手机 | 显示全部楼层
挺不错的 垃圾佬机器随便插张8gb独显就能加速 q4 a6b妥妥能塞得下 甚至用不上6000多的mac
发表于 2025-7-6 17:42 | 显示全部楼层
这不叫消退,叫回归正常,本来就没有多少本地部署需求,当初就是跟风罢了,真要玩ai,买个4070tis都比这强无数倍。
 楼主| 发表于 2025-7-6 17:47 | 显示全部楼层
YsHaNg 发表于 2025-7-6 17:40
挺不错的 垃圾佬机器随便插张8gb独显就能加速 q4 a6b妥妥能塞得下 甚至用不上6000多的mac ...

这个模型大小是30b的,超过了16GB,16gb独显也不够的。不是纯a6b。
发表于 2025-7-6 18:04 | 显示全部楼层
普通使用,我就用混元了。

我是支持本地部署的,一直有拿AI做超级秘书的想法。

把每天接触到的所有信息全部扔给AI,让AI记着、分析。以后问AI 10年前,某天听到的音乐是什么,AI能说出来,岂不是很屌。
发表于 2025-7-6 18:17 来自手机 | 显示全部楼层
hawie 发表于 2025-7-6 09:47
这个模型大小是30b的,超过了16GB,16gb独显也不够的。不是纯a6b。

总参数量30b 单次激活6b 保证激活张量层在vram就行
发表于 2025-7-6 18:19 | 显示全部楼层
30b a6b?这个大小我的137K+64G内存勉强也能跑
发表于 2025-7-6 18:57 | 显示全部楼层
四张3090有没有什么推荐的模型?机器组起来还没怎么来得及折腾。
发表于 2025-7-6 21:54 | 显示全部楼层
BetaHT 发表于 2025-7-6 18:04
普通使用,我就用混元了。

我是支持本地部署的,一直有拿AI做超级秘书的想法。

+1

无脑支持一下
发表于 2025-7-6 22:16 | 显示全部楼层
sfczhw 发表于 2025-7-6 14:53
买个3090,咸鱼5000多

我之前也想买,就是怕 挂的几率有点大
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-7-6 22:27 , Processed in 0.035455 second(s), 5 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表