enots 发表于 2024-6-4 13:02

构建本地AI：以低成本运行大型模型，实现高效中文任务处理，媲美**4性能







CPU：Intel xeon 金牌 6133 *2
内存：DDR4 ECC 32G *8
硬盘：1T U2 SSD +2 T U2 SSD
显卡：华硕涡轮2080Ti魔改 22G*8 +4个NvLink 88G显存 价格2.5K*8
以上全部购自淘宝，总计3.5W左右

enots 发表于 2024-6-4 13:04

【在本地环境中直接运行未经量化的全尺寸模型：Smaug-Llama-3-70B】 https://www.bilibili.com/video/BV1vs421377R/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c
https://www.bilibili.com/video/BV1vs421377R/

enots 发表于 2024-6-4 13:05

【通义千问110B本地8卡魔改2080ti推理速度测试报告】 https://www.bilibili.com/video/BV1eb421Y7uS/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c

https://www.bilibili.com/video/BV1eb421Y7uS/

enots 发表于 2024-6-4 13:06


https://www.bilibili.com/video/BV1Mb421Y78H/

【八块魔改2080ti显卡跑llama-3-70b-instruct-**Q】 https://www.bilibili.com/video/BV1Mb421Y78H/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c

enots 发表于 2024-6-4 13:07

【八块魔改2080ti显卡满血跑Mixtral-8x22B-Instruct-v0.1-AWQ】 https://www.bilibili.com/video/BV1Xp421D7u8/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c

https://www.bilibili.com/video/BV1Xp421D7u8

enots 发表于 2024-6-4 13:09

【8卡魔改2080ti版驱动通义千问，72Bint8展现30K上下文的强大语言处理能力】 https://www.bilibili.com/video/BV1GF4m1T7Fj/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c


https://www.bilibili.com/video/BV1GF4m1T7Fj

enots 发表于 2024-6-4 13:10

【8卡魔改2080ti跑Qwen1.5 72B int8速度测试】 https://www.bilibili.com/video/BV1Eu4m1T7tN/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c

https://www.bilibili.com/video/BV1Eu4m1T7tN/

enots 发表于 2024-6-4 13:11

【8卡魔改2080ti跑Qwen1.5 72B int4速度测试】 https://www.bilibili.com/video/BV1Rx4y1m7Xz/?share_source=copy_web&vd_source=a0db244549aaef49ac546d9c806aa33c

https://www.bilibili.com/video/BV1Rx4y1m7Xz/

fly8008 发表于 2024-6-4 18:06

高端了！！！

robles 发表于 2024-6-4 22:50

8块22G的2080ti，性价比之选。

Wolverine 发表于 2024-6-4 23:25

狠.......

enots 发表于 2024-6-5 08:26

fly8008 发表于 2024-6-4 18:06
高端了！！！

这些都是捡垃圾的

fly8008 发表于 2024-6-5 08:58

enots 发表于 2024-6-5 08:26
这些都是捡垃圾的

太谦虚了！

ninepiece 发表于 2024-6-5 11:08

能花少的钱，达到花大钱的目的，我一向是佩服的。[傻笑]

haighost 发表于 2024-6-6 20:48

2080TI，显卡一多，其实也就够用了[再见]
页: [1]
查看完整版本: 构建本地AI：以低成本运行大型模型，实现高效中文任务处理，媲美**4性能