构建本地AI：以低成本运行大型模型，实现高效中文任务处理，媲美**4性能

enots · 发表于 2024-6-4 13:02

CPU：Intel xeon 金牌 6133 *2
内存：DDR4 ECC 32G *8
硬盘：1T U2 SSD +2 T U2 SSD
显卡：华硕涡轮2080Ti魔改 22G*8 +4个NvLink 88G显存价格2.5K*8
以上全部购自淘宝，总计3.5W左右

enots · 发表于 2024-6-4 13:04

【在本地环境中直接运行未经量化的全尺寸模型：Smaug-Llama-3-70B】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

enots · 发表于 2024-6-4 13:05

【通义千问110B本地8卡魔改2080ti推理速度测试报告】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

enots · 发表于 2024-6-4 13:06

【八块魔改2080ti显卡跑llama-3-70b-instruct-**Q】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

enots · 发表于 2024-6-4 13:07

【八块魔改2080ti显卡满血跑Mixtral-8x22B-Instruct-v0.1-AWQ】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

enots · 发表于 2024-6-4 13:09

【8卡魔改2080ti版驱动通义千问，72Bint8展现30K上下文的强大语言处理能力】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

enots · 发表于 2024-6-4 13:10

【8卡魔改2080ti跑Qwen1.5 72B int8速度测试】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

enots · 发表于 2024-6-4 13:11

【8卡魔改2080ti跑Qwen1.5 72B int4速度测试】 https://www.bilibili.com/video/B ... f49ac546d9c806aa33c

fly8008 · 发表于 2024-6-4 18:06

高端了！！！

robles · 发表于 2024-6-4 22:50

8块22G的2080ti，性价比之选。

Wolverine · 发表于 2024-6-4 23:25

狠.......

enots · 发表于 2024-6-5 08:26

fly8008 发表于 2024-6-4 18:06
高端了！！！

这些都是捡垃圾的

fly8008 · 发表于 2024-6-5 08:58

enots 发表于 2024-6-5 08:26
这些都是捡垃圾的

太谦虚了！

ninepiece · 发表于 2024-6-5 11:08

能花少的钱，达到花大钱的目的，我一向是佩服的。

haighost · 发表于 2024-6-6 20:48

2080TI，显卡一多，其实也就够用了

账号		自动登录	找回密码
密码			加入我们

[电脑] 构建本地AI：以低成本运行大型模型，实现高效中文任务处理，媲美**4性能