最近我想本地部署deepseek真是魔怔了，大家看看这个跑70b模型速度怎么样

nepdaisuki

i6wz1l 发表于 2025-2-7 10:48
是这样的 忍住了 先不买了，在等等

m4 pro我看了，8台组合跑671b，输出是5tokens，基本属于不能用的状态

lyys

3080ti 部署ollama蒸馏的 DS 32b q4路过，好玩，速度不慢，CPU 7800x3d  32G内存。
结论：没个量化精度玩个毛

liushihao

本地部署是啥意思？

gmlee1999

个人就别搞本地，折腾费时费力费钱，结果效果还不好。

he8898

你买个二手macbookpro max2 96g，性价比最高

yueshen

已经在跑了，速度有点慢，我看有up主测试，5.9tokens/s，我有空测试一下速度

ANSANGLI

测试了几种民用配置后，放弃了。
这个还是要上A100，H100才真正有实用性。671B跑的流畅需要二百万左右吧。还是老老实实用API吧。

maaaaaaagie

咱就猜，会不会以后mac也被禁止销售了

LocaVoiD

觉得本地部署这些小规模的意义有限
70B 32B效果都比完整模型差很远，就算是1B量化，参考之前其它开源模型的经验，比起4B差距也是很大

hen898

mkkkno1 发表于 2025-2-7 14:16

这是哪个平台？

baoziking

已放弃本地部署，直接AI充钱。费这个劲整半天。。。他还是个弱智关键。

雨季不再来

psps3 发表于 2025-2-7 10:09
b站这个视频m4pro芯片64g内存，跑本地 70b deepseek r1 ，速度看上去不快
http://b23.tv/hbB0KhA ...

这个视频的速度是多少token/s？

PaperMellon

64G部署70B有些吃紧。主要是context length会非常受限。M4 Pro的算力勉强够用，但是内存不够的。

雨季不再来

tim6252 发表于 2025-2-7 13:57
家用ai搭建真的有啥用么

玩啊，那么多人买几万的5090是为了什么？

买法拉利的又是为了什么？

kkiller007

本地弄了14b用1080ti跑着玩，写写小作文还是可以的，快的飞起

雨季不再来

yueshen 发表于 2025-2-11 09:04
已经在跑了，速度有点慢，我看有up主测试，5.9tokens/s，我有空测试一下速度

这个怎么测试？ 我刚刚试了32b的，汉字就是一个一个的显示出来的，就像键盘一个一个输入一样，这个算多少token/s？

sun3797

自己部署成本还是太高，大显存的计算卡价格都抬头了~M40 Maxwell都可以卖断货，还是付钱api来的实际一些吧~

like2022

jihuan 发表于 2025-2-7 10:26
这么多api能用 一定要部署离线的干嘛？价格贵速度慢费时间，真是想不明白。怕国内api不安全还可以用其他国 ...

就是在线的不是自己的。自己的再差，在不花很多钱的情况下，训练一个私有的玩玩，也是目前的顶级科技。

williamqh

本地部署要花几万买专门的服务器硬件速度还慢，在云服务商租硬件$5-6/million tokens, 速度快得多。。。又不是24小时都要咨询大模型。

hanba

我的4070S 只能部署14B, 32b有点吃力

yopmai

用22G 2080Ti性价比最高

zzyzzy0512

雨季不再来 发表于 2025-2-15 12:29
这个怎么测试？ 我刚刚试了32b的，汉字就是一个一个的显示出来的，就像键盘一个一个输入一样，这个算多少 ...

看你用什么软件了，ollama的话加上--verbose命令，就是ollama run xxxx --verbose，输出完了会显示速度

雨季不再来

zzyzzy0512 发表于 2025-2-15 18:20
看你用什么软件了，ollama的话加上--verbose命令，就是ollama run xxxx --verbose，输出完了会显示速度 ...

谢谢，待会试试。

buffff

估计还是看个人能接受的token速度了

yueshen

雨季不再来 发表于 2025-2-15 12:29
这个怎么测试？ 我刚刚试了32b的，汉字就是一个一个的显示出来的，就像键盘一个一个输入一样，这个算多少 ...

ollama run命令加个 --verbose 参数

wangzorro

maaaaaaagie 发表于 2025-2-12 13:28
咱就猜，会不会以后mac也被禁止销售了

商用就mac那点算力不够看的，民用就那点需求犯不着禁