solder 发表于 2025-5-26 11:31
24g这种，我一张12g插显卡槽，另一张插pcie4*4，都是40系的能相当于24g吗？
跑生成图片和视频不行，跑llm推理可以
Amarillys 发表于 2025-5-26 21:16
跑生成图片和视频不行，跑llm推理可以
推理，文字相关吗？比如写小说？
那种听说要380G内存或显存才能满血？
a010301208 发表于 2025-5-26 10:39
贵了，A100，2块3一小时，量大优惠，而且这只是正常价格，没算上用特殊手段薅羊毛
...
卧槽这个价格，电费都不够吧。csp怎么挣钱啊
gyc 发表于 2025-5-26 20:14
什么平台？
之前楼下面不是发了[偷笑]
kaixin_chh 发表于 2025-5-26 22:34
卧槽这个价格，电费都不够吧。csp怎么挣钱啊
[偷笑]
baoziking 发表于 2025-5-26 18:34
这是哪里，我挺感兴趣玩儿一下的。
看25楼
solder 发表于 2025-5-26 21:27
推理，文字相关吗？比如写小说？
那种听说要380G内存或显存才能满血？
是的，非常大参数的模型是要很高的内存或者显存的，但是也有一些小的模型，比如24B 32B的，也值得一玩
gyc 发表于 2025-5-26 20:14
4060 不是只有8G的吗？
打错了 是4060TI[傻笑]
a010301208 发表于 2025-5-26 11:37
训练可以多卡，生成只能单卡
生成可以多卡呀……vllm？
但多型号的显卡混用……坑会很大。
gyc 发表于 2025-5-26 20:29
可以考虑，不过长期租，也不便宜， 一年下来接近2W，
我的意思是,线上可以看下你具体真需要什么显卡再选....
现在一堆人在那制造焦虑,其实不一定需要太大显存的....
mdeu 发表于 2025-5-27 10:47
我的意思是,线上可以看下你具体真需要什么显卡再选....
现在一堆人在那制造焦虑,其实不一定需要太大显存 ...
哦，好的， 我试试看
chs 发表于 2025-5-27 09:50
生成可以多卡呀……vllm？
但多型号的显卡混用……坑会很大。
昨天楼上推荐的那个不错，可惜目前局限还是不少，昨天玩了会今天还是换回之前的了，还是多卡分开同时跑不同的流程比较好[偷笑]
这入门有点高端。。。我是从 T4 16G双卡 到 4060Ti 16G四卡 到 4070TiS 16G四卡 再到的选项里的 4090 48G双卡。。。
感觉买个3080 20g性价比挺高的
本帖最后由 楼主的马甲 于 2025-5-27 20:32 编辑
zhuifeng88 发表于 2025-5-26 14:17
? 大半video模型你在说什么...
为毛赶脚你就是秋叶大佬啊
[偷笑]
话说现在自己家的AMD还不能布署GEMMA3吧？
楼主的马甲 发表于 2025-5-27 20:29
为毛赶脚你就是秋叶大佬啊
话说现在自己家的AMD还不能布署GEMMA3吧？
那讲道理显然不是, 倒不如说我不知道你在指哪个
至于amd gemma3...随便跑啊,哪怕mi50这种刚刚eol的vllm都还能跑起来gemma3, 只是性能稀烂完全没有实用意义了
awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们
[狂笑]
难道不是MacMini m4 pro 64G RAM是最便宜的选择吗? :)
l泰然处之01 发表于 2025-5-27 18:11
这入门有点高端。。。我是从 T4 16G双卡 到 4060Ti 16G四卡 到 4070TiS 16G四卡 再到的选项里的 4090 48G双 ...
主要是看到一些多模态模型，参数虽然不多，但显存占用几乎翻倍。
所以想选个高一点，至少不会遇到瓶颈。。
至于其他 优化，量化等，太高深了，对于以使用为主的我来说，有点难度。。
PS，其实主要是前期只有一台笔记本，在外边工作还不稳定。
eliz 发表于 2025-5-27 19:10
感觉买个3080 20g性价比挺高的
但30系列的，听说都被锻炼过。。 虽然性价比高，但到手就坏的可能性不是没有。。
porsche4me 发表于 2025-5-27 23:40
难道不是MacMini m4 pro 64G RAM是最便宜的选择吗? :)
我倒是觉得 AMD AI MAX 395+ 反而是首选， 至少X86 能干的比较多。
另一个是 Nvidia 年初说的那个超级迷你计算机， GB10 ，现在改名了， arm架构，128G LPDDR4 共享内存，据说性能接近5070，实际效果不明，但最大的优点是支持N家显卡通信交换机，用于边缘计算，只通过第三方合作伙伴发售，价格估计3K 美刀起步。。
awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们
你这话我不认同，显卡现在跟黄金一样的理财产品，自己随便玩，只要玩不坏，还能出二手。。
在线平台你是没用过，天天开着费钱，按需开又要配环境，有时候还要排队~~
反正富哥有预算，肯定优先自己买
方块李 发表于 2025-5-28 08:35
你这话我不认同，显卡现在跟黄金一样的理财产品，自己随便玩，只要玩不坏，还能出二手。。
在线平台你是 ...
目的和需求不同。 在线适合那种 短期 有急需的，小团队， 但肯定能不适合公司，一个是保密，一个数据量，真要训练给少说也给500，600GB以上， 就这容量，上传都是个问题。
说个不恰当的， 网吧可以提供电脑，但你看不是每个人都会自己买一台吗？
5060ti 16g玩玩，然后再看看3090或者4090。有钱直接上rtx pro 6000。aimax这个估计不太行
“入门”
gyc 发表于 2025-5-28 08:30
我倒是觉得 AMD AI MAX 395+ 反而是首选， 至少X86 能干的比较多。
另一个是 Nvidia 年初说的那个超级迷 ...
AMD的方案也是非常好, 我是再等等.. 现在本地AI还是想的挺好, 实际自己上手根本不行.. 性能啥的先不说, 给出的内容出错的太多了...
deepseek 再出神仙版本的时候估计本地AI的硬件也会有很大的提升... 苹果价格还是贵, 但很多大厂软件都是先匹配Mac...mac在这方面还是有优势的...
真要入显存大就是硬道理4090 48
porsche4me 发表于 2025-5-28 22:35
AMD的方案也是非常好, 我是再等等.. 现在本地AI还是想的挺好, 实际自己上手根本不行.. 性能啥的先不说,...
其实就算在线部署 大模型，都一样。 人家官方API 提供自动联网能力，不需要自行设置。
但所有私有部署都没有这个能力，需要自己实现。包括 私有数据集， 数据清洗， 向量数据库，代码解释器， 安全沙箱等等。。
但是，最近MCP火了，很多常见功能工具都会做成一个组件，比如 读取本地文件能力， 操作数据库，甚至 调用支付宝生成订单等。
所以我觉得， 这种机器的目标是不是部署一个 70B的模型， 而是部署多个模型，比如14B基准模型， 7B的多模态模型， 或者运行语音识别模型
kesayi 发表于 2025-5-29 16:25
真要入显存大就是硬道理4090 48
就是不知道有没有3风扇或者水冷版本，。。