本帖最后由 reekyboy 于 2025-9-13 14:09 编辑
编辑掉。抱歉给楼主带来不愉快
我好多时候都会把需求和配置问ai，也不知道ai的思路是否可以满足，顺便验证下
YsHaNg 发表于 2025-9-10 23:53
那还是有意义的 我就在用 因为公司不允许使用商业api 我自部署了小的qwen3-coder来辅助debug和写脚本 比 ...
我这边4090 48G，也是跑了几个，发现qwen3-30b-a3b-2507比qwen3-coder-30b好了不少。vscode + cline本地模型
0xff2012 发表于 2025-9-11 10:20
部署一个7B的小模型就可以 ，如果再不行就1.5B
这个规模，写写文档还行，其他幻觉太高了
楼主，你这个感觉是正常的。
刚接触巨兴奋，怎么看怎么牛逼。
其实你真要用，你可以先尝试下就花API的钱，给自己批个预算，比如1000块，先把API的钱花完，好好感受下，自己的场景需求到底有多少？
其实AI领域现在迭代很快，你这会儿觉得牛逼的不得了的模型，没过半年，就有新的更强大的出来了。DS出来之前，俺觉得qwen2.5就很不错，ds出来后，觉得这就是人类之光，也想攒赢家本地部署，后来用Gemini，再回看ds感觉差点儿意思。
所以，还是先深入用一用。1000块的API费用，个人用能用很久很久了
不自己训练模型的话，花这个时间瞎折腾干啥，赶紧调用API实现你的生产力赚大钱去。。。如果没创意？那还是继续玩机器部署 [傻笑]
keqikeqi 发表于 2025-9-12 07:42
我这边4090 48G，也是跑了几个，发现qwen3-30b-a3b-2507比qwen3-coder-30b好了不少。vscode + cline本地 ...
哎奇怪了 我是发现coder比instruct表现要好
reekyboy 发表于 2025-9-12 06:47
本文来自AI回答（供参考）：
我帮你拆开来看，你说的“DS”我理解是 大模型（LLM）的本地推理/微调/私有部 ...
幻觉体现的非常明显
llama3.1在llm里算上古模型了 我的inference infra包括所有别的服务跑在一块512g sm951上
五年一装机 发表于 2025-9-10 23:17
就是在乎速度嘛，要是比网络api慢好多质量低好多那这个部署就不太有意思，还不如给api充钱 ...
本地部署的好处就是api版本稳定+可以轻松破甲,看怎么取舍了,
低价玩儿，就是CPU堆内存，1TB内存比800G显存便宜多了
还是3-5百一个月也是可以接受的，直接用现成的吧。
YsHaNg 发表于 2025-9-12 16:36
幻觉体现的非常明显
llama3.1在llm里算上古模型了 我的inference infra包括所有别的服务跑在一块512g sm9 ...
我也准备学习，目前看的最多的就是deepseek 本地部署。但是我还不知道用来干嘛。哈哈
然后他就推荐我搞一台5090D的机器+128G内存+265k的cpu，还让我组个nas，推荐我10G内网，我就选了proart的主板。反正至今我还处于小白阶段，就这机器反正成本也不高。先弄了再说。看看能学到什么程度。
毕竟年纪一大把，现在的行业不好，想入这个坑，趁现在挣了几块辛苦钱，想给以后谋条出路
reekyboy 发表于 2025-9-12 15:00
我也准备学习，目前看的最多的就是deepseek 本地部署。但是我还不知道用来干嘛。哈哈
然后他就推荐我搞一 ...
人间一天llm 1年 deepzeek-r1 1月到现在已经有太多更新了 上周都有新研究微软rStar2-Agent-14B超越671B DeepSeek-R1 垃圾佬拿个树莓派都一样跑 正好跟home assistant放一块弄个钢铁侠Javis
YsHaNg 发表于 2025-9-12 23:10
人间一天llm 1年 deepzeek-r1 1月到现在已经有太多更新了 上周都有新研究微软rStar2-Agent-14B超越671B D ...
等我办公室弄好，我得好好研究你说的star/agent。不知道我还能不能学进去。明天去把空调网络搞定就要开始奋发图强了。大哥你多发我点看不懂的东西，我一个个来
reekyboy 发表于 2025-9-12 15:13
等我办公室弄好，我得好好研究你说的star/agent。不知道我还能不能学进去。明天去把空调网络搞定就要开始 ...
像我这种玩模型微调的就可以从部署新手友好的ollama开始 https://ollama.com/search 这里面的都一个个试一遍
YsHaNg 发表于 2025-9-12 23:22
像我这种玩模型微调的就可以从部署新手友好的ollama开始 https://ollama.com/search 这里面的都一个个试 ...
好的老板。感谢！等我摸透了找你喝酒！
本帖最后由 五年一装机 于 2025-9-13 18:51 编辑
reekyboy 发表于 2025-9-12 14:47
本文来自AI回答（供参考）：
我帮你拆开来看，你说的“DS”我理解是 大模型（LLM）的本地推理/微调/私有部 ...
不建议在论坛贴AI回复贴，发论坛就是想获得真人验证过的信息，你看了没,它4090 48G和50系pro是什么意思都没弄清楚，严重影响它判断
如果你有验证过的思路可以回我验证过的思路，只贴AI回复很浪费大伙时间，这个习惯真的很不好，我都抓着时间注册论坛还把脸踩地下了发贴求教育，要是现在的AI能百分之百解决问题那我这个脸不白丢了吗
刚才还加了个括号（语气重了点不好意思），但是看你后面的回复也是新手就去掉了，你自己都觉的真人意见比AI意见好，那贴AI回答干嘛呢
PS：还是加回来吧，语气重了点不好意思，谢谢你这么体贴，我也只是一人之见，如果让你不好受了我也道歉
uprit 发表于 2025-9-12 16:15
楼主，你这个感觉是正常的。
刚接触巨兴奋，怎么看怎么牛逼。
其实你真要用，你可以先尝试下就花API的钱， ...
谢谢理性回复，现在已经用了100多块了，感觉如果想把那个本子扩成一个完整的游戏脚本估计确实就得1000上下了，就是吧，服务器偶尔的busy是真让人抓狂，现在文本量起来了也不敢随便试错了，还是有点影响
你和96楼的想法都很理智成熟，我再考虑考虑，现在的想法就是api先用着，5090先部署着看看，冷静一段时间再想加钱的事
猪圈 发表于 2025-9-12 19:49
低价玩儿，就是CPU堆内存，1TB内存比800G显存便宜多了
隐约感觉应该是最好的办法，因为我对生成速度没那么高要求，那内存慢点就慢点呗
五年一装机 发表于 2025-9-13 08:35
不建议在论坛贴AI回复贴，发论坛就是想获得真人验证过的信息，你看了没,它4090 48G和50系pro是什么意思都 ...
抱歉。我后面补充了，其实我也在研究用什么比较合适。我这两天装机也是跟着ai搞得，想入个门，顺便验证下。实在不好意思占用大家资源。我把贴去编辑掉
我的看法有点不一样
我认为模型是赢者通吃的市场，甚至说ds现阶段都完全没有意义，只需要用最好用的就行
想省钱是可以用双核老u加服务器大内存 这样是能龟速跑 但意义何在
甚至回复质量打不过免费的gemini2.5flash
我认为现阶段 回复质量大于一切
constansino 发表于 2025-9-13 15:38
我的看法有点不一样
我认为模型是赢者通吃的市场，甚至说ds现阶段都完全没有意义，只需要用最好用的就行
不知道楼主认不认可低质量回复毫无价值这个事
constansino 发表于 2025-9-13 15:40
不知道楼主认不认可低质量回复毫无价值这个事
认可，我现在也是在探索有没有低速回复但是能尽可能质量接近的部署办法，理论上ddr5 6400应该不会那么差了？我还在学习
constansino 发表于 2025-9-13 07:38
我的看法有点不一样
我认为模型是赢者通吃的市场，甚至说ds现阶段都完全没有意义，只需要用最好用的就行
现在的话qwen3-next:80b-a3b就能超过gemini2.5flash 80b参数量大概40g内存 我只知道transformers可以自己选择公用层进入vram 加上动态offload 基本保证3b参数始终在显存 速度质量都非常高 https://qwen.ai/blog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list
本帖最后由 YsHaNg 于 2025-9-13 10:39 编辑
五年一装机 发表于 2025-9-13 08:16
认可，我现在也是在探索有没有低速回复但是能尽可能质量接近的部署办法，理论上ddr5 6400应该不会那么差 ...
那我感觉就是用高量化moe模型混合推理 用n8n dify一类框架配置workflow让它自个跑一晚上你起来再看 硬件很无所谓 不追求速度就是把内存往大堆 p40 24g现在应该1200左右 fp16甚至fp32的量化用不上5090那些int8 int4数据格式优化 大半夜跑完了对你而言也没太大帮助 不如配制成你每一个休息间隔时间内什么硬件能完成你的工作流最有性价比
YsHaNg 发表于 2025-9-13 18:36
那我感觉就是用高量化moe模型混合推理 用n8n dify一类框架配置workflow让它自个跑一晚上你起来再看 硬件 ...
好的谢谢大佬，你的回复我都记好笔记了，我把这些方案都列一下然后根据5090的运行情况来决定下一步
api做一些实际工作的应用上优势巨大，你喂给它的图片，表格，流水之类的是有一套系统来切割处理的，然后再交给大模型。泛泛的使用本地不可能和api比。
五年一装机 发表于 2025-9-13 18:45
好的谢谢大佬，你的回复我都记好笔记了，我把这些方案都列一下然后根据5090的运行情况来决定下一步 ...
你对上下文有要求大一点的话5090不够，不如等等看下半年mac pro怎么样。
吼得凶，4卡90多万
YsHaNg 发表于 2025-9-12 16:30
哎奇怪了 我是发现coder比instruct表现要好
30b看分数最好的还是a3b-thinking2507