目前的情况，如果想本地部署一个和网络api水平近似的大模型满血版，成本大概多少？

reekyboy

编辑掉。抱歉给楼主带来不愉快

reekyboy

我好多时候都会把需求和配置问ai，也不知道ai的思路是否可以满足，顺便验证下

reekyboy

YsHaNg 发表于 2025-9-12 16:36
幻觉体现的非常明显
llama3.1在llm里算上古模型了 我的inference infra包括所有别的服务跑在一块512g sm9 ...

我也准备学习，目前看的最多的就是deepseek 本地部署。但是我还不知道用来干嘛。哈哈
然后他就推荐我搞一台5090D的机器+128G内存+265k的cpu，还让我组个nas，推荐我10G内网，我就选了proart的主板。反正至今我还处于小白阶段，就这机器反正成本也不高。先弄了再说。看看能学到什么程度。
毕竟年纪一大把，现在的行业不好，想入这个坑，趁现在挣了几块辛苦钱，想给以后谋条出路

reekyboy

YsHaNg 发表于 2025-9-12 23:10
人间一天llm 1年 deepzeek-r1 1月到现在已经有太多更新了 上周都有新研究微软rStar2-Agent-14B超越671B D ...

等我办公室弄好，我得好好研究你说的star/agent。不知道我还能不能学进去。明天去把空调网络搞定就要开始奋发图强了。大哥你多发我点看不懂的东西，我一个个来

reekyboy

YsHaNg 发表于 2025-9-12 23:22
像我这种玩模型微调的就可以从部署新手友好的ollama开始 https://ollama.com/search 这里面的都一个个试 ...

好的老板。感谢！等我摸透了找你喝酒！

reekyboy

五年一装机 发表于 2025-9-13 08:35
不建议在论坛贴AI回复贴，发论坛就是想获得真人验证过的信息，你看了没,它4090 48G和50系pro是什么意思都 ...

抱歉。我后面补充了，其实我也在研究用什么比较合适。我这两天装机也是跟着ai搞得，想入个门，顺便验证下。实在不好意思占用大家资源。我把贴去编辑掉