如果想训练一个类似于智谱的模型 大概得耗费多少钱？

[gotoschool]

特别想知道 如何自己去训练这种类似的编程模型，且只提供给公司内部 12 个人使用
并发并不大的情况下 需要耗资多少钱呢
有没有兄弟 知道或者正在弄

[midraos]

自己部署成本不会太高，自己训练。。。还要和成熟的模型进行对标，千万资金够吗

[gotoschool]

@midraos 哇塞 得千万啊，看来不得行，以为几十万能搞定 才能给公司提需求搞硬件

[hs444]

智谱 GLM 4.5 开源的，可以自己部署一套，开源的还有 Qwen3-Coder-480B 也可以选择，是出于什么样的需求一定要自己训练一个呢？

[dbg]

"训练"大模型和"运行"大模型是两回事。DeepSeek V3 的训练成本约为 557.6 万美元， 包含显卡租赁费用和电费等。

[Seck]

个人感觉你可能弄混了，训练一个模型和提供 12 个人使用的模型，不是一个问题吧
前者是训练一个需要达到智谱级别模型？
后者是部署一个模型供 12 个人使用？

[thedog]

你可以考虑在开源模型的基础上做自己文档的 finetune ，这个可以便宜一些，也可以得到针对特定场景优化的模型。应该几十万就可以。

[gotoschool]

@Seck
@dbg
@hs444 对不起 我弄混的
我应该是需要一个类似于智谱 4.5 的模型来给内部提供服务用 这样就不需要再买 api 了

[superrichman]

你需要的是 RAG

[darksword21]

你可能对训练这东西的费用缺少一个基本的认知。。

[hallDrawnel]

远远不如去订阅 API 划算，他们可以一直升级模型，而你的硬件买来就开始折旧，可能新模型出来也无法运行。

[YsHaNg]

@gotoschool 短期来看买 api 还是合算的 这里有另一组讨论有实际的方案和金额 https://www.chiphell.com/thread-2741616-1-1.html

[gaobh]

微调几十大百万可以

[donaldturinglee]

不如 api 划算，你要算电费，算显卡，算维护模型的支出，几十万到底是多少十万呢？

[01802]

如果算成本的话，买 api 应该大大划算过自己搞

[loryyang]

自己部署的两个优点是：
1. 数据隐私
2. 模型微调

[loryyang]

至于部署的机器要求，每个开源模型都写得清清楚楚，没必要来这里问，自己一搜就都能知道。
另外现在有非常多的量化部署（优化 GPU 显存占用），可以减少 GPU 的需求

[Hydrogen404]

如果没有隐私需求，自己部署很难做到比 API 便宜。毕竟现在大模型领域全是热钱，大家都在烧 vc 的投资，API 实际上在按成本价甚至亏本卖。

[nevin47]

你需要的是 RAG+本地部署的大模型
最多最多，你需要的是本地部署+微调+RAG

感觉你需要先补补课，补充一下基本知识再来做选型

[gotoschool]

楼上的各位 sorry 是我认知浅了。
感谢各位的答疑解惑
@nevin47
@Hydrogen404
@loryyang
@01802
@donaldturinglee
@gaobh

[iorilu]

同等规模的只有 deepseek 是开源的

你看看如何本地部署满血 deepseek 就行了

[coefu]

480B 的模型，本地推理，也是个技术活的。