Meta 训练 Llama 2 大概花了多少钱？

[galtjay]

Llama 2 是 Meta 训练的一个大语言模型，其规模从 70 亿到 700 亿个参数不等。截至目前，应该还是最先进的开源 LLM 模型。 那么，大家会不会好奇，不算人力成本的投入，假如一家公司想要在 3 个月内，训练出一个类似 Llama 2 的 700 亿参数的模型，硬件投入以及电力成本是多少？

https://watermelonwater.tech/meta%e8%ae%ad%e7%bb%83llama-2%e5%a4%a7%e6%a6%82%e8%8a%b1%e4%ba%86%e5%a4%9a%e5%b0%91%e9%92%b1%ef%bc%9f/