mixed-precision(混合精度):一种在计算中同时使用不同数值精度(常见如 FP32 与 FP16/BF16)的做法,以在尽量保持结果准确性的前提下,提升速度、降低显存占用、提高吞吐量。该术语在深度学习训练/推理与高性能计算中尤为常见。(在不同语境下也可泛指“混合精度算法”。)
/ˌmɪkst prɪˈsɪʒən/
Mixed-precision training can speed up the model.
混合精度训练可以加快模型运行速度。
By using mixed-precision with loss scaling, the team reduced memory use while keeping accuracy stable on large batches.
通过结合损失缩放的混合精度方案,团队在大批量训练中降低了显存占用,同时保持了较稳定的准确率。
由 mixed(混合的)+ precision(精度) 组合而成。precision 源自拉丁语 praecisio(切割、精确),引申为“精确度”。在计算领域里,“混合精度”一词随着浮点硬件与加速器的发展(如半精度计算单元)而普及,尤其在深度学习中成为常用表达。