BF16

释义 Definition

BF16（也写作 bfloat16）是一种16 位浮点数格式，常用于深度学习训练与推理中的混合精度计算。它通常保留与 FP32 相同的指数位宽、减少尾数精度，从而在速度、显存/带宽占用与数值范围之间取得平衡。（在不同语境里也可能指其他缩写，但计算领域最常见的是 bfloat16。）

发音 Pronunciation (IPA)

/ˌbiːˌɛf sɪksˈtiːn/

例句 Examples

We trained the model using BF16.
我们使用 BF16 来训练模型。

Switching to BF16 reduced memory usage while keeping the training stable on the TPU.
切换到 BF16 降低了内存占用，同时在 TPU 上保持了训练的稳定性。

词源 Etymology

BF16 来自 bfloat16：其中 b 常被解释为 brain（与 Google Brain 的早期使用相关），float16 表示“16 位浮点”。它被设计为在保持较大数值范围（类似 FP32 的指数范围）的同时，牺牲部分精度以提升硬件效率。

相关词 Related Words

• FP16
• Float32
• Tensor
• TPU
• GPU
• Mixed Precision
• Quantization

文献与作品 Notable Works

• BFloat16: The secret to high performance on Cloud TPUs（Google Cloud 博客/技术文章，讨论 BF16 在 TPU 上的性能与用途）
• TensorFlow 与 JAX 的官方文档（在混合精度与硬件加速章节中频繁提到 BF16）
• 机器学习硬件与训练技巧相关论文/报告（如 TPU 体系结构与混合精度训练主题的技术论文中常见）