Half-Precision

Definition / 定义

Half-precision 指“半精度”浮点数格式，常见为 16 位浮点（FP16）（通常符合 IEEE 754 的 binary16），用于在一定可接受的精度损失下，显著降低内存占用并提升计算吞吐（尤其在 GPU/AI 训练与推理中）。在部分语境里也泛指“比单精度更低的数值精度”。（也存在如 bfloat16 等相关格式，但严格来说不等同于 IEEE FP16。）

Pronunciation / 发音

/ˌhæf prɪˈsɪʒən/

Examples / 例句

The model runs faster with half-precision.
使用半精度后，模型运行得更快。

To reduce memory bandwidth and speed up training, we used mixed precision, keeping activations in half-precision while accumulating gradients in single precision.
为减少内存带宽占用并加速训练，我们使用了混合精度：将激活值保持为半精度，同时用单精度来累积梯度。

Etymology / 词源

该词由 half（半、减少一半） + precision（精度） 组合而成。“precision”源自拉丁语 praecisio，含“切割得精确、精确度”之意。计算领域中，“half-precision”用来对照 single-precision（单精度，通常 32 位） 和 double-precision（双精度，通常 64 位），表示使用更少位数来表示浮点数，从而降低精度但提高效率。

Related Words / 相关词

• Bfloat16
• Float16
• Floating-Point
• Mixed-Precision
• Single-Precision
• Double-Precision
• Quantization
• Tensor Core

Literary Works / 文学作品

• CUDA C++ Programming Guide（NVIDIA 官方编程指南中常讨论 half / half-precision 与相关运算）
• Programming Massively Parallel Processors: A Hands-on Approach（并行编程教材中涉及 GPU 上的半精度计算与性能权衡）
• Computer Architecture: A Quantitative Approach（体系结构经典教材中会讨论不同数值精度对性能与能耗的影响，常涉及半精度/低精度计算语境）
• Deep Learning（Ian Goodfellow 等，深度学习教材相关章节/实践讨论中常出现低精度与训练效率的语境，含 half-precision 的常见用法）