FP16

定义 Definition

FP16 指“16 位浮点数格式”（通常对应 IEEE 754 half-precision 半精度浮点），常用于图形计算与深度学习训练/推理中，以降低显存占用并提升吞吐量（有时会配合 mixed precision 混合精度来减少精度损失）。

发音 Pronunciation

/ˌɛf piː sɪkˈstiːn/

例句 Examples

Many GPUs can run FP16 operations faster than FP32.
许多 GPU 执行 FP16 运算的速度比 FP32 更快。

We trained the model with mixed precision, keeping most tensors in FP16 while accumulating gradients in FP32 to improve stability.
我们用混合精度训练模型：大多数张量用 FP16，但梯度累积用 FP32，以提高数值稳定性。

词源 Etymology

FP 是 floating point（浮点）的缩写，16 表示位宽为 16 位；“FP16”这一写法在计算机体系结构、GPU 编程与机器学习工程中广泛流行，用来简洁指代“半精度浮点”相关的存储与计算。

相关词 Related Words

• Half-Precision
• Float16
• Bfloat16
• FP32
• Mixed-Precision
• Quantization
• Tensor-Core

文学与作品 Notable Works

• *IEEE Standard for Floating-Point Arithmetic (IEEE 754)*（定义了 half-precision 等浮点格式的关键标准）
• CUDA C++ Programming Guide（NVIDIA CUDA 编程指南，涉及 FP16/半精度与相关加速路径）
• Mixed Precision Training（NVIDIA 技术白皮书/开发者文档中常见主题，系统介绍 FP16 混合精度训练）
• Deep Learning（Ian Goodfellow 等，深度学习经典教材中涉及数值表示与精度/稳定性问题，工程实践常与 FP16 关联）