Contrastive Loss

释义 Definition

对比损失（contrastive loss）：一种常用于度量学习与对比学习的损失函数，用来让模型在表示空间中拉近“相似/正样本对”的距离、并推远“不相似/负样本对”的距离，从而学到更有区分度的向量表示。（不同论文/实现会有变体，如基于边际 margin、基于温度 temperature 的形式等。）

发音 Pronunciation (IPA)

/kənˈtræstɪv lɔːs/

例句 Examples

We trained the model with contrastive loss to group similar images together.
我们用对比损失训练模型，让相似的图像在特征空间中聚到一起。

By minimizing contrastive loss over many augmented views, the network learns representations that stay close for positive pairs while separating hard negatives.
通过在大量数据增强视角上最小化对比损失，网络学到的表示会让正样本对更接近，同时把难负样本拉开距离。

词源 Etymology

contrastive 来自 contrast（对比、形成对照），强调“通过对照来区分”；loss 在机器学习里指“损失函数/优化目标”。合起来就是“用对照关系来构造优化目标的损失函数”，核心思想是用“相似 vs. 不相似”的成对比较来塑造表示空间。

相关词 Related Words

• Contrastive Learning
• Metric Learning
• Triplet Loss
• InfoNCE
• Siamese Network
• Representation Learning
• Self-Supervised Learning
• Cosine Similarity
• Cross-Entropy Loss

文献与作品 Literary / Notable Works

• Hadsell, Chopra, LeCun (2006), Dimensionality Reduction by Learning an Invariant Mapping（早期经典的对比损失/孪生网络思路）
• Oord, Li, Vinyals (2018), Representation Learning with Contrastive Predictive Coding（提出并推广 InfoNCE 等对比目标）
• Chen et al. (2020), *A Simple Framework for Contrastive Learning of Visual Representations (SimCLR)*（视觉自监督对比学习代表作）
• He et al. (2020), *Momentum Contrast for Unsupervised Visual Representation Learning (MoCo)*（用动量编码器改进对比学习）
• Radford et al. (2021), *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*（大规模图文对比目标带动应用）