Pretrain

释义 Definition

pretrain（动词）：（在正式训练/特定任务训练之前）对模型或系统进行预训练，通常先用大规模通用数据学习基础规律，再用于后续任务以提升效果与收敛速度。也常见名词形式 pre-training（预训练）。

发音 Pronunciation (IPA)

/ˌpriːˈtreɪn/

例句 Examples

We pretrain the model on a large dataset.
我们在一个大型数据集上对模型进行预训练。

The network was pretrained with self-supervised objectives, then fine-tuned for medical image classification to improve accuracy and stability.
该网络先用自监督目标进行预训练，然后再为医学影像分类进行微调，以提升准确率与稳定性。

词源 Etymology

由前缀 **pre-**（“在……之前”）+ train（“训练”）构成，字面意思就是“在之前训练”。该用法在机器学习与深度学习语境中尤其常见，强调“先学通用能力，再学特定任务”。

相关词 Related Words

• Pretraining
• Fine-tune
• Train
• Initialize
• Transfer Learning
• Self-supervised
• Supervised Learning

文献与作品 Literary / Notable Works

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（Devlin 等）：标题与正文高频使用 pre-train / pre-training。
• Attention Is All You Need（Vaswani 等）：在讨论迁移、训练策略与相关研究时常出现 pretraining 语境。
• Deep Learning（Goodfellow, Bengio & Courville）：在介绍深度网络训练技巧与迁移学习相关内容时会提到 pretraining（如无监督/分层预训练等历史方法）。