V2EX  ›  英汉词典

Hard Parameter Sharing

释义 Definition

硬参数共享:在多任务学习(Multi-task Learning)中,让多个任务共享同一套神经网络参数(通常是底层/编码器部分),只在输出层或少量任务专属层上分开。这样能减少模型参数、提升数据利用效率,并常被视为一种正则化手段(降低过拟合风险)。相对概念是 soft parameter sharing(软参数共享)

发音 Pronunciation (IPA)

/hɑːrd pəˈræmɪtər ˈʃɛərɪŋ/

例句 Examples

Hard parameter sharing can help a model learn more general features across tasks.
硬参数共享可以帮助模型在多个任务之间学习更通用的特征。

In a multi-task neural network, hard parameter sharing typically uses a shared encoder with task-specific heads to balance efficiency and performance.
在多任务神经网络中,硬参数共享通常采用共享编码器并配合任务专属输出头,以在效率与性能之间取得平衡。

词源与用法 Etymology & Usage

该术语来自多任务学习研究中的对比表达:hard(硬)表示“直接把参数绑在一起、完全共用”,共享发生在同一组权重上;与之对应的 soft(软)更强调“各任务各有参数,但通过约束/惩罚项让它们相似”。“parameter sharing(参数共享)”本身是深度学习常用说法,指多个组件复用同一权重以提升泛化与效率。

相关词 Related Words

文献与作品 Literary / Notable Works

  • Rich Caruana (1997), Multitask Learning(经典多任务学习论文,常被用于引出硬/软共享等结构思路)
  • Sebastian Ruder (2017), An Overview of Multi-Task Learning in Deep Neural Networks(综述文章,系统讨论硬参数共享等常见架构)
  • Kendall, Gal & Cipolla (2018), Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics(多任务损失加权与共享结构相关讨论中常提及硬共享设定)
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   697 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 21:34 · PVG 05:34 · LAX 13:34 · JFK 16:34
♥ Do have faith in what you're doing.