V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
zxCoder
V2EX  ›  问与答

pytorch 神经网络问题请教

  •  
  •   zxCoder · 2021-11-15 23:15:05 +08:00 via Android · 931 次点击
    这是一个创建于 864 天前的主题,其中的信息可能已经有所发展或是发生改变。
    继承 nn.Module 自定义网络,如果在构造函数里多加一个**没有使用到**的 Linear 层,为什么会对最终的模型精度产生影响呢??

    没用过的网络层次也会参与反向传播啥的这些吗

    有人遇到过同样问题吗
    3 条回复    2021-11-16 05:01:00 +08:00
    hamhamham
        1
    hamhamham  
       2021-11-16 02:00:35 +08:00
    1. 不会对最终模型精度有影响
    2. 我的理解:没用到的层不是计算图的一部分。就算你把他的参数加入 optimizer 里面,也会因为梯度全部为 0 无法更新参数,相当于不参加反向传播。
    Xs0ul
        2
    Xs0ul  
       2021-11-16 04:23:46 +08:00
    目测是新加的层影响了随机的初始化
    flyaway
        3
    flyaway  
       2021-11-16 05:01:00 +08:00
    1 楼+1 没参与到 computation graph 不应该有影响
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1274 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 23:27 · PVG 07:27 · LAX 16:27 · JFK 19:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.