我一直理解不了梯度。
假设: <input> => layer01 => layer02 => layer03 => <output>
反向传播时求出来的梯度, 到底是针对哪一层的梯度啊。
layer01,02,03 上所有的权重参数都更新吗?
1
jdhao 2021-08-12 11:32:55 +08:00 via Android 1
对,计算 loss 对各个层的偏导数,然后更新各层参数
|
2
Ehend 2021-08-12 11:35:11 +08:00 via Android
一楼回答完了
|
3
aguesuka 2021-08-12 14:08:38 +08:00
我是把梯度看作牛顿法的导数理解的
|