backpropagation算法为什么加速了梯度求解


梯度下降求解cost函数最优解时,权重更新需要计算cost函数对各个参数的偏导。

所以当然第一个想到的是用定义求解:

backpropagation参数偏导

这种情况下所有参数更新一次需要计算n+1次前向传播【1次J(w), n次J(w+ej)。对于稍大的神经网络,拥有百万甚至亿级别的参数,这样计算实在太慢了。

backpropagation的优点在于它仅利用一次前向传播就可以计算出所有参数的偏导,随后的参数更新也只需要一次反向传播。

0 Comments