知一的指纹

深度学习系列第四篇 — 神经反向传播

反向传播算法

反向传播算法 - 维基百科

反向传播是一种与最优化方法结合使用的,用来训练人工神经网络的常用方法。通过计算所有权值的损失函数梯度,反馈给最优化方法,用来更新权值以最小化损失函数。

反向传播算法分成两个阶段:激励传播和权值更新

  • 激励传播:将输入值送入网络,活的激励响应,验证结果求差,从而获得响应误差。
  • 权重更新:将输入的激励和响应误差相乘,获得权重的梯度,将梯度乘一个比例后取反加到权重上。

训练的过程就是不断的重复这两个阶段,直到获得满意的预测准确率。

noogel wechat
文章会同步推送到公众号,欢迎关注!
如果此文章能给您带来小小的提升,不妨小额赞赏我一下,以鼓励我写出更好的文章!