反向传播
BP
先正向算预测(实线 →),再反向回传梯度(虚线 ←),最后更新参数
① 前向传播 forward →
② 算误差 Loss
③ ← 反向回传梯度 backward
④ 梯度下降更新 w
输入层
隐层 1
隐层 2
输出层
预测 ŷ
0.72
标签 y
1.00
误差 = ŷ − y
s = b + Σ xᵢwᵢ , a = σ(s)
w ← w − α · ∂L/∂w
▶ 重播