反向传播:误差逐层回传 (Back-Propagation)
一次前向 + 一次反向,用链式法则把误差从输出层逐层乘 Wᵀ 传回,算出每层梯度。
输入 x
隐1 (l=1)
隐2 (l=2)
输出 ŷ (L)
δᴸ
δᴸ = ŷ − y
每过一层:先乘 Wᵀ,再点乘 f′(z) 门控衰减
① 前向
z=Wh+b, h=f(z) → ŷ
② 输出误差
δᴸ = ŷ − y
③ 回传
δˡ = (Wˡ⁺¹)ᵀδˡ⁺¹ ⊙ f′(zˡ)
④ ∇
W
J = δˡ (hˡ⁻¹)ᵀ
▶ 播放
单步
↻ 重置
点「播放」看误差怎样逐层回传。
💡 考点:BP = 链式法则,
一次前向
缓存 z/h,
一次反向
把误差逐层乘 Wᵀ⊙f′(z) 传回,
同时
算出全部梯度 ∇W=δhᵀ。注意:BP 只
算梯度
,真正
更新参数
是梯度下降 GD 的事(二者别混)。