反向传播:误差逐层回传 (Back-Propagation)

一次前向 + 一次反向,用链式法则把误差从输出层逐层乘 Wᵀ 传回,算出每层梯度。

输入 x 隐1 (l=1) 隐2 (l=2) 输出 ŷ (L) δᴸ δᴸ = ŷ − y 每过一层:先乘 Wᵀ,再点乘 f′(z) 门控衰减 ① 前向 z=Wh+b, h=f(z) → ŷ ② 输出误差 δᴸ = ŷ − y ③ 回传 δˡ = (Wˡ⁺¹)ᵀδˡ⁺¹ ⊙ f′(zˡ) ④ ∇W J = δˡ (hˡ⁻¹)ᵀ
点「播放」看误差怎样逐层回传。
💡 考点:BP = 链式法则,一次前向缓存 z/h,一次反向把误差逐层乘 Wᵀ⊙f′(z) 传回,同时算出全部梯度 ∇W=δhᵀ。注意:BP 只算梯度,真正更新参数是梯度下降 GD 的事(二者别混)。