为什么必须有非线性激活

没有 f,多层仿射坍缩成一层;加上 f,分界才能弯曲。

网络结构 x W₁ f W₂ W′ = W₂W₁ W₂(W₁x) = (W₂W₁)x = W′x 两层仿射 → 仍是一层仿射(线性) vˡ = f(Wˡ vˡ⁻¹ + bˡ) f 是非线性 → 分界可弯曲 特征平面 · 同心环两类
💡 非线性激活是「深度有意义」的前提:少了 f,再多层也只是一层线性映射。