为什么必须用「非线性」激活？
第 2 章 · 激活函数 —— 没有非线性，多层网络会塌缩成一条直线，分不开 XOR。
两层网络（不加激活）
第①层：
h = W₁·x + b₁
第②层：
y = W₂·h + b₂
代入展开
y = W₂(W₁x + b₁) + b₂
= (W₂W₁)x + (W₂b₁+b₂)
=
W′x + b′
仍是线性！
插入非线性激活 σ（ReLU / Sigmoid）
h =
σ
(W₁x + b₁)
y = W₂·h + b₂
σ 拆不进线性乘法 →
不塌缩
弯曲边界 ✓ 分开了
直线怎么放都错 2 个 ✗
(0,0)
(1,1)
(0,1)
(1,0)
▶ 播放
◀ 上一步
下一步 ▶
记住这点：
没有非线性激活，两层线性叠加 = 一层线性（y = W′x + b′），永远只是一条直线，分不开 XOR。加上 ReLU / Sigmoid，决策边界才能
弯
，「深度」才真正有用。