激活函数
阶跃 · Sigmoid · ReLU · 引入非线性
阶跃函数（弃用）
1
0 处不可导 ✗
Sigmoid（输出层 / 二分类）
1
0
σ(z)=1/(1+e⁻ᶻ) · 压缩到 (0,1)
ReLU（隐藏层首选）
0
max(0, z) · 正半轴导数恒 1
负区→0 (Dead)
Sigmoid 导数 σ′(z)=σ(z)(1−σ(z)) — 钟形，峰值仅 0.25
0.25
0
饱和区 ≈ 0
饱和区 ≈ 0
越乘越小 → 梯度消失
所以深层隐藏层改用 ReLU
▶ 重播