三种激活函数对比

同一坐标系下 Sigmoid · Tanh · ReLU：范围、零中心、饱和与稀疏

z out 1 0 −1 饱和区 → 梯度≈0 饱和区 (0, 0.5) 非零中心 tanh(z) = 2·σ(2z) − 1 ：σ 纵向拉伸 ×2、下移，得零中心版 负区置零 → 稀疏激活 正区斜率=1, 不饱和 σ→1⁻ σ(z)=1/(1+e⁻ᶻ) tanh(z)=2σ(2z)−1 ReLU(z)=max(0,z)
点 ▶ 播放，或「单步」逐条对比三种激活函数。
Sigmoid
范围 (0,1) · 非零中心 · 两端饱和
Tanh
范围 (−1,1) · 零中心 · 仍会饱和
ReLU
范围 [0,∞) · 正区不饱和 · 负区稀疏
💡 考点：分类隐层默认用 ReLU。三者差异看 范围、是否零中心、 是否饱和——Sigmoid/Tanh 两端饱和导致梯度消失，ReLU 正区斜率恒为 1 缓解了它。