Dropout:随机失活与测试缩放
训练时每个 mini-batch 随机丢节点(训不同子网),测试时不丢、权重 ×p 补偿期望
阶段 ①
训练 · mini-batch A
输入
隐藏层 (6, keep prob p)
输出
▶ 播放
单步
点「播放」看 Dropout 如何在每个 batch 训练不同子网。
💡 Dropout 打断神经元的
共适应
,等价于对
指数多个子网做隐式集成
;本课
测试时不丢弃、权重 w ← p·w
(p 为保留概率),补偿训练/测试的期望激活差。