BGD / SGD / Mini-batch · 三种梯度更新
同一损失面、同一起点，看 batch 大小 b 如何决定轨迹的「稳」与「快」
① BGD b=m
② SGD b=1
③ Mini-batch 1<b<m
W* 最优点
训练集样本 (m 个)
W
▶ 播放
单步
模式
batch b
每步速度
梯度方差
GPU 并行
BGD
m（全量）
慢
低·方向稳
好但每步贵
SGD
1
快·步密
高·乱跳
差
Mini-batch
1<b<m
较快
中·折中
★ 友好
💡
b=1 → SGD
，
b=m → BGD
。Mini-batch 既靠批内求和
降方差
、又靠矩阵块吃满
GPU 并行
，是现代 DNN 的事实标准。