Softmax 与交叉熵
logits 如何变成概率分布，交叉熵又如何惩罚“对真类给低概率” — 第 2 章 · 多分类
0
真值 yᵢ
1
0
香蕉
3
1
苹果
−1.5
0
橘子
−3
0
火龙果
Σ = 1.00
交叉熵损失
L = −ln(0.87) = 0.14
真类概率 p → 1
L
0
0.5
1.0
1
2
p=0.20 · L=1.61
p 越接近 1，损失越接近 0
▶ 播放
‹ 上一步
下一步 ›
记住这点：
Softmax 把 logits 压成“和为 1”的概率分布；交叉熵
L=−Σyᵢln(ŷᵢ)
因 one-hot 只剩真类那一项
−ln(ŷ真)
— 真类概率越接近 1，loss 越接近 0；给真类低概率就会被重罚。