1-of-K(one-hot)编码
为什么类别要用「位置」而非「数值」表示 —— 并看它如何让多项分布连乘塌缩成 μ₃
错误:把 6 个类别标成数值 1…6
2 < 6 ?
数值大小是凭空的假设 —— 类别之间不能比大小、不能加减
用「位置」标记类别:选中第 3 类 → 第 3 维为 1
第 3 维 = 1
x =
(0,0,
1
,0,0,0)
ᵀ
恰好一个 1,其余全 0
→ 任意两类「距离」相等,无序无大小
多项分布:P(x|μ) = ∏ μₖ^(xₖ)
=
μ₃
softmax 输出层的每个分量正对应这些 μₖ(被选中类的概率)
▶ 播放
单步
💡 one-hot 用「哪一维是 1」编码类别(无序无大小);代入 ∏μₖ^(xₖ) 后,xₖ=0 的项都变成 μ⁰=1,连乘只剩被选中类的 μ₃。