1-of-K(one-hot)编码

为什么类别要用「位置」而非「数值」表示 —— 并看它如何让多项分布连乘塌缩成 μ₃

错误:把 6 个类别标成数值 1…6 2 < 6 ? 数值大小是凭空的假设 —— 类别之间不能比大小、不能加减 用「位置」标记类别:选中第 3 类 → 第 3 维为 1 第 3 维 = 1 x = (0,0,1,0,0,0) 恰好一个 1,其余全 0 → 任意两类「距离」相等,无序无大小 多项分布:P(x|μ) = ∏ μₖ^(xₖ) = μ₃ softmax 输出层的每个分量正对应这些 μₖ(被选中类的概率)
💡 one-hot 用「哪一维是 1」编码类别(无序无大小);代入 ∏μₖ^(xₖ) 后,xₖ=0 的项都变成 μ⁰=1,连乘只剩被选中类的 μ₃。