MLE 拉格朗日：偏导 = 0 解出相对频率
在归一约束 ∑
v
P(v|y)=1 下最大化对数似然，闭式解就是「数数」
似然项
求导
约束 λ
C(y)
闭式解
∑
v
C(y,v)·log P(v|y)
+
λ·( ∑
v
P(v|y) − 1 )
Q =
∑ C(y,v) log P(v|y)
+ λ(∑P−1)
对单个 P(v|y) 求偏导，令其 = 0：
∂Q / ∂P(v|y) =
C(y,v) / P(v|y)
+ λ
= 0
↑ d/dx log x = 1/x
P(v|y) = − C(y,v) / λ
代回约束 ∑
v
P(v|y) = 1，通分消去：
∑
v
( −C(y,v)/λ )
= 1
⇒ −λ =
∑
v
C(y,v) =
C(y)
即所有词的计数加起来，就是上下文 y 的总计数 C(y)。
把 −λ = C(y) 回代 P = −C/λ：
P̂(v|y) =
C(y,v)
C(y)
▶ 播放
单步
↺ 重播
💡 归一约束下的 MLE 闭式解就是
相对频率
：
P̂(v|y)=C(y,v)/C(y)
—— 最大似然估计 = 数数。