拉格朗日乘子:等值线与约束相切
在约束曲线上滑动,找两梯度平行(目标等值线与约束相切)的那一点 = 约束最优。
无约束最优(山顶)
g(x)=0 约束
∇f
∇g
驻点条件
∇f
=
λ
∇g
L(x,λ) =
f(x)
−
λ
g(x)
两梯度
平行
⇔ 等值线与约束
相切
套用:多项分布 MLE
目标 f:对数似然 Σ m_k log μ_k
约束 g:Σ μ_k = 1
μ_k
=
m_k / N
梯度平行 ⇒ m_k/μ_k = λ(同一常数)
「频率即概率」
▶ 播放
单步
点「播放」从无约束山顶开始。
💡 拉格朗日乘子 = 在约束面上找
∇f
与
∇g
平行
(等值线相切)的点;多项 MLE 由此得 μ_k = m_k/N,即计数比。