拉格朗日乘子:等值线与约束相切

在约束曲线上滑动,找两梯度平行(目标等值线与约束相切)的那一点 = 约束最优。

无约束最优(山顶) g(x)=0 约束 ∇f ∇g 驻点条件 ∇f = λ ∇g L(x,λ) = f(x)λ g(x) 两梯度平行 ⇔ 等值线与约束相切 套用:多项分布 MLE 目标 f:对数似然 Σ m_k log μ_k 约束 g:Σ μ_k = 1 μ_k = m_k / N 梯度平行 ⇒ m_k/μ_k = λ(同一常数) 「频率即概率」
点「播放」从无约束山顶开始。
💡 拉格朗日乘子 = 在约束面上找∇f∇g 平行(等值线相切)的点;多项 MLE 由此得 μ_k = m_k/N,即计数比。