Jensen 不等式：把 log-of-sum 下界成 sum-of-log
log 是凹函数 ⇒
先期望再 log
≥
先 log 再期望
，这是 EM 下界的来源
z
log f(z)
f(z₁)
f(z₂)
弦（线性插值）在曲线下方
E[z]
log E[f] (高)
E[log f] (低)
gap
log E[f]
≥
E[log f]
log 凹 ⇒ 方向是 ≥
log Σ_q p(O,q|θ)
难处理：log 套在 Σ 外
×÷ γ(q), Jensen
Σ_q γ(q) log p(O,q|θ)/γ(q)
可优化：sum-of-log
真似然 ℓ(θ)
下界 Q(θ;θ̂) 在 θ̂ 处相切
θ̂
▶ 播放
单步
💡 考点：log 是
凹函数
，故 Jensen 给出
log E[f]
≥
E[log f]
（方向是 ≥）。EM 正是借此把难处理的
log Σ_q
经 ×÷γ(q) 下界成可优化的
Σ_q γ log
——最大化下界 ⇒ 真似然单调不降。