Jelinek-Mercer 插值:高低阶恒混合
把 bigram 和 unigram 按 λ:(1−λ) 永远掺在一起,用低阶信息救未见。
P*(w
i
|w
i-1
)
=
λ
·
P(w
i
|w
i-1
)
+
(1−λ)
·
P(w
i
)
高阶 bigram
P(w|w₋₁)
低阶 unigram
P(w)
混合罐 P*
λ=1 信高阶
λ=0 信低阶
λ
未见 bigram「Be __」的概率
P*
Be Happy
P*
Be ZZZ
✗ 等高·不合理
unigram(Happy) 大
unigram(ZZZ) ≈ 0
低阶项 = 再插值 → … → unigram 触底
开发集
EM 学 λ
▶ 播放
单步
点「播放」或「单步」开始。
💡 插值=各阶
恒混合
:λ+(1−λ)=1 自动归一;递归直到 unigram;遇未见 bigram 时靠低阶退路区分,λ 在开发集用 EM 学。