N-gram 马尔可夫近似 · 截断历史
把「以全部历史为条件」近似成「只看最近
n−1
个词」——用有限历史换可估计的有限参数。
全部历史 w₁…w_{k−1}（条件越来越长）
最近 n−1 词 → 有限参数
⚠ 参数 ∝ V^k
趋于无穷·无法估计
P(
w_k
|
w₁ … w_{k−1}
)
← 精确，但条件无界
≈ P(
w_k
|
w_{k−n+1} … w_{k−1}
)
← (n−1) 阶马尔可夫近似
阶数：
n=1 · unigram
n=2 · bigram
n=3 · trigram
n=1
P(
w
)
不看历史
n=2
P(
w
|
w₋₁
)
看前 1 词
n=3
P(
w
|
w₋₂ w₋₁
)
看前 2 词
▶ 播放
单步
↺ 重播
💡
考点
：N-gram 假定第 k 个词只依赖最近
n−1
个词，即 (n−1) 阶马尔可夫链。截断历史把参数量从 ∝V
k
（无穷、不可估）压到 ∝V
n
（有限、可由语料计数估计）。