参数量 M
ⁿ
指数爆炸
n-gram 阶数每升一级,需估计的概率参数按
Mⁿ
翻几个数量级 —— 同时绝大多数都从未出现。
词表 M
10⁴
≈ 1 万个词
10⁴
10⁸
10¹²
10¹⁶
参数量(对数轴)
bigram n=2
10⁸
trigram n=3
10¹²
★ 经典折中
4-gram n=4
10¹⁶
params ~
M
n
M = 10⁴ (词表)
灰色 = 从未出现(稀疏)
▶ 播放
单步
点「播放」或「单步」开始:参数量随阶数 n 指数增长。
💡
考点
:n-gram 参数量 ~
Mⁿ
,阶数升一级就翻 4 个数量级且绝大多数从未出现(稀疏严重);
trigram 是参数量与上下文效果的经典折中
,更高阶须靠平滑/回退才能用。