参数量 M 指数爆炸

n-gram 阶数每升一级,需估计的概率参数按 Mⁿ 翻几个数量级 —— 同时绝大多数都从未出现。

词表 M 10⁴ ≈ 1 万个词 10⁴ 10⁸ 10¹² 10¹⁶ 参数量(对数轴) bigram n=2 10⁸ trigram n=3 10¹² ★ 经典折中 4-gram n=4 10¹⁶ params ~ Mn M = 10⁴ (词表) 灰色 = 从未出现(稀疏)
点「播放」或「单步」开始:参数量随阶数 n 指数增长。
💡 考点:n-gram 参数量 ~ Mⁿ,阶数升一级就翻 4 个数量级且绝大多数从未出现(稀疏严重);trigram 是参数量与上下文效果的经典折中,更高阶须靠平滑/回退才能用。