困惑度 PPL — 概率倒数的几何平均
同一句话，模型给的概率越高 → PPL 越低 → 等价于「平均要从几个等可能词里猜」越少。
PPL = 2
H
= (
∏ P(w
k
|·)
)
−1/K
=
几何平均
的
倒数
每个词的预测概率 P₁ … P_K
连乘积 ∏P （越乘越小）
困惑度 PPL
—
分支度：等可能候选词扇面
▶ 播放
单步
点「播放」：看 K 个概率连乘 → 取倒数几何平均 → 落成 PPL。
💡 PPL = n-gram 概率倒数的几何平均 = 平均分支度，
越低越好
；只要任一 P=0，倒数发散 → PPL=∞，这正是要做
平滑
的根本动机。