链式法则:联合概率精确分解
把整句概率 P(W) 拆成一串「当前词 | 全部历史」的条件概率连乘——精确恒等,无近似。
P(W) =
P(
<s>→
I
)
×
P(
HAVE
|·)
×
P(
A
|·)
×
P(
NEW
|·)
×
P(
CAR
|·)
×
P(
</s>
|·)
历史 w₁…w₍ₖ₋₁₎
✓ 精确恒等 · 无近似
▶ 播放
单步
↻ 重播
💡 链式法则恒等成立,但第 k 项的条件
w₁…w₍ₖ₋₁₎
随 k 不断变长——历史无界,无法直接估计,这正是 N-gram「截断历史」的伏笔。