注意力打分 + softmax 软对齐权重
查询 s
u
对每个记忆 h
t
打分,再用 softmax 归一成「和为 1」的软对齐权重 α。
s
u
查询 query
e=2.1
e=0.3
e=3.4
e=0.5
h₁
h₂
h₃
h₄
编码器记忆序列 memory
softmax → Σα = 1
α=.20
α=.03
α=.73
α=.04
e
u,t
=
sᵤ
·
hₜ
αu,t
= exp(
e
) / Σ exp(
e
)
▶ 播放
单步
💡 α 是
软对齐
权重(和恒为 1):每个 h
t
都给一份注意力,取代了 HMM 的
硬对齐
。