上下文向量 c_u 是隐状态的加权凸组合
注意力把所有帧按权重「调色混合」,不是硬选某一帧 — Ch.13 注意力机制
c
u
=
Σ
t=1..T
α
u,t
·
h
t
Σ
t
α
u,t
= 1
,
α
u,t
≥ 0 →
c
u
凸组合
α 权重
1.0
0
0.50
h₁
0.50
h₂
0.00
h₃
0.00
h₄
混合容器
c
u
= 0.5·h₁ + 0.5·h₂
凸组合:Σα = 1,α ≥ 0
▶ 播放
单步
点「播放」:看四帧按注意力权重「调色」成 c_u。
💡 考点:
c
u
是软选择 / 加权和
,对所有帧的 h
t
按 α
u,t
取凸组合(权重非负、和为1);权重高的帧颜色占主导,但
不是
硬选某一帧。