Listener 为何降采样:T≫U 与 O(T²) 算量
pBLSTM 金字塔降采样:相邻帧逐层合并,序列变短、注意力对齐变尖锐
T
(帧数)
≫
U
(符号数)
→ 降采样
编码帧序列 (Listener)
L0 · T=8 1秒≈100帧,相邻高度冗余
L1 · T=4 相邻两帧拼接→减半
L2 · T=2 越上层越抽象
注意力算量
O(T²)
64×
对齐:
前 · 发散
后 · 对角清晰
▶ 播放
单步
💡 短时平稳让相邻帧近乎冗余 → 逐层减半几乎无损,
算量按 O(T²) 骤降
,
注意力对齐更尖锐
。