Listener 为何降采样:T≫U 与 O(T²) 算量

pBLSTM 金字塔降采样:相邻帧逐层合并,序列变短、注意力对齐变尖锐

T(帧数) U(符号数) → 降采样 编码帧序列 (Listener) L0 · T=8 1秒≈100帧,相邻高度冗余 L1 · T=4 相邻两帧拼接→减半 L2 · T=2 越上层越抽象 注意力算量 O(T²) 64× 对齐: 前 · 发散 后 · 对角清晰
💡 短时平稳让相邻帧近乎冗余 → 逐层减半几乎无损,算量按 O(T²) 骤降注意力对齐更尖锐