缩放点积注意力 · Scaled Dot-Product Attention

一个 Query 如何从一排 Key–Value 里"按相关度"取信息：打分 → 缩放归一 → 加权求和

Attention(Q,K,V) = Softmax( QK^T / √d_k ) V

💡 考点：softmax 沿 Key 维归一，每个 Query 的注意力权重和恒为 1；÷√d_k 缩放是为了让 logits 不过大、避免 softmax 进入梯度极小的饱和区；输出 = 各 Value 按权重的凸组合。