注意力机制

注意力把每个位置映射为查询、键、值三组向量：用查询与键的相似度算出权重，再加权求和值向量。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开|33Effective Approaches to Attention-based Neural Machine Translationarxiv.org前往参考资料 ↓在新标签页中打开}

缩放点积注意力通过除以向量维度的平方根，抑制点积随维度增大而变大导致的梯度问题。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}

自注意力在同一序列内部计算，交叉注意力则在两个不同序列之间计算。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开|22Neural Machine Translation by Jointly Learning to Align and Translatearxiv.org前往参考资料 ↓在新标签页中打开}

多头注意力并行运行多组注意力，把结果拼接后做一次线性变换，以覆盖不同的关系子空间。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}

标准自注意力的计算与显存开销随序列长度呈二次增长，长上下文成本高昂。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}