Transformer

在 Transformer 之前，序列建模主要依赖循环神经网络（RNN）及其变体 LSTM，其计算必须按时间步串行推进，难以并行化。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开|44The Illustrated Transformerjalammar.github.io前往参考资料 ↓在新标签页中打开}

论文提出用自注意力完全替代循环结构，使训练可以充分并行，显著缩短训练时间。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}

自注意力让序列中每个位置都能直接关注其他所有位置，权重由查询（Query）、键（Key）、值（Value）三组向量计算得到。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}

由于注意力本身不携带顺序信息，模型必须额外加入位置编码来表示词序。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}

多头注意力把表示拆成多个子空间并行计算，使模型能同时捕捉不同类型的关系。^{11Attention Is All You Needarxiv.org前往参考资料 ↓在新标签页中打开}

基于 Transformer 编码器的 BERT 把「预训练 + 微调」范式带入自然语言处理，刷新了多项理解任务的结果。^{22BERT: Pre-training of Deep Bidirectional Transformersarxiv.org前往参考资料 ↓在新标签页中打开}

基于解码器的 GPT 系列改用自回归生成，并随规模扩大展现出少样本学习能力。^{33Language Models are Few-Shot Learners (GPT-3)arxiv.org前往参考资料 ↓在新标签页中打开}

Transformer 后被扩展到视觉（ViT）、语音与多模态领域，成为通用的序列建模架构。^{55An Image is Worth 16x16 Words: Transformers for Image Recognition (ViT)arxiv.org前往参考资料 ↓在新标签页中打开}