编者按：随着人工智能技术的不断发展，Transformers 模型架构已成为自然语言处理领域的重要基石。然而，许多人对其内部工作机制仍然感到困惑。本文通过浅显易懂的语言和生活中的例子，帮助读者逐步理解 Transformers 中最核心的 Attention 机制。
本文是Transformers系列的第二篇。作者的核心观点是：Attention 机制是 Transformers 模型区分关键信息的关键所在。本文通过直观的类比和数学公式，让读者对 Attention 的计算过程有更深入的理解。文章详细介绍了Attention 机制如何辨别不同单词的重要性；Query、Key、Value 矩阵及其在 Attention 计算过程中的作用；Masking 如何屏蔽无关内容；Dropout、Skip Connection 等机制如何提升模型稳定性；Add & Norm 层的工作原理，以及归一化对模型学习的重要性。
虽然 Transformers 中各个组件之间相互关联，难以一口气理解全貌，但本文通过耐心讲解 Attention 这一核心机制，确实让读者对整体架构有了更扎实的把握。我们衷心希望这类通俗易懂的文章能帮助更多读者了解 Transformers 技术的运行原理。
以下是译文，enjoy！
作者 | Chen Margalit
编译 | 岳扬
本文经原作者授权，由Baihai IDP编译。如需转载译文，请联系获取授权。
原文链接：https://towardsdatascience.com/transformers-part-3-attention-7b95881714df
标签：Transformers,模型,Attention,矩阵,轻松,单词,归一化,注意力,向量 From： https://blog.51cto.com/u_15525866/8091563