一、前言
随着 ChatGPT 的横空出世，全世界的目光都聚焦在了生成式 AI 上。本次将介绍 Transformer 的发展历史、基本原理，也是记录总结自己在学习路上的所得。
首先我想聊聊 NLP 的发展路线，这样对于后面的 transformer 可能会有更好的理解。自从计算机诞生之初，让计算机理解人类的语言，一直是计算机科学研究的前沿方向。早在1950年，A.M. Turing 就已经开创性的发表过一篇文章
Computing Machinery and Intelligence.
在文章中他提出了一个模仿游戏，一共有 a，b，c 三个玩家，让 c 来根据 a，b 的回答，来猜测他们相应的性别。a 的工作是用来迷惑，让 c 做出错误的判断，而 b 的工作是配合 c，让 c 尽可能的猜对。这时我们把 c 换成一台计算机，如果这次能和上次保持一样的结果，那么就说机器通过了图灵测试。这个问题还有一个变种，那就是让参与者同时对计算机还有人类来进行提问，基于他们的回答，让他们判断对方到底是计算机还是人类，如果参与者的平均误判超过了30%，同样我就指出计算机通过了图灵测试。虽然现在的 openai 一直没有公布 ChatGPT 是否通过了图灵测试，但是我相信应该是通过测试了的。
所有图灵提出了一个影响深远的问题：Can Machine Think?
所以这里引发了一个哲学的问题，What is thinking? 你首先需要定义什么是思考
标签：attention,入门,模型,Transfomer,输入,计算,注意力,向量,基石 From： https://www.cnblogs.com/blackbinbin/p/17581333.html