1. 向量化。
文本 → Tokenization(分词) → Embeddings(向量化) → 模型
2. 模型需要完整上下文 且 知道 token 的相对位置及关系。
3. 关注 token 的 score。
4. 用输入文本的向量，去查找，得到值向量。
5. 得到上下文感知的向量。
Link：https://www.cnblogs.com/farwish/p/18249431
标签：用人,解释,Transformer,文本,在线,token,上下文,向量 From： https://www.cnblogs.com/farwish/p/18249431