1.向量化。文本→Tokenization(分词)→Embeddings(向量化)→模型 2.模型需要完整上下文且知道token的相对位置及关系。 3.关注token的score。 4.用输入文本的向量，去查找，得到值向量。 5.得到上下文感知的向量。 在线拾取图片颜色图片