自然语言处理领域中，"embedding"（嵌入）通常指将高维的数据映射到低维空间的过程。在自然语言处理中，最常见的是词嵌入（word embeddings）

发展

1. 横向发展：

   • Word Embedding到其他类型的Embedding： 最初，嵌入技术主要应用于自然语言处理中的Word Embedding，即将单词映射到向量空间。随着研究的深入，这种技术扩展到其他领域，如Item Embedding（将商品映射到向量，常用于推荐系统）、Entity Embedding（将实体映射到向量，用于知识图谱）、Graph Embedding（将图中的节点和边映射到向量，用于图数据）、Categorical Variables Embedding（将分类变量映射到向量，用于处理类别型数据）等。这些技术扩展了嵌入的应用领域，使其在各种任务中发挥作用。

2. 纵向发展：

   • 从静态到动态的预训练模型： 最初的Word Embedding是静态的，即每个单词都有一个固定的向量表示。随着深度学习的发展，出现了动态的预训练模型，其中模型在大规模文本语料上进行预训练，学到了更丰富的语言表示。这些模型包括ELMo（Embeddings from Language Models）、BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）、ALBERT（A Lite BERT）等。这些模型通过预训练学到的语言表示可以用于各种NLP任务，使得模型更好地理解上下文、语义和语法。