embedding models 是什么

embedding models 是一类机器学习模型，它们的核心功能是将高维、离散的输入数据（如词汇、类别标签、节点或实体）映射到低维、连续的向量空间中。

这些向量（即 embeddings）通常具有丰富的语义信息，并能够捕捉原始数据之间的潜在关系和相似度。以下是对 embedding models 的详细说明：

1.目的与应用场景：

降维与表征学习：Embedding models 主要用于学习从原始数据到低维向量的有效映射，降低数据维度，便于后续计算和分析。这些低维向量保留了原始数据的关键特征和结构信息。

自然语言处理 (NLP)：在 NLP 中，最经典的 embedding model 是词嵌入（Word Embeddings），如 Word2Vec、GloVe 和 FastText，它们将词语映射到实数向量，使得语义相近的词在向量空间中距离较近，用于文本分类、情感分析、机器翻译等任务。

推荐系统：用户和物品的嵌入模型用于捕获用户兴趣和物品属性的相似性，常用于个性化推荐、协同过滤等场景。

知识图谱：实体和关系嵌入（如 TransE、DistMult、RotatE）将知识图谱中的节点和边表示为向量，用于链接预测、实体对齐、推理等任务。

计算机视觉：图像特征嵌入用于提取图像的紧凑表示，用于图像检索、相似性比较、分类等任务。

2.学习方法：

无监督学习：许多早期的 embedding models 采用无监督学习方式，如基于神经网络的语言模型（Word2Vec的CBOW和Skip-gram模型）或全局词频统计（GloVe），通过最大化词语上下文的预测准确性或捕获全局共现信息来学习词嵌入。

有监督学习：在特定任务（如情感分析、命名实体识别）上训练的深度学习模型（如 BERT、ELMo、GPT），其词嵌入层作为预训练模型的一部分，可在下游任务中微调，实现有监督的embedding学习。

自监督学习：近期的一些模型（如 SimCLR、Momentum Contrastive Learning）利用数据增强和对比学习策略在无标签数据上学习高质量的图像或文本嵌入。

3.模型架构与训练：

神经网络架构：embedding models 常基于简单的前馈神经网络（如 Word2Vec）、复杂深度神经网络（如 BERT）或专门设计的图神经网络（如 GraphSAGE、Graph Attention Network）。

损失函数：根据学习目标，可能使用负采样损失（如 Word2Vec）、最大似然估计（如 GloVe）、三元组损失（如知识图谱嵌入）、对比学习损失（如 SimCLR）等。

训练数据：可以是纯文本语料库、用户-物品交互记录、知识图谱数据、图像数据集等。

4.应用与使用：

直接使用预训练模型：在很多情况下，可以直接使用已训练好的、针对通用任务的 embedding 模型，如使用预训练的 Word2Vec 或 GloVe 向量作为文本特征。

微调或适应特定领域：根据实际需求，可以在特定领域数据上对预训练模型进行微调，或者使用迁移学习策略调整现有模型以适应新的语境或任务。

嵌入向量操作：在下游任务中，嵌入向量可以进行加法、减法、点积、余弦相似度计算等操作，以利用其表征的语义信息。

总之，embedding models 是一种广泛应用于各类机器学习任务的技术，通过将复杂、离散的数据转化为低维、连续的向量表示，有效地捕捉数据间的语义关系，提升模型性能和泛化能力。这些模型在 NLP、推荐系统、知识图谱推理、计算机视觉等领域均有广泛应用。

Online Tool

Link：https://www.cnblogs.com/farwish/p/18127206