一、人工智能

一）、定义

智能主体可以理解数据及从中学习，并利用知识实现特定目标和任务的能力。(A system’s ability to correctly interpret external data, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation)

机器可以理解数据，并通过理解的知识实现特定的目的或任务。

二）、人工智能主要方向

自然语言处理（NLP, Natural Language Processing）

是宏观研究领域的统称；它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法；

自然语言处理是一门融语言学、计算机科学、数学于一体的科学；

主要分类包括机器翻译、文本分类、自动摘要、知识图谱、文本相似度计算、语音识别、情感计算、自动摘要、聊天机器人、问题回答、等等

最新研发模式

​ 模型预训练阶段+应用微调（Fine-tuning）或应用Zero／Few Shot Prompt模式

计算机视觉（CV, Computer Vision）

主要分类包括行人检测、人脸识别、自动驾驶、图像分类、目标检测、智能安防等等;

数据挖掘（DM, Data Mining）

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程，主要分类有广告计算、推荐系统、用户画像、各类预测分类任务等等，DM多领域也需要用到 NLP 的知识

三）、其他概念

生成式人工智能（AIGC, Artificial Intelligence Generated Content）

是指基于生成对抗网络、大型预训练模型(LLM)等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。

AIGC技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习，AIGC可以根据输入的条件或指导，生成与之相关的内容。例如，通过输入关键词、描述或样本，AIGC可以生成与之相匹配的文章、图像、音频等。

通用人工智能 （AGI，Artificial General Intelligence）

可以理解为和人工智能是相同的概念；

实现通用人工智能需要满足三个关键要求：

1. 通用智能体能够处理无限任务，包括那些在复杂动态的物理和社会环境中没有预先定义的任务；
2. 通用智能体应该是自主的，也就是说，它应该能够像人类一样自己产生并完成任务；
3. 通用智能体应该具有一个价值系统，因为它的目标是由价值定义的，智能系统是由具有价值系统的认知架构所驱动的；

多模态大模型

是指可以处理来自不同模态（如图像、语音、文本等）的多种信息的机器学习模型

自然语言处理特征抽取器

• Transformer
• CNN
• RNN
• GAN
• 其他

大语言模型（LLM , Large Language Model）

是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。

LLM是用于NLP的基础技术；NLP包含LLM；

GPT（TGenerative Pre-trained Transformer）基于转换器的生成式预训练模型

是一种基于transformer架构的语言模型，它利用了大规模的语料库进行预训练，并可以用于许多不同的NLP任务，例如文本生成、文本分类和文本摘要等。因此，GPT模型是一种使用LLM技术的NLP模型。

优点在于：

• 训练过程简单，不需要额外的监督信号；
• 学习到的表示能够应用于各种自然语言处理任务；
• 可以生成流畅、连贯的文本，适用于自然语言生成任务

BERT（Bidirectional Encoder Representations from Transformers）双向编码器

是一种预训练语言表示学习模型，由Google公司的研究人员在2018年提出，它是基于Transformer Encoder的深度双向模型，可以在各种自然语言处理任务上达到先进的效果

优点在于：

• 可以更好地理解输入文本的上下文信息；
• 可以直接利用预训练模型的参数进行微调，从而减少对领域数据的依赖；
• 引入双向性，使得整个模型可以同时考虑文本的左右两侧信息。

机器学习（ML, Machine Learning）

基于数据进行预测和决策的模型。例如：决策树、朴素贝叶斯、支持向量机、随机森林。

• 无监督学习
• 监督学习

深度学习（DL, Deep Learnin）神经网络

模拟人脑神经网络的计算模型

深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动.

应用方向：计算机视觉、语音识别

• 递归神经网络

• 卷积神经网络（CNN）

  应用方向：图像识别、图像分类、物体检测

• 循环神经网络（RNN, Recurrent Neural Network）

• LSTM模型（Long Short-Term Memory, 长短时记忆结构）

  RNN变体；与经典RNN相比能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象

• Transformer

  是一种用于序列到序列（seq2seq）学习的神经网络架构，它在NLP领域中被广泛应用于许多任务，例如机器翻译、文本摘要和语音识别等。LLM技术可以用于 transformer模型的训练和优化，从而提高模型的性能和准确性。因此，LLM和transformer是相互关联的概念，它们在NLP领域中都起着重要的作用。

  google 2017年提出

• 生成对抗网络（GAN, Generative adversrial nets）

embedding

概念

高维稀疏矩阵想低纬稠密矩阵的转换。

可以表示各种事物，文字，图片，媒体等

1. 表示数据
2. 表示数据间的联系；在文本中即表示，上下文的联系，语义信息。

算法

1. word2vec
   1. CBOW 通过上下文预测中心单词
   2. Skip-Gram 通过中心单词预测上下文单词
2. FastText
3. item2vec

解决的问题：

神经网络学习中用来进行数据表示的一种思想

刚好可以解决chatgpt长文本输入问题