一、基本概念
GPT: Generative Pre-Training Transformer(生成式预训练模型)。
-
生成式：内容实时生成。
-
预训练：提前学习过大量知识。
-
模型：算法。
误解：ChatGPT是搜索引擎？
ChatGPT不是搜索引擎，所有的结果都是ChatGPT通过给定的上下文逐字实时生成的。它能够创造不存在的文本，而搜索引擎只能够从数据库中查询已有的数据。搜索引擎不会混淆答案，但是生成语言模型可能会。比如生活中根本不存在的内容。
-
ChatGPT: GPT模型的基础上进行了特定的微调和优化，以提供更好的对话交互能力。
-
Prompt: 一种使用自然语言来引导用户与机器之间的交互的技术。
二、GTP 工作原理
本质就是单字接龙，通过上一次词自动计算出下一个词。
- 如何自动计算？
将每一个数据向量化，然后计算它们出现的概率分布，这样GPT就可以根据上文，通过概率去随机取得下一个关联的数据。这也是为什么每一次回答ChaptGPT的答案都不一样的原因。
**注意：**这里的数据可能是文本、可能是语音、可能是视频、可能是像素块等等。
任何数据均可向量化。比如，通过从身高、体重、籍贯等三个方面，就可以把人向量化为[11,22,33]。最后形成多维空间的一个点。
数据被向量化后，有一个形象化的例子，就形成了空间中的概率分布图，点越密集的地方，证明某个数据出现的频次越高。
长的文章，通过单字接龙的自回归所生成。
- 什么是自回归生成？
将生成的所有数据作为下一次生成的参数，不断依次迭代进行，直到触发结束任务。比如：输入一个"我"，希望ChatGPT生成一个我是一只小小鸟。
在举一个例子：
你给ChatGPT一个输入：“这门课是”，然后大概流程应该会是：
● ChatGPT会根据你输入的"这门课是"去计算下一个词出现的概率（会对整个字典做softmax）
● 然后根据你提供的temperature(温度)去取样，比如取样到下一个单词是“神”
● 下一轮会用"这门课是神“作为输入，然后得出下一个单词是”经“。
● 如此反复，每次通过上一次的输出来生成下一个词，最终可能就会生成：”这门课是神经网络中的transformer机制“
**模型：**GPT的大脑，也就是一种算法，对应着输入和输出。
通过大量高质量的学习材料，来学习通用规律，以便于能够根据上文自动生成下文内容，学习的方式就是单字接龙。
学习材料：各种互联网文本、书籍、语音、视频等… 还有一些问答范例的学习，比如：
白日依山尽的下一句是什么？白日依山尽的下一句是黄河入海流。…
三、大模型学习步骤
（1） 通过大量的数据学习人类的语义关系和语法规律。（开卷有益）
让ChatGpt对海量的互联网文本做单字接龙，以扩充模型的词汇量，语言知识、关于世界的信息和知识
**注意：**模型训练的目的不是记忆，而是学习提问和回答的通用规律。以便于当遇见从没有记忆过的提问时，也能够生成用户想要的回答。
（2）矫正GPT模型参数，让模型输出我们想要的结果 （模板规范）
让ChatGPT使用优质的，人工选择的优质对话范例进行单字接龙学习，以规范回答的对话模式和内容，使得ChaptGPT变成“懂规矩的博学鹦鹉”。
（3） 增强GPT的创新性，避免变成机械式的刻板回答（创意引导）
让ChatGpt根据人类对它生成答案的好坏评分来调节模型，以引导它生成人类认可的创意回答。使得ChatGPT变成既懂规矩又会试探的博学鹦鹉。
四、大模型学习大白话总结
GPT模型是在大规模语料库上进行训练的。在预训练阶段，它会学习构建句子的基本结构、单词之间的关系，句子的文法和语法等等。在对其进行微调后，它可以实现诸如对话生成、文本摘要、机器翻译、命名实体识别等任务。
-
预训练阶段：gpt对网络上海量的各行各业数据进行预训练（学习），因此在预训练完成之后，就会知道很多网络上的知识，比如：你问它“世界上第一高峰是？”，它就会根据之前预训练中的海量数据学习到的知识进行回答。
-
督导式阶段：如果你问它的问题，之前预训练数据中，没有包含答案，那么就需要进行督导式学习。比如：你问它“台湾最高的山是哪座？”，由于预训练的时候没有该答案，因此它是不知道的，所以需要人为的进行设定答案。
-
增强式阶段：但是督导式的人为进行答案设置，工作量是非常巨大的，因此通过增强式学习，对于Ai回答的问题，人类只需要表示对和不对即可。
如何学习AI大模型 ？
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】
标签：...,AGI,AI,模型,生成,2024,GPT,ChatGPT,学习 From： https://blog.csdn.net/h1453586413/article/details/143110711