人工智能GPT相关知识的简单总结

背景

工作已经很久, 工作十几年来有过好多波新的技术浪潮.
但是每次都离技术前沿比较远. 
最近发现只低头拉车是一个没有前途的行为. 
人生很短, 选择很重要, 不仅要低头拉车,还要抬头看路. 
感谢网上的资料. 

人工智能的起源

人工智能起源于上世纪中叶.
主要代表人物有图灵, 图灵完备测试第一次提出了如何判断人工智能是否成熟的一个论断: 
图灵测试（Turing Test）是一项测试人工智能系统是否真正具备智能的测试方法，由计算机科学家图灵提出。
测试的基本思路是：让一个评委和一个人工智能系统同时通过文字交流与一个隐藏者进行交互，
评委根据他们的答案和回复，判断哪一个是人类，哪一个是人工智能。
当评委无法分辨哪一个是人类哪一个是人工智能时，人工智能系统就通过了图灵测试。

图灵测试一般是通过模拟人类对话的方式来进行的，主要考察人工智能的语言处理能力、知识储备、逻辑推理能力和实时交互能力等。
测试结果并不证明人工智能系统具备了真正的智能，但可以证明它在某个领域内可能表现出与人类相似的智能。

虽然图灵测试被认为是人工智能领域的重要指标之一，但是它也存在一定的缺陷，比如测试难度无法衡量，测试的标准也有一定的主观性等。
因此，在实际中，图灵测试仅是一种测试的方法，不能完全代表人工智能系统的智能程度。

人工智能相关的算法

人工智能领域中包含着多种算法，这些算法的选择取决于问题的性质和复杂度。下面是一些常见的人工智能算法：

1. 神经网络：模仿人脑的神经系统功能，能够进行模式识别和分类等任务。
2. 支持向量机（SVM）：一种分类算法，能够对大规模和高维数据进行有效分类。
3. 决策树：一种基于数据学习的分类算法，通过回答一系列问题来实现特征分类。
4. 聚类算法：将数据对象分成相似的组或簇，每个簇内数据对象都相似。聚类算法有K均值算法、层次聚类算法等。
5. 人工神经网络：类似于神经网络，但是它设计为更加灵活和动态。目前广泛应用于机器学习和深度学习领域。
6. 遗传算法：仿照生物进化和遗传的过程，运用多进化代际、选择优势群体等策略，通过模拟“遗传”的过程进行优化。

除了以上算法，深度学习网络也逐渐成为当前人工智能领域的研究热点。
随着大数据和计算技术的不断发展，深度学习在机器视觉、自然语言处理、推荐系统和语音处理等多个领域都取得了显著的进展和应用。

人工智能相关编程框架

人工智能框架是一种软件框架，用于构建和部署人工智能应用程序。
这些框架通常提供了各种各样的工具和库，使得人们可以轻松地开发和训练人工智能模型。

目前，有许多种不同类型的人工智能框架，其中一些常见的包括PyTorch、TensorFlow、Keras、Caffe2等。
这些框架都具有不同的特点和优势，但它们的目标都是简化人工智能的开发流程，使得人工智能应用程序更易于构建和部署。

人工智能框架的基本功能是提供各种各样的算法和工具，包括但不限于深度学习算法、机器学习算法、优化工具、数据预处理工具、可视化工具等。
这些算法和工具旨在帮助开发人员快速构建和训练人工智能模型。

人工智能的先驱 深蓝与Alphgo

IBM的深蓝和Google的Alphgo 分别代表上个世纪和上个十年最巅峰的人工智能. 

深蓝击败了人类的世界象棋冠军得主.
Alphgo 击败了人类几乎所有的围棋选手.

并且一直有人视图通过AI方式击败自己对手的骚操作. 
他们作为先驱直接影响和开拓了最近今年AI井喷式的发展.给人类带来了无线的可能. 

也直接将英伟达推动成首家市值过万亿美金的半导体芯片公司. 

OpenAI的GPT

OpenAI成立于2015年, 有硅谷钢铁侠 马斯克 以及微软的大力投入和支持. 

GPT（Generative Pre-trained Transformer）是由OpenAI开发的自然语言处理模型，
是一个基于Transformer的深度学习神经网络。它的主要特点是使用大量的文本数据进行预训练，
然后在特定任务上进行微调，可以为许多自然语言处理任务生成出色的结果。

GPT系列模型的重要特点是其无监督的训练方式，这使得模型可以在大规模语料库上自我学习。
GPT-3是该系列的第三个版本，于2020年发布。GPT-3是目前最大的自然语言处理模型之一，
包含了大约1750亿个参数，在许多自然语言处理任务上都有出色的表现。

GPT-4 模型于 2023年3中旬发布. 他的参数规模比 GPT-3 大了 4 倍以上，
从 GPT-3 的 1.75 万亿个参数提升到了 GPT-4 的 7.5 万亿个参数。参数规模大大增加了模型的能力和性能。

微软作为GPT幕后最大的金主,已经在bing还有office365中集成了 GPT4以及GPT3.5等能力. 

ChatGPT与GPT的关系

真正让OpenAI大火的应用是ChatGPT
其实他本质上是GPT3.5针对问答进行微调的版本. 并且能够给出一些代码块,脚本块得建议,能够极大的提高IT的工作效率. 
微软的copilot等就可以实现代码高亮,修改错误代码等功能. 

OpenAI在发布了GPT3.0之后不断的进行演进: 
InstructGPT（2022 年 1 月）是一系列 GPT-3 模型
（包括 text-davinci-001、text-davinci-002 和 text-davinci-003）统称，
与GPT-3相比，它的最大不同是针对人类指令（reinforcement learning with human feedback, RLHF）进行了微调 ； 
InstructGPT 产生的幻觉更少，更真实，但它在生成的多样性或者说创意上相对更差，因为它们试图在“对齐”的前提下，
将人类偏好/价值观硬塞进原始数据模型中。

ChatGPT（2022 年 11 月）更进一步。 为了训练 ChatGPT，
OpenAI 对 InstructGPT 对话模型进行了微调（马斯克在Twitter上指出openai 使用了Twitter 数据）。 

1. davinci 比 chatgpt 更开放、更具有创意性；你可以让它做更多种类的事情，
   但 chatgpt 在其创建的特定任务中“更聪明”——例如创建列表、表格、摘要等
2. chatGPT也可以认为是 Davinci-3 的衍生产品，它们效果上同样好，但 davinci 使用的训练语料，
   清洗的程度较chatGPT更少；chatGPT会不断提醒我它的局限性，而 Davinci-003 表现更像人类一样
3. 如果不添加“让我们逐步思考：”或类似内容，davinci-003 无法正确解决部分问题，而 ChatGPT 更好试用
4. DaVinci 将更加灵活和通用，但是它要花钱，而且开箱即用效果不佳；
   DaVinci 的真正目的是与 API 一起使用来开发应用程序；它本身不像 ChatGPT 那样是最终产品。

关于LLM模型

其实上面的模型都是LLM
LLM large language model（大型持续学习语言模型）是指一种基于深度学习的自然语言处理模型，
旨在实现对语言任务的持续学习和推理能力。它不断地获取新的数据，同时可以结合先前的知识和经验来逐步提升自己处理语言任务的能力。

与传统的自然语言处理算法相比，LLM large language model具有以下特点：
1. 持续学习：LLM large language model可以不断地从新数据中学习和适应，从而处于不断改进和增强的状态。
2. 泛化能力：由于经过大量的预训练以及对多个任务的微调，LLM large language model可以更好地应对未见过的数据和任务。
3. 长序列处理能力：相对于传统的自然语言处理算法，LLM large language model能够处理更长的序列，做出更准确的预测。
4. 上下文感知：LLM large language model能够更好地理解一段文字的上下文，并基于上下文做出更合理的预测与决策。

总之，LLM large language model是一种前沿的自然语言处理技术，可以为各种语言处理任务提供强大的支持。

其他的LLM模型

Google的 PaLM 2
训练它所用到的token数量多达3.6万亿,3400亿个参数

Facebook的 llama
llama有多种参数（7B、13B、33B 和 65B）。
其中，LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练，
而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。
7B 值得是 7 billions 70亿

Stanford的alpaca
斯坦福基于 Meta 的 LLaMA 7B 模型微调出一个新模型 Alpaca。
该研究让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式
生成 52K 指令遵循（instruction-following）样本，以此作为 Alpaca 的训练数据。
研究团队已将训练数据、生成训练数据的代码和超参数开源

百度的文心一言
没有具体的参数信息.

微软:
完全使用OpenAI的技术.
主要有bing里面集成的GPT,以及github和office 365 里面集成的copliot

其他内容

关于费用-GPT
基于参数数量和token数量估算，ChatGPT-3训练一次的成本约为140万美元。
算力方面，ChatGPT的初始投入大约需要7.59亿美元，电费还需要每天4.7万美元。

关于融资
微软于2019年4月投入10亿美金，
2023年1月份以290亿美元的估值又追加了100亿美金，
至此微软一共注资130亿美元，作为最大的LP持股达到49%。

第一阶段：100%利润全部给到初始/创始投资人（FCP），直到回本
第二阶段：25%利润给到员工和支付FCP的回报上限，剩余75%给到微软直到回本，收回130亿美元投资额
第三阶段：2%给到OpenAI Inc.，41%给到员工，8%支付FCP的回报上限，剩余49%支付微软回报上限
第四阶段：等到所有投资方的回报结清（支付至少$920亿+$130+$1500亿=$2550亿），100%的权益回流到OpenAI Inc.