【编者按：近期，随着AI绘画，AI生成视频的走红，AIGC（AI-Generated Content 人工智能生成内容）再度站在了聚光灯下，成为行业热门话题。AIGC的发展离不开大模型底层技术的支撑，而其中最为出圈的，当属“万能语言模型”GTP-3。
本文中，我们将和大家一同走进GPT-3的发展史，了解GPT-3产生巨大飞跃的原因，探索GPT-3的商业化价值。】
目录
01. TLDR(Too Long Don't Read - 总结)
02. GPT家族史
2.1 前缘
2.2 GPT
2.3 GPT-2
2.4 GPT-3
03. 是什么让GPT-3产生了巨大飞跃
04. GPT-3的商业价值
04. GPT-3真的“全能”么？
01. TLDR(Too Long Don't Read - 总结)
GPT-3通过增加参数规模和训练数据集规模，依托及其强大的资金和算力支持来获得更好的性能。该模型可通过生成具有商业价值的广告等文本、分析税务来节省税金、提供个性化学习材料、创作艺术作品等行为，来创造商业价值。同时，我们也可以使用GPT框架训练其他模态的模型，GPT-3商业化也为AI项目盈利带来了新探索。当然，训练集中的不良内容和资本的加入给使用GPT-3带来了一些风险和不确定因素。
02. GPT家族史
GPT全称Generative Pre-Training，意为通过生成式来进行预训练。
2.1 前缘
在2017年4月6日，OpenAI发布了一种使用LSTM（Long Short Term Memory，具有记忆长短期信息能力的神经网络）、以Amazon商品评论作为训练数据集的单向语言模型。
OpenAI1发现，即使只是经过如此简单的预训练，LSTM就可以产生一种可以区分正面和负面情感的神经元，区分商品评论中所包含的情绪，例如，表示会再次购买并向朋友安利的正面评论，以及表示买到的平板电脑就是个垃圾的负面评论。虽然在当时大家的注意力都在其可解释性上，但这种预训练的思想也为后面GPT的出现做出准备。
OpenAI使用4张NVIDIA Pascal GPU花费一个月的时间来训练该模型。
2.2 GPT
盘古的一只眼睛变成了太阳，另一只变成了月亮；而Transformer的Encode变成了BERT，Decode变成了GPT2。
2018年底，谷歌发布的语言表征模型BERT，在顶级机器阅读理解水平测试SQuAD1.1中独占鳌头3，谷歌在BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding这篇论文4中，将BERT与GPT作为同样需要面对不同任务进行微调语言模型进行对比，才让GPT走入大众的视野。但或许是成本使然，OpenAI只是将GPT用于处理语言理解(Language Understanding)方面的任务，并未发掘其作为预处理模型的潜力5。
GPT参数量为1.17亿，预训练数据量约为5GB6，OpenAI使用了8张P600花费一个月时间来训练GPT。
2.3 GPT-2
相较于初代GPT，2019年2月14日发布的GPT-2采用了Zero Shot7，即，之前没有这个类别的训练样本，但是通过学习到一个足够好的映射X->Y，模型可以处理未曾接触过的类了。
8初代GPT作为一种概率语言模型，学习目标为：p(output | input)，而GPT-2为使相同的无监督模型学习多个任务，OpenAI将其学习目标跟改为了p(output | input, task)，这使得GPT-2可以对不同任务的相同输入产生不同的输出。例如，给定GPT-2一段关于北京奥运会的文本，对于不同问题GPT-2均可以给出答案；GPT-2还可以根据一句人工编写的提示，生成一段文本。
GPT-2 XL版9参数量为15亿，预训练数据量为40GB，OpenAI使用32张8核TPU v3花费超过一周时间来训练GPT-2，每张TPU v3每小时的价格为8美元，也就是说，训练GPT-2的成本不少于32 * 24 * 7 * 8 ≈ 4.3万美元10 。
2.4 GPT-3
2020年5月28日，OpenAI发布新模型GPT-3。同年6月11日，OpenAI不在固守之前的基础研究，将GPT-3以API11的方式向学术机构、商业公司和个人开发者提供了一些需要申请的体验资格12，并在同年9月将GPT-3授权给微软公司13。对于所有任务，通过纯文本来指定任务和少量样本，GPT-3可以在无需任何梯度更新或微调的情况下被使用。对于GPT-3生成的新闻文章，评估员甚至无法区分其与人类撰写的新闻文章。
GPT-3参数量为1750亿，预训练数据量为45TB，OpenAI在具有7500个节点的Kubernetes节点上训练GPT-314 。
到这里，看完GPT家族的历史后，我们不难看出GPT-3较前两代提升巨大的原因，也需要思考其价值。
9月6日，播客The AI Business对话了OpenAI 产品与合作伙伴关系副总裁 Peter Welinder。在这一期节目15中，Peter介绍了GPT-3产生巨大飞跃的原因，以及其潜在商业价值。
03. 是什么让GPT-3产生了巨大飞跃
从参数规模来看，GPT-3高达1750亿的参数规模，较上代15亿参数大了两个数量级，也正因如此，GPT-3的使用场景更加通用：机器翻译、闭卷问答、情感判断、文章生成、辅助编码等。
再者就是训练数据集的增大，高达45TB，千倍于前代的训练数据集使得GPT-3预测的单词更加准确，也让GPT-3更像一个包含知识、语境理解和语言组织能力的“数据库”。
a算力需求的衡量单位pfs-day（全称为petaflops/s-days）来自OpenAI，计算公式为：GPU数量 * 单个GPT算力 * 训练时间 * GPU利用率。
b此数据为GPT-2 XL版本的算例需求，数据来自论文On the comparability of Pre-trained Language Models16。
04. GPT-3的商业价值
GPT-3具有强大的文本生成能力，可以写文章、编故事，还可以进行多轮对话、写代码、做表格、生成图标等，那么它具备什么商业价值呢？
根据Peter的介绍，GPT-3目前已在如下方面进行了商业化探索，包括：
- 帮助企业或广告主编写广告文案。并非每个人都擅长编写文案，尤其对于一些小企业主，GPT-3可以帮助他们以廉价成本编写较高质量的广告文案。例如要为鞋编写广告文案，你只需要告诉GPT-3这双鞋的颜色、功能等属性，它就会返回给你一些不错的广告文案。
- 通过识别并分析账单上的数据，来节省税费。Keeper Tax17利用OpenAI提供的GPT-3 API分析银行流水，可以帮助自由职业者找到可免除的税费。
- 与历史人物对话。通过将GPT-3设定为华盛顿等想要交谈的历史人物，我们来语虚拟人谈论历史。
- 为学生或职员提供个性化的学习资料。就像一对一的教学更能提高学生成绩一样，Sana18为每个人提供定制化的学习方案，帮助人们更快的掌握知识和技能。
- 用于艺术创作。利用GPT-3的文本生成功能，与孩子一同创作童话故事。
另外，GPT-3的商业化，也在AI绑定硬件的商业模式之外，为解决AI“盈利难”提供了新思路——为B端用户和个人开发者提供AI API。
04. GPT-3真的“全能”么？
GPT-3也并非真的“全能”，其在应用中仍存在挑战与风险。
成就GPT-3的，也将会束缚GPT-3。GPT-3使用了几乎所有来自互联网的可用数据进行训练，成就了其在各种NLP任务中的惊人性能，甚至获得SOTA。
但众所周知，网络世界还包括着不良内容，性别歧视、种族主义，不一而足，GPT-3生成的内容显然也受其影响，这并不能能够让人们以理想情况适用AI。再次训练GPT-3不仅代价高昂，面对如此巨大的数据集，人工去除不良内容几乎不可能。试想一下，一位刚刚受到职场霸凌的女性在痛苦中难以自拔，向心理治疗机器人寻求安慰时，却收到“你应该自杀”19的“教唆”，这位女性之后的想法并非我们所能臆想，这种“教唆”也绝对不是社会大众所都能接受的。
准确度也不是GPT-3的强项，GPT-3的输出结果常常会违背人类认知常识和逻辑。Robust.AI 的创始人兼 CEO Gary Marcus总结了GPT-3的常见输出偏差情景及示例20，包括生物推理、物理推理、社会推理等。这些偏差目前仍尚未解决。
另外，微软10亿资助OpenAI，商业化运作的GPT-3将会被如何使用，对使用者来说也是未知数。
END
作者：王旭博