ChatGPT

GPT即Generative Pre-trained Transformer，其中Generative Pre-trained利用简单的对文章进行挖空训练，跳过了数据集的人工标注过程，使得模型可以将一切人类的文章作为训练集，搭配性能高效的Transformer，极大地提高了模型的性能。

NPL通过GP的过程极大地扩充了有效数据集，即便数据量-模型性能的曲线是一个类对数函数，近乎是无穷尽的数据集与性能高效的Transformer让这一条提高性能的路看不到尽头。

至此，模型进化的瓶颈从数据集转换为了机器的学习速度。Generative Pre-trained是一项很直观简明的技术，百行以内的脚本就可以时间这个预处理，但普通人训练的模型却不可能有chatGPT的性能——大公司大资本下的模型训练速度是个人、团体的数千万倍。

机器学习速度的上限是钱。

这也就很直观地引出一系列问题，最前沿的人工智能的掌控权似乎又回到了资本手里，谁能出得起钱谁就拥有性能优异的模型。模型是钱垒出来的，不大可能公开（即使公开也会是比较老的版本），那么其复现就变成了一件不可能的事情，除非你也咂进这么多钱用以训练。这样一来垄断便产生了，在马太效应的虹吸下，这条路的终点似乎已经展示在我们眼前——终极的人工智能所属于终极的公司。

假以时日，谁又能监管这个模型并为它负责呢？终极模型学习的数据是公司提供的，谁又能保证这部分数据的客观性呢？谷歌能用搜索排行影响美国大选，在本人看来，我们不应该把这样的权力交由资本。

以上为之前笔者的论调，下述内容笔记于岱川博士: 最具争议的一期 - 为何我对ChatGPT不那么兴奋：

对于ChatGPT的态度：作为科学家，对新技术很兴奋；作为人类却并不这么认为。其中心论点是：技术的发展应该与人类社会的发展相适应。博士并不认为目前人类社会的发展水平能很好地将人工智能引导向正确的方向，有了强大技术的支持，人类可能会在错误的道路上跑得飞快。

以下是其分论点：

其一：人工智能会带来很多颠覆。

颠覆在现代社会似乎是一件好事——直到你被颠覆了。在可以见到的很短期的未来甚至是现在，很多职业正在被人工智能颠覆，失业在所难免。说到颠覆我们经常会讨论：在可以预见的未来，这样的失业是否会创造更多的工作岗位呢？颠覆是否只是一个阵痛，最终像工业革命一样创造新的社会形态呢？这是新技术出现时很常见的论点，maybe，maybe not，我们可以保留意见，但问题的关键是，不是工作岗位的净数量增加就行了，而是新产生的工作岗位的质量如何。会有更有价值有意义的工作岗位出现来代替被剥削的岗位吗？结果仍然不明朗。（在笔者看来，这个问题的答案甚至是十分消极的）

其二：谁会是人工智能发展最后的赢家？

就如同笔者在笔记之前提到的，大概是投资人工智能的资本家们。通常，技术发展会让收益集中在百分之一的人身上，而非百分之九十九。这里又是一个普遍被讨论的点，这确实是社会进步、生活水平提升所付出的代价——资本家们赚钱的同时，普通人也能从中获取某些好处，毕竟技术确实是在发展。那么问题来了，最终对全体人类而言，利会大于弊吗？依然尚不明确。我（岱川博士），没有看见人类是如何普遍地使用AI，没有看见AI如何造福全体人类，尤其是底层的苦难人民。没有实质性的证据，我们怎么能确保造福全人类会切实发生呢？我只看到了一堆卖点，甚至其中之一是前文提到的减少就业岗位，而这些卖点不一定有利于人类的总体幸福。

其三：关于人工智能的运作方式：

现阶段的AI是没有创造力的，尽管它可以假装它有。它所做的只是将人类做过的事情汇总在一起。这是有意义的，可以极大地提高我们查找资料的效率（比如说查找有用的论文）。但AI的运作方式会不断地强化其原始数据中的偏见和规律。随着AI创作出新的内容，这些内容又会变成其他AI的数据源，在这个过程中错误、偏见、偏差被不断的循环强化，这是典型的回声效应。除非人类主动加以干预。

（在笔者看来，人类的主动干预是否也是一种新的训练集的瓶颈呢？人类的效率必然比不上AI学习的效率，资本会怎么做呢？不加以干预的数据会对AI有多少影响呢？其数据源来自于网络，声音大的一定就是数量多的人发出的声音吗？AI不能自己思考，一个正常的能自我思考的人能从荒谬的事情中看到荒谬，而AI只能从荒谬中看到正确。训练集即是真理。）

（之前说的公正性也就是这个道理了。）

以上三点读者或许已经有所耳闻，人类可能可以通过某种方式对这些bug进行修复。增加岗位、指定规章制度加以限制......等等。我们不妨抽象一些，看看更加根基的东西——

其四：“通往痛苦的捷径”

凯恩斯预言，我们现在已经不需要工作了。按照生产力发展的规律，技术能满足人类的基本需求，我们可以把剩下的时间花在休闲社交和创造性的追求上。（）