引言：上周听了刘嘉老师的分享，越来越认可看懂人工智能需要从脑科学的角度去思考，基于分享的内容、自己的思考、收集的资料整理出本篇文章。
惊艳出现的ChatGPT还在被大家吐槽“胡说八道”，到GTP-4时，一下就从后10%的差生变成了前10%的尖子生，让大家都在问：
到底人工智能发生什么了？为什么现在突然这么厉害了？
人工智能本来就是在模拟人脑的，这个进化过程跟人脑进化很像，在2020年5月份，OpenAI的这些科学家把神经网络变大了，参数量一下从15亿级别变成1750亿，然后就涌现了现在的各种能力，这个变化就是“大力出奇迹，量变到质变”。
图1：GPT各版本参数量
人脑的进化
古代人类的大脑容量不到今天的三分之一。后来由于摄入高热量肉类（更多）和肠道变短（更高效的吸收），人类有多余的能量用于大脑发育，然而，人类发育大脑的过程极其缓慢，历经三百多万年。
图2：古代人类脑容量进化
- 南方古猿（学名：Australopiths）生活在385～295万年前，一般颅骨容量接近现存黑猩猩的头骨容量，约为300-500毫升，据估计，南方古猿的神经元总数约为30-35亿。
- 能人（学名：Home habills）生活在距今约200万～175万年前的东非和南非，考古时代相当于旧石器时代早期，一般认为能人后来可能进化成直立人，脑容量680毫升左右。
- 智人（学名：Homo sapiens）生活在距今25万～4万年前，主要特征是脑容量大，在1300毫升以上，据估计，智人有约400亿个神经元。
- 现代人脑的平均体积约为1352毫升，大致860亿个神经元（人类的大脑皮质包含大约140-160亿神经元, 小脑中包含大约550-700亿神经元）。
在过去的三百万年，人从能人变成现代人，主要有两个变化：
- 直立行走带来视觉系统的发达；
- 大脑的体积增加了三倍（相对于祖先，最初的人），这个在整个动物进化史里是唯一的一次；
脑容器的增加，出现了很多自涌现的现象出来。
意识的出现
意识的出现，典型就是知道我这个概念。
镜子测试就是检查是否有自我意识的实验。
图3：镜子实验，小狗并没意识到镜子里是它自己。
意识是如何产生的？
简单来说：当这个网络足够大时，意识就涌现了。
一般情况下人脑具有860亿个神经元，每个神经元平均有3000个突触。比OpenAI的GPT3大三个数量级，一千倍。（附：GPT的参数量可以简单对应到神经元的突触量。）
图4：神经元通过轴突上的突触连接其它神经元。
灵魂/精神意识出现
考古发现，大约5万年前，大量出现坟墓了。而此之前，原始人们并不掩埋同类的尸体，而是弃之荒野。
图5：山顶洞人埋葬死者想象图
1.8万年前的旧石器时代晚期，处于母系氏族社会早期状态的北京周口店山顶洞人已把自己居住的山洞的深处用作公共墓室。其尸体上及周围撒有红色的赤铁矿粉屑。
为什么要做坟墓，并且放点各种陪葬品？是因为原始人有了灵魂意识： “有来世，肉体烂掉了，但是精神还在。”，这就是意识的一个标志。
死亡意识出现
动物是没有死亡意识的，人是一出生，就有死亡意识的。远古人有了死亡意识，没死的时候，就开始给自己挖坟了。
同时死亡意识是推动人类个体发展的关键，也是促进人类不断向前发展的关键：
- 乔布斯：“每天活成我生命中的最后一天。”
- 马斯克：“死亡是对人的最好的礼物，这是推陈出新的关键。”
意识这个东西是如何来的呢？ 大家的猜测：
这三百万年的大脑发展，容积逐渐变大，到了某个临界值，意识就自然涌现了。
文字的出现
距今六千年，在两河流域，苏美尔人出现了楔形文字，也是人类大脑到一定程度，自然涌现的。
图6：楔形文字
对大模型的认知
基于对大脑的认知理解，OpenAI在2020年1月发表了 Scaling Laws for Neural Language Models
https://arxiv.org/abs/2001.08361 这篇经典的论文后，就全力进入百倍的参数量的GTP3的调教了，虽然GPT3被各种吐槽胡说八道，但是随后一系列的版本证明了他们的路线正确性。
参数量不是最关键的一个因素
大模型是正确的路线，但是参数量并不是最关键的一个因素。
- 微软和英伟达在2020年10月联手发布了5300亿参数的Megatron-Turing自然语言生成模型（MT-NLG）。
- 2021年1月，谷歌推出的Switch Transformer模型以高达1.6万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。
- 2021年，11月，阿里达摩院大模型M6突破10万亿参数。
- 2021年，12月，谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM，在7项小样本学习领域的性能超过GPT-3。
但是这些大家都很少听说，都不如ChatGPT，更不如GPT-4，显然参数量并不是唯一因素。
在动物届，也有神经元比人类多的。
- 非洲象的大脑重约5千克，含有2570亿个神经元，远超人脑（约1.4千克，约860亿个神经元）。
- 海豚大脑皮质的神经元细胞为180亿个，比人类的130亿个还要多。
图7：比人类神经元多的动物
无限猴子实验
认知科学的有个“无限猴子实验”，
如果有无数多的猴子，前提是它们都会熟练地使用打印机，将它们安排着使用无数的打印机上随机打字，并且持续着无限长的时间。
那么在某一个时间点，它们一定可以打出莎士比亚的全部著作。
图8：来自百度文心一言的画，关键字是一只猴子坐在打印机前，打字。
理论上讲，给它无限的时间，是可以敲出来的。
但是这个时间从宇宙大爆炸开始到宇宙消亡，这么长的时间也是不够的，这是个组合爆照的问题。
- 假设要写的著作有20万个字母；
- 每一敲下，可能是26个英文字符+一些空格或标点符号，假设有30种可能。
这样组合有 $ {30}^{200000} $ 种可能，大致是\({10}^{295424}\)，这是一个极其巨大的数，它有295425位数字。
而整个宇宙中也才约有 \(10^{80}\) 个粒子，其中大约有 \(10^{68}\) 个原子。
也就是说我们语言文字的组合，绝大多数是没有任何意义和价值的。但是很奇怪的是，当我们人说话或写作时，都是能听懂的，都是有意义的。
认知科学，或者脑科学里面有这样说法：
在一个巨大的空间里，真正有意义的是一个低维的，非常小的空间。
沧海一粟这么小的地方。
GPT的关键
GPT能够训出来，就是成功的找到了，在无穷无限大的空间里，孕育着的，有意义的这个小点。这是怎么找到的呢？ 主要有两点：
1、理解上下文
也就是Prompt（提示），可以用完形填空来简单理解。
我喜欢看《流浪地球2》这部电影，这部电影_____？
显然上面这句话要评价的部分是跟这部电影有关的。
这也就是给个上下文，让电脑沿着这个方向走。
2、RLHF（基于人类反馈的强化学习）
RLHF（Reinforcement Learning from Human Feedback）
GPT给了一个回答后，有没有回答你的问题，需要有个反馈。
通过反馈不断学习，才能越来越接近人类的认知和理解。
基于上面两个（都是人类提供的），GPT成功的找到问题的范围，把它束缚在这里面，这样GPT回答就会跟人一样的。
这部分脑科学上叫大脑皮层，大脑皮层的基本功能就是建立条件反射。人类对语言、文字信息的条件反射就在这里。当人们反复接触到同样的单词或语言结构时，对应的神经元之间的连接会不断加强，从而形成了条件反射。这就是为什么人们在听到某个单词或语句时，可以迅速地将其与其所代表的含义联系起来。
图9:大脑皮层
高维的无序的空间里，孕育低维有序的空间，OpenAI把它找到了。
这就是OpenAI最核心的竞争力，OpenAI的黑科技，所以在这个时候OpenAI不愿意公布任何模型，任何参数。
组合式创新
GPT做到好，是因为它掌握了人类的智能空间，正是因为上面两种人类的调教，把GPT束缚在这个认知边界的空间了。
所以GPT只能是一种组合式创新，能把已有的知识组合起来，但是不能产生新的知识，GPT最厉害也只是人类已有知识的专家。
如果我们只让GPT去看传统绘画，不给看梵高、毕加索、中国水墨画，它是无法创造出看不到的这类画的。
而人类是可以创造出新的画派。
OpenAI在GPT-4上额外花了6个月的时间才放出来，官方说法是为了跟人类平均对齐（alignment），这就是要把它束缚在这个空间。
总结
大模型大到一定程度，就会涌现出聪明的人工智能，但大并不是唯一因素，有束缚的上下文、基于人类反馈的强化学习会让大模型更像人，更贴近人的思维，但是这也束缚了GPT只能做组合创新。
我们人类的机会在批判性思维和创造性思维，也就是我们不仅要有知识（可以借助GPT这样的工具），还要有思想。
标签：人工智能,意识,OpenAI,涌现,人类,GPT,人脑,神经元 From： https://www.cnblogs.com/ghj1976/p/emerging.html