添加图片注释，不超过 140 字（可选）
在2024年的GTC大会上，黄仁勋特邀Transformer机器语言模型的七位创造者，共同探讨Transformer模型的过去、现在与未来。他们一致认为，尽管Transformer已经成为现代自然语言处理领域的基石，但这个世界仍然需要超越Transformer的新颖架构，能够引领我们到达新的性能高度。
Transformer 8位创造者
- Ashish Vaswani，EssentialAI 联合创始人兼 CEO
- Noam Shazeer，Character.AI 首席执行官兼联合创始人
- Jakob Uszkoreit，Inceptive 联合创始人兼首席执行官
- Llion Jones，SakanaAI 联合创始人兼首席技术官
- Aidan Gomez，Cohere 联合创始人兼首席执行官
- Lukasz Kaiser，OpenAI 技术人员
- Illia Polosukhin，NEAR Protocol 联合创始人
- Niki Parmar，EssentialAI 联合创始人（因家庭原因未出席）
01 Transformer诞生与价值
Noam Shazeer：早在 2015 年，我们就看到了这个规模效应。让模型变得更大，它就变得更聪明。你只需要扩大规模，模型能够执行数百万种不同的任务。 Ashish Vaswani：Transformer出现时，我就意识到梯度下降训练的模型是一个很好的老师。而且可扩展的通用架构终将赢得长期胜利。今天是tokens，明天可能是我们在计算机上执行的动作，它会开始模仿我们的活动，自动化我们大量的工作。
02Transformer进步空间
Aidan Gomez：我认为在推理方面，人们已经做了大量工作来加速这些模型，提高效率。但我仍然觉得有些不安，现在还是离我们最初的形式太相近了。我觉得世界需要比transformer更强的东西。 Llion Jones：现在的计算量太大了。我想人们处于大量的计算量浪费。我认为，计算是接下来必须解决的问题之一。我们需要知道针对特定问题应该投入多少计算资源。 Ashish Vaswani：我们最初的目标是模拟 token 的演变，实现线性生成。现在这个过程也适用于图像，扩散模型会迭代地进行改进和完善。根本的问题是，哪些知识应该存在于模型内部，哪些应该存在于模型外部？例如，推理应该在外部使用符号系统进行，这是一个效率的论点。
Jensen 向 Ashish Vaswani 赠送了签名的 DGX-1 封面
03创业的理念
Ashish Vaswani：一个超级智能AI是无法诞生在学术实验室的。我们必须要走出去，接触社会，让世界与这些模型互动，从中获取反馈，并让它们变得更聪明。做到这一点的方式就是走出去，创建新的学习体验。 Jakob Uszkoreit：AI真的可以帮助我们在实际生活生产中做很多有效率的事情，Alphafold2（DeepMind旗下研发蛋白质设计的人工智能公司）研发结果公布，Alphafold2和Alphafold1最关键的区别使用了Transformer架构，提升了算法模型效率。 Llion Jones：我们想做的是以自然界为灵感的AI公司，也会做开源，将现在所有可用模型放在了Huggng Face上，然后使用了大量的计算量进行进化计算（evolutionary computation）来探索合并、堆叠图层的方法。 Aidan. Gomez：我创办的Cohere是面向企业的AI公司。我们创建了一个平台，让每个企业都可以采用和集成这项技术到他们的产品中，而不是直接面向消费者。我们想用这种方式让社会接触AI的手段更加简便、成本更低。