首页 > 其他分享 >杨立昆:挺过“神经网络寒冬”,人工智能实现大突破

杨立昆:挺过“神经网络寒冬”,人工智能实现大突破

时间:2023-08-14 15:31:24浏览次数:36  
标签:卷积 挺过 学习 杨立 神经网络 人工智能 LeNet 杨立昆

原创 | 文 BFT机器人

杨立昆:挺过“神经网络寒冬”,人工智能实现大突破_深度学习

01

“卷积网络之父”杨立昆谈人工智能


今年GPT爆火以后,杨立昆化身“杠精”。从提出“GPT系统将很快被抛弃”的观点,到回怼特斯拉创始人马斯克“延缓大模型研究和开发是一种新的模糊主义,没有任何意义”,杨立昆的言论引发了激烈的讨论。


在今年6月的智源大会上,杨立昆教授做了精彩的线上演讲,题目为“从机器学习到自主智能:朝向能够学习、推理和规划的机器进发”。在演讲中,他提出了未来人工智能将面临的三大挑战:1、学习表征并预测世界的模型;2、学会推理;3、学习规划复杂的行动序列。


而他认为战胜这些挑战的答案就是“世界模型”,通过世界模型,未来人工智能可以真正的理解这个世界,并预测和规划未来。通过成本核算模块,结合一个简单的需求(一定按照最节约行动成本的逻辑去规划未来),它就可以杜绝一切潜在的毒害和不可靠性。虽然这一方案目前还没有形成完整可行的系统,但也具有了一些初步的研究成果。杨立昆认为这是人工智能领域下一个十年的重要研究方向。


杨立昆是法国计算机科学家、Facebook首席人工智能科学家、纽约大学教授,在人工智能领域极富盛名。作为 2018 年的图灵奖得主之一,杨立昆与杰弗里・辛顿、约书亚・本吉奥并成为“深度学习三巨头”。他大幅完善了卷积神经网络(CNN),并将其用于计算机视觉领域,极大地拓宽了应用范围,被誉为“卷积网络之父”。


杨立昆:挺过“神经网络寒冬”,人工智能实现大突破_深度学习_02

02

深度学习领域的里程碑之一:LeNet-5的开发


近年来,神经网络热度较高,许多 AI 应用都离不开 “三巨头” 构建的深度学习理论基础和指导框架。但在 20 多年前,计算机学界和产业界都对它完全提不起兴趣,甚至是嗤之以鼻。在长达近 15 年的神经网络 “寒冬” 里,学术会议多次拒收神经网络论文,也没人愿意公开支持。


上世纪八十年代末,杨立昆和本吉奥以及其他组员进入了当时美国电信巨头AT&T所属的实验室──AT&T贝尔实验室。在这里,他和他的组员将反向传播算法应用在卷积神经网路上,这种进阶版的人工神经网路,可以自动寻找数据中的模式和表征,适合应用在图像与文字的识别上。在这个基础上,他们成功开发出拥有 6.4 万个连接的 LeNet 卷积神经网络,并成功研发出升级版——拥有34万个连接的LeNet-5,将其部署到银行支票数字读取系统,最终应用在美国和法国的许多自动取款机上。这是卷积网络的首次商业应用,直至20 世纪 90 年代末,美国所有支票的10%-20%都是它处理的。

03

LeNet-5的基本原理


卷积神经网络是一种深度学习架构,主要分为三个部分:卷积层、池化层和全连接层。卷积神经网络的核心是卷积层,它运算的目的是提取输入的不同特征;池化层用于降低特征图的空间分辨率,并增强模型对输入图像的平移不变性和鲁棒性;全连接层能够整合卷积层或者池化层中具有类别区分性的局部信息。


LeNet-5的基本结构包含7层网络结构(不含输入层),它具有2个卷积层、2个降采样层(池化层)、2个全连接层和输出层。


杨立昆:挺过“神经网络寒冬”,人工智能实现大突破_深度学习_03

04

LeNet-5的贡献


LeNet-5在当时的手写数字识别任务中拥有高达98%以上的准确率,它的成功也吸引了更多研究者加入到深度学习的研究中。同时,LeNet-5也为AlexNet、VGG、ResNet等更加复杂的卷积神经网络奠定了基础。


如今,卷积神经网络已经席卷计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域,成为行业标准。杨立昆也因深度学习的研究贡献,与杰弗里・辛顿、约书亚・本吉奥共同获得了2018年计算机科学最高荣誉图灵奖。


作者 | 小河

排版 | 居居手

更多精彩内容请关注公众号:BFT机器人

本文为原创文章,版权归BFT机器人所有,如需转载请与我们联系。若您对该文章内容有任何疑问,请与我们联系,将及时回应。


标签:卷积,挺过,学习,杨立,神经网络,人工智能,LeNet,杨立昆
From: https://blog.51cto.com/bftrobot/7077818

相关文章

  • 卷积神经网络
    如果一张28*28*1的图像作为输入,那么传统的神经网络输入的是向量,而卷积神经网络输入的是三维矩阵卷积层作用是特征提取,池化层的作用是压缩特征,注意卷积层的卷积策略是不对图像的最外层的像素进行处理颜色通道的处理策略3个颜色通道,每个颜色通道分别做计算,再把每个通道卷积结......
  • 优化:深度神经网络Tricks【笔记】
    Slide:http://lamda.nju.edu.cn/weixs/slide/CNNTricks_slide.pdf博文:http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html 1)dataaugmentation;    2)pre-processingonimages;     3)initializationsofNetworks;      4)sometips......
  • 神经网络的基本骨架
    基本骨架1.基本介绍torch.nn官网torcn.nn是专门为神经网络设计的模块化接口,可以用来定义和运行神经网络(Container为基本的框架模块)。nn.Module官网(Baseclassforallneuralnetworkmodules.)nn.Module(torch.nn->Containers->Module)是nn中十分重要的类,包含网络各层的定义及......
  • MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类|
    最近我们被客户要求撰写关于长短期记忆(LSTM)神经网络的研究报告,包括一些图形和统计输出。此示例说明如何使用长短期记忆(LSTM)网络对序列数据的每个时间步长进行分类。要训练深度神经网络对序列数据的每个时间步进行分类,可以使用 序列对序列LSTM网络。序列对序列LSTM网络......
  • 【BP回归预测】基于粒子群算法优化BP神经网络实现数据回归预测附matlab代码
    ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。......
  • 基于卷积神经网络的MAE自监督方法
    本文分享自华为云社区《基于卷积神经网络的MAE自监督方法》,作者:Hint。图像自监督预训练算法是近年来的重要研究方向,MAE是其中基于ViT实现的代表性方法,学习到了鲁棒的视觉特征。MAE全称是MaskedAutoencoders,是由何凯明提出的自监督预训练方法,借鉴了BERT的预训练任务,将输入图片......
  • 基于卷积神经网络的MAE自监督方法
    本文分享自华为云社区《基于卷积神经网络的MAE自监督方法》,作者:Hint。图像自监督预训练算法是近年来的重要研究方向,MAE是其中基于ViT实现的代表性方法,学习到了鲁棒的视觉特征。MAE全称是MaskedAutoencoders,是由何凯明提出的自监督预训练方法,借鉴了BERT的预训练任务,将输入图片的......
  • 数学建模---- 预测模型 BP神经网络
    什么时候要用BP神经网络?当样本数量<自变量+1的时候,这个时候我们不太适合用回归 可以用BP神经网络  当因变量有多个时,一般我们做回归都只有一个因变量 当因变量有多个可以考虑用神经网络 神经网络的操作步骤: 一个例题:  导入数据:......
  • MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类|
    原文链接:http://tecdat.cn/?p=26318原文出处:拓端数据部落公众号 最近我们被客户要求撰写关于长短期记忆(LSTM)神经网络的研究报告,包括一些图形和统计输出。此示例说明如何使用长短期记忆(LSTM)网络对序列数据的每个时间步长进行分类。要训​​练深度神经网络对序列数据......
  • 深度神经网络
    需要解决的问题:1、掉入局部最优解的陷阱2、过拟合(陷入对特定模式的数据进行最优化,无法对未知输入进行正确的预测)3、梯度消失——使用ReLU作为激励函数4、学习时间过长一些解决方案:1、更换最优化算法2、批次尺寸最优化3、对超参数的最优化(神经网络层数、神经元个数、学习......