今天,我们将介绍深度学习领域的一个著名网络AlexNet。2012年,Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型,一举摘下了视觉领域竞赛ILSVRC 桂冠,在百万量级的ImageNet数据集合上,以62.5%的TOP1准确率夺得冠军,并远远领先于同期的其他算法,震惊了CV届。
AlexNet的出现,正式开启了卷积神经网络在图像处理和许多相关领域的应用,带来了这一波持续至今的深度学习热潮。
并且确立了深度学习在计算机视觉的统治地位,同时也推动了深度学习在语音识别、自然语言处理、强化学习等领域的拓展。
AlexNet为何能耐如此之大?有三个很重要的原因:
(1)大量数据,Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet;
(2)GPU,这种高度并行的计算神器确实助了洪荒之力,没有神器在手,Alex估计不敢搞太复杂的模型;
(3)算法的改进,包括网络变深、数据增强、ReLU、Dropout等
但要想吃透AlexNet难度不小:一方面AlexNet指明了深度卷积神经网络可以取得出色的结果,但并没有提供简单的规则以指导后来的研究者如何设计新的网络。
另一方面AI领域学术会议动辄上千篇文章,无论是准研究生还是现研究生,都会碰到这个问题。
想要高效筛选、阅读、复现论文,首先从积累大量的经典论文开始,因为前沿技术的更迭都是基于经典Paper的某个模型之上。前沿论文质量参差不齐,并不是每一篇都值得研读。
最后呢,有同学说他看论文时是这样的:
读论文的难点到底在哪里,我分析了一波:
1.重点难把握:动辄10多页的文字,看了半天找不出重点、关键点;
2.论文关系理不清:论文之间存在相互借鉴、引用,需要耗费大量的时间、精力才能理清,更何况大家阅历有限的情况下,根本就理不清;
3.公式图看不懂:公式复杂,步数过多,加大阅读理解难度,直接劝退新手;
4.无法复现论文代码:刚学python不久,python拓展c代码不会,编译问题不断,程序跑不起来,debugging....
5.坚持不下去:几乎以上任意一条就挺折磨人,如果你同时遇到上面三条困境,那就离放弃不远了。