微信公众号:AI有道(ID:redstonewill)
说起吴恩达「Andrew Ng」,相信大家都非常熟悉了。作为人工智能的大 IP,吴恩达一直致力于人工智能的推广和普及,争取让每个人都能感受人工智能的魅力。自去年8月开始,吴恩达在 Coursera 上开设了由 5 门课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网:
https://www.deeplearning.ai/
这个系列的专项课程质量很高,红色石头也完整地学完这五门课,并系统地将所有的知识点以笔记的形式记录下来,希望能给大家带来一些帮助。所有笔记的汇总如下:
完结篇 | 吴恩达deeplearning.ai专项课程精炼笔记全部汇总
还没结束!大牛是停不下脚步的。最近,吴恩达在斯坦福大学又开设了高质量的深度学习课程 CS230。这门课的主页是:
https://web.stanford.edu/class/cs230/
关于这门课的描述为:
深度学习是 AI 领域最受欢迎的技能之一。我们将帮助你学好深度学习。在这门课中,你将学习深度学习的基础,理解如何构建神经网络,并且学习如何领导一个成功的机器学习项目。你将学习卷积神经网络、RNNs、LSTM、Adam、Dropout、BatchNorm、Xavier/He 初始化等等。你将从医疗保健、自动驾驶、手语阅读、音乐生成和自然语言处理等方面进行案例研究。你不仅能掌握理论知识,还能知道它如何应用到工业领域。所有的这些想法你都可以使用 Python 和 TensorFlow 实现,而这正是我们要教你的。学完这门课,你很可能会发现一些创造性的方法应用到你的工作中。这门课采用翻转课堂的教学形式,你可以在家观看教学视频,完成深度编程作业和在线测试,然后来到课程做进一步讨论并完成项目。这门课将以一个开放式的最终项目作为结束,此过程中教学团队会提供一些帮助。
这门课最好具备以下基础知识:
- 掌握基本的计算机科学原理和技能,有足够能力写出一个合理且较复杂的计算机程序。
- 掌握基本的概率论(CS 109 或 STATS 116)。
- 掌握基本的线性代数(Math 104,Math 113,CS 205 三者选其一)。
这门课的教课形式比较新颖,采用课堂线下授课和 Coursera 线上学习相结合的方式。简单来说,就是在 Coursera 上观看教学视频,在线测试和提交编程作业。线下在课堂里学习课程其它资料、讨论,并最终完成一个开放式的项目。这里所说的 Coursera 上的教学视频就是 deeplearning.ai 专项课程的 5 门课的视频,在线测试和编程作业也对应在专项课程中。之前做过的同学掌握这门课会更加轻松。即使做过,也建议重新做一次,巩固知识点,而且最后的项目才是重点。
CS230 总共包含 5 门课,课程内容分布大致与 deeplearning.ai 一致,但是内容也有改动和扩展:
1. 神经网络与深度学习
第一门课主要介绍了神经网络和深度学习的基础。主要在课堂内介绍了深度学习的直观概念,并借助两个模块从头开始学习神经网络到底是什么。
2. 提高深度神经网络:超参数调试、正则化和优化
第二门课主要介绍深度学习模型的内部数学结构,从浅层网络逐步过渡到深度网络,理解「深度」的重要意义。掌握了这些概念之后,对于如何从零开始构建深度学习网络,能有一个基本的思路。
然后是深度模型的优化或调参技巧,例如初始化、正则化、数据集划分、Dropout、归一化、梯度检查等,和各种经典的学习率衰减方法,如动量算法、Adam 等。
3. 构建机器学习项目
第三门课主要介绍结构化机器学习项目。基础部分涉及超参数调整、批规一化方法等,以及深度学习框架(如 TensorFlow、PyTorch)的应用。然后是机器学习策略,包括垂直化调参、评估指标设置、数据集划分等。
4. 卷积神经网络
这门课主要介绍卷积神经网络,卷积神经网络主要用于处理空间型数据,如图像、视频等,因此在计算机视觉中应用甚广。在这一部分课程期间有一个期中测验,可以帮助你重温之前学习过的内容。
CNN 的基础部分涉及卷积运算、步幅、池化等,然后进一步介绍了几个经典的 CNN 架构,如 LeNet-5、AlexNet、VGG、ResNet、Inception 等。之后给出了几个 CNN 开发过程中的建议,涉及迁移学习、数据增强等。最后介绍了 CNN 领域的当前研究现状。
5. 序列模型
这门课主要介绍序列模型。序列模型主要用于处理序列型数据,如音乐、语音、文本等。序列模型主要以循环神经网络为代表,本课将介绍 RNN 的基础结构、类型、计算过程等,并以语言建模作为典型案例进行分析。之后是一些著名的 RNN 变体,例如 GRU、LSTM、双向 RNN、深度 RNN 等。
CS230 最后的课程项目:
CS230 的主要目标之一就是帮你把机器学习算法应用到实际任务中,或者让你具备良好的条件来进行机器学习和 AI 研究。最后一个项目的目的是让你从这些方向开始。
可喜的是,目前 CS230 的项目报告与 Poster 展示都已经发布。包含多种主题,如音乐生成、情绪检测、电影情感分类、癌症检测等。最终项目和 Poster 排名前三的名单已经公布:
当然,项目提交数目有很多,感兴趣的同学可以看看:
https://web.stanford.edu/class/cs230/proj-spring-2018.html
CS230 课程资料获取:
关于这门课所有的课程资料 pdf 文件,包括最终项目等文件,已经帮大家收集好啦。获取方式很简单,只要在微信公众号:AI 有道(ID:redstonewill)后台回复:CS230
总结:
这门课呢,我比较看重的是最终的项目,通过实际项目能帮助你巩固所学的知识,提升实践操作能力,这是相当重要的。最后呢,希望大家都能从中巩固深度学习理论知识,提高解决实际问题的能力!