专题课笔记：深度学习的基础、应用与挑战

模块一：深度学习基础

1.1 感知机与多层感知机

• 感知机： Rosenblatt的基础神经网络模型，于1957年提出。
• 多层感知机： 在感知机基础上引入隐藏层和激活函数，为深度学习奠定基础。

1.2 卷积神经网络（CNN）

• 原理与结构： LeNet-5是最早的CNN之一，但真正崭露头角是在2012年AlexNet在ImageNet竞赛中的胜利。
• 应用领域： 图像识别、目标检测等。

1.3 循环神经网络（RNN）与改进版本

• RNN： 用于处理序列数据，但面临长序列的梯度消失问题。
• LSTM与GRU： 这两种模型的提出有效地解决了长序列的问题，分别在1997年和2014年提出。

1.4 深度学习的历史

• 1950s-1980s： 感知机的提出，但受限于硬件和算法的限制，研究逐渐降温。
• 1990s-2000s： 反向传播算法的发展，但深度网络的训练仍然面临问题。
• 2010s至今： 大数据、强大的计算能力以及更好的算法推动了深度学习的复兴。ImageNet竞赛中AlexNet的胜利成为转折点，深度学习在各个领域迎来了繁荣发展。

模块二：深度学习典型应用

2.1 图像处理

• CNN的成功案例： AlexNet、VGG、GoogLeNet、ResNet等模型的相继提出，深度学习在图像领域的应用得到广泛认可。

2.2 自然语言处理

• RNN、LSTM、Transformer： 在机器翻译、文本生成、情感分析等任务上取得重大进展。
• NLP领域的挑战与突破： BERT、GPT等模型的崛起。

2.3 强化学习

• 应用场景： AlphaGo的成功、深度强化学习在机器人控制和金融领域的探索。

模块三：对抗攻击与模型鲁棒性

3.1 对抗样本

• 攻击原理： Szegedy等人在2013年首次提出对抗样本的概念。
• 影响与挑战： 安全性与可信度问题引起广泛关注。

3.2 防御方法

• 对抗训练： 通过对抗样本训练提高模型鲁棒性。
• 生成对抗网络（GANs）应用： 生成对抗训练。

模块四：脑启发的深度学习模型

4.1 神经网络的脑启发

• 生物神经元的模拟： 感知机对生物神经元的直接模拟，但深度学习模型仍然是粗略的模拟。

4.2 神经元模型

• 直接模拟： 一些模型试图更直接地模拟生物神经元的活动，以更好地理解和解释深度学习中发生的事情。

4.3 脑机接口

• 人机交互的未来： 将机器学习与大脑信号集成，如脑机接口的发展。