第6章 手写数字加法器——迁移学习
- 迁移学习允许训练集和测试集的数据有不同的分布、目标、领域；而一般的监督学习要求训练集和测试集上的数据有相同的分布特性
一个有意思的想法：大公司运用大数据训练大模型，再将这些模型迁移到小公司擅长的特定垂直领域中，这样就可以将泛化的大模型与特定细分领域的数据相结合了
- 最简单的理解：将一个训练好的神经网络从中间切开，再拼接到其他网络上，就实现了迁移学习
- 迁移学习方式：预训练模式、固定值模式
预训练模式：将迁移过来的权重视作新网络的初始权重，但是在训练过程中会再次根据梯度下降算法改变数值；反向传播算法会影响迁移部分参数
固定值模式：迁移部分保持不变，训练过程仅针对迁移模块后的全连接网络；反向传播算法不会影响迁移部分参数 - Pytorch提供多种层数（18、34、50、101、152）的ResNet模型，都是已经在ImageNet数据集上训练完毕的网络，因此可以直接拿来进行迁移学习
- torchvision包含了 目前流行的数据集和模型结构
- NanoNets知乎
第7章 你自己的Prisma——图像迁移风格
- 卷积——相当于用一系列不同的模版去匹配图像中的不同区域，从而抽取出模式；
池化——相当于对原始输入进行大尺度的抽象和简化，从而使图像越来越小，以便得到更大尺度的信息
第8章 人工智能造假术——图像生成与对抗学习
- 基于反卷积的图像生成技术——专为图像生产而设计
基于卷积神经网络的识别和预测模型师一个从大尺度图像逐渐变换到小尺度图像，最后到一个标签的数据加工过程；
反卷积神经网络是从一个向量到小尺度图像，在逐渐转化成大尺度图像的过程；
上述两者是一种过程上的镜像对称——书P165
前馈神经网络、反馈神经网络、图网络的介绍CSDN
- 反卷积运算（deconvolution）
卷积运算与反卷积运算一般都是以图像作为输入与输出
同理，也有反卷积核，在卷积核的基础上“上下颠倒，左右翻转”后可以生成
反卷积并不是卷积的逆运算每一个图象经过卷积后，再经过反卷积并不能得到原图
- 反池化过程
步伐（striding）——书P169
当单纯使用步伐大于1的卷积运算时，就可以达到卷积加池化的效果，能够简化流程 - 批正则化技术（batch normalization）——书P172
第9章 词汇的星空——神经语言模型与Word2Vec
- 词向量技术（Word2Vec，Word to Vector）：本质上是找到一种编码技术，来实现词语到向量的合理转换——书P195
联动到之前学习到的词袋模型，有另一种模型神经概率语言模型（neural probabilistic language model，NPLM），而Word2Vec就是NPLM的增强版
传统编码方式的优缺点——书P196
——2024.5.4