编码器的蒸馏（Distilling）详细解释
概述
蒸馏（Distilling）步骤是在稀疏注意力块之后，用于进一步压缩和提炼特征表示。这个步骤的主要目的是减少序列长度，使得模型能够更有效地处理长时间序列数据，同时保持重要的特征信息。
主要步骤
- 1x3 卷积层（Conv1d）
- ELU 激活函数
- 最大池化（Max Pooling）
1. 1x3 卷积层（Conv1d）
-
作用：进一步提取和压缩特征。
-
具体过程：
- 卷积操作使用大小为1x3的卷积核。
- 对输入特征进行局部操作，每次卷积考虑当前时间点及其前后各一个时间点的数据，生成一个新的特征表示。
- 输出特征维度保持不变，但特征表示更加紧凑和精炼。
-
公式：
Conv1d ( x ) = ∑ i = − 1 1 w i ⋅ x t + i \text{Conv1d}(x) = \sum_{i=-1}^{1} w_i \cdot x_{t+i} Conv1d(x)=i=−1∑1wi⋅xt+i
其中， x x x 是输入特征， w w w 是卷积核权重， t t t 是时间步。
2. ELU 激活函数
-
作用：引入非线性，增加模型的表达能力。
-
具体过程：
- 对卷积输出应用ELU（Exponential Linear Unit）激活函数。
- ELU激活函数公式：
ELU ( x ) = { x if x > 0 α ( exp ( x ) − 1 ) if x ≤ 0 \text{ELU}(x) = \begin{cases} x & \text{if } x > 0 \\ \alpha (\exp(x) - 1) & \text{if } x \leq 0 \end{cases} ELU(x)={xα(exp(x)−1)if x>0if x≤0
其中， α \alpha α 通常为1。
-
目的：使得输出既有线性部分又有指数衰减部分，从而更好地处理特征。
3. 最大池化（Max Pooling）
-
作用：进一步减少序列长度，同时保持最重要的特征。
-
具体过程：
- 应用最大池化操作，池化窗口大小为2，步幅为2。
- 这个操作将输入序列的长度减半，每个池化窗口选择最大值作为输出。
-
公式：
MaxPool ( x t : t + 2 ) = max ( x t , x t + 1 ) \text{MaxPool}(x_{t:t+2}) = \max(x_t, x_{t+1}) MaxPool(xt:t+2)=max(xt,xt+1)
其中， x x x 是输入特征， t t t 是时间步。
具体实例
假设输入特征经过稀疏注意力块后的输出为长度为10，特征维度为512的序列。
-
1x3 卷积层：
- 输入特征维度： 10 , 512 10, 512 10,512。
- 使用1x3的卷积核对每个时间点及其前后各一个时间点进行卷积操作。
- 输出特征维度： 10 , 512 10, 512 10,512。
-
ELU 激活函数：
- 对卷积输出应用ELU激活函数。
- 输出特征维度保持不变： 10 , 512 10, 512 10,512。
-
最大池化：
- 应用池化窗口大小为2，步幅为2的最大池化操作。
- 将序列长度减半：从10减为5。
- 输出特征维度： 5 , 512 5, 512 5,512。
详细步骤解释
-
卷积操作：
- 假设时间步t的输入特征为 x t − 1 , x t , x t + 1 x_{t-1}, x_t, x_{t+1} xt−1,xt,xt+1，通过卷积操作生成新的特征值。
- 每个时间点的卷积结果保存在输出特征中。
-
ELU激活：
- 对每个卷积结果应用ELU激活函数，处理正负特征值。
-
最大池化：
- 选择每两个时间点的最大值，生成一个新的特征值，减小序列长度。
- 例如，输入序列 x 1 , x 2 , x 3 , x 4 , x 5 , x 6 , x 7 , x 8 , x 9 , x 10 x_1, x_2, x_3, x_4, x_5, x_6, x_7, x_8, x_9, x_{10} x1,x2,x3,x4,x5,x6,x7,x8,x9,x10通过最大池化操作后变为 x 2 , x 4 , x 6 , x 8 , x 10 x_2, x_4, x_6, x_8, x_{10} x2,x4,x6,x8,x10。
小结
通过蒸馏过程，编码器能够有效地压缩和提炼输入特征，使模型在处理长时间序列数据时更加高效，同时保持重要的特征信息。这个过程包括1x3卷积、ELU激活和最大池化操作，通过局部特征提取、非线性变换和序列长度压缩，增强了模型的表现能力。
标签：10,编码器,Distilling,ELU,卷积,特征,池化,512,蒸馏 From： https://blog.csdn.net/m0_51200050/article/details/139794719