ELU
  • 2024-06-23编码器的蒸馏(Distilling)详细解释
    编码器的蒸馏(Distilling)详细解释概述蒸馏(Distilling)步骤是在稀疏注意力块之后,用于进一步压缩和提炼特征表示。这个步骤的主要目的是减少序列长度,使得模型能够更有效地处理长时间序列数据,同时保持重要的特征信息。主要步骤1x3卷积层(Conv1d)ELU激活函数最大池化(MaxPooli