1. 输入数据

这符合时间序列预测的典型设置：

• 输入数据包含多个特征（如历史的流量、天气、时间等），这些特征用于帮助模型进行预测。
• 输出数据则通常是要预测的目标变量，比如未来某个时间步的流量或温度，这个目标变量是一个单一的值，因此输出通道数是 1。
• x_train 包含多个特征（3 个通道），作为模型输入。
• y_train 是模型的目标输出（1 个通道），表示每个时间步的真实值，模型需要通过学习从多个特征预测出这个单一目标值。

输入数据和预测数据的含义与序列建模中的典型任务一致，应该是基于过去的时间步预测未来的时间步。

• 输入数据：输入数据的形状为 (64, 12, 250, 3)
• 预测数据：预测数据的形状为 (64, 12, 250, 1)
• 预测任务：是基于过去 12 个时间步的数据来预测未来的 12 个时间步。

2. 时间维度的embedding

拼接下面三种生成的嵌入，做线性变换

拼接三个channel的特征 (12个时间步)，做线性变换

站点标记的嵌入

站点小时嵌入和星期几嵌入的结合

• 小时嵌入 (time_day)：提取每个节点在最后一个时间步的小时信息，经过嵌入矩阵映射为 256 维的向量，并调整维度以适应后续操作。self.time_day 可以看作嵌入的“字典”或查找表，其中键是小时（0 到 47），值是相应的 256 维嵌入向量，模型通过根据节点的时间信息在该“字典”中查找相应的向量，生成高维特征。

• 星期几嵌入 (time_week)：提取每个节点在最后一个时间步的星期几信息，同样经过嵌入矩阵映射为 256 维的向量。self.time_week 可以看作嵌入的“字典”或查找表，其中键是星期几（0 到 6），值是相应的 256 维嵌入向量，模型通过根据节点的时间信息在该“字典”中查找相应的向量，生成高维特征。

• 时间嵌入 (tem_emb)：将小时和星期几的嵌入相加，得到最终的时间嵌入，用于捕捉节点的时空特征。
  

3. GPT微调的过程

4. 预测的过程

也采用的是线性变换，将768维度转变为12维度

xx. 三种损失

MAPE, RMSE 和 WMAPE 是三种不同的误差度量，它们用来衡量模型的预测值与真实值之间的误差。让我们分别解释这三种误差度量的定义和它们的作用：
三种误差度量的总结：

• MAPE：衡量的是预测值与真实值之间的相对百分比误差，适合比较模型的相对误差。由于分母是实际值，零值或接近零值可能导致计算不稳定。
• RMSE：衡量的是预测值与真实值的绝对误差，较为敏感于大误差，适合检测模型在预测中出现的大偏差。
• WMAPE：与 MAPE 类似，但通过加权真实值来平衡误差的影响，更加稳健，能够避免 MAPE 的一些缺陷。

这些误差度量的共同作用是帮助你更全面地评估模型的预测性能。