欧几里得变换器中自注意力的一般形式
双曲几何中的自注意力机制
详细解释在双曲空间中的线性变换。为什么要进行线性变换?
在双曲空间中进行线性变换主要是为了适应数据的层次结构和树状结构,这对于许多现实世界的数据来说是非常重要的。
此外,双曲空间中的线性变换也有助于定义Transformer中常用的基本操作,如LayerNorm层、激活函数、dropout和连接。这些操作在双曲空间中的实现,使得双曲Transformer能够处理具有层次结构的数据,这对于许多实际应用来说是非常重要的。
论文提出的HRC
双曲线性注意力
在双曲空间中,传统计算自注意力的方法具有二次时间复杂度,这限制了可扩展性。因此,我们通过HTC和HRC模块定义了一种线性注意力。
省流:步骤1:利用HTC在双曲空间进行线性转换
步骤2:切片类时空维度
步骤三:输出的计算
步骤四:残差连接
步骤五:进行类时校准和连接