摘要：earthformer是基于一个时空注意力块，称为Cuboid Attention。将数据分解为多个立方体块(cuboid)，然后在方块上计算自注意力，有一个全局向量和所有方块连接和汇总。
硬件：这个工作是在一块V100上完成的，开销很小。因为实验是在MNIST上做的，当然也做了降雨和ENSO，但总归不是那种大公司出的可以业务化的大模型。
intro:不同的立方体分解可以捕捉到不同类型的相关性，通过叠加具有不同超参的方块注意力层，我们可以将之前vision中的各种注意力纳入考虑，也可以得到一些全新的注意力形式。为了让方块之间能够沟通，提出了全局向量。
实验得到的结论：1. axial注意力是高效有效的（axial attention是先前工作） 2. 全局向量总能提供更好的效果，并不增加计算 3. 编解码器中添加hierarchy(分层？)可以提高性能
方法：先分解为方块，他这一步分解不像其他固定patch大小直接分就行，它这里列为单独的一节，认为方块大小、分解策略、滑动距离都是可调节超参。
标签：超参,分解,向量,2022.7,全局,Earthformer,注意力,方块 From： https://www.cnblogs.com/andoblog/p/17460186.html