近期，SakanaAI发表了一篇题为《TransformerLayersasPainters》的论文，探究了预训练transformer中的信息流，并针对仅解码器和仅编码器冻结transformer模型进行了一系列实验。请注意，该研究没有对预训练模型进行任何类型的微调。论文地址：https://arxiv.org/pdf/2407