基于 transformer 的双向编码器表示(BERT)和微软的图灵自然语言生成(T-NLG)等模型已经在机器学习世界中广泛的用于自然语言处理(NLP)任务，如机器翻译、文本摘要、问题回答、蛋白质折叠预测，甚至图像处理任务。
在本文中，对基于transformer 的工作成果做了一个简单的总结，将最新的transformer 研究成果(特别是在2021年和2022年发表的研究成果)进行详细的调研。
这张图与一篇调查论文[Tay 2022]中的图相似，但被调transformers会更新并且它们的整体分类也有很大的不同。
如图所示，主要类别包括计算复杂度、鲁棒性、隐私性、近似性和模型压缩等等。本文文字和专业术语较多，并且均翻译自论文原文，如有错误（很可能）请谅解
完整文章：
https://avoid.overfit.cn/post/5f3133d94003428d95c54ef8ef8b2cda
标签：transformer,transformers,综述,成果,2022,自然语言 From： https://www.cnblogs.com/deephub/p/16741437.html