作为当下最先进的深度学习架构之一，Transformer 被广泛应用于自然语言处理领域。它不单替代了以前流行的循环神经网络（recurrent neural network，RNN）和长短期记忆（long short-term memory，LSTM）网络，并且以它为基础衍生出了诸如 BERT、GPT-3、T5 等知名架构。
作为当下最先进的深度学习架构之一，Transformer 被广泛应用于自然语言处理领域。它不单替代了以前流行的循环神经网络（recurrent neural network，RNN）和长短期记忆（long short-term memory，LSTM）网络，并且以它为基础衍生出了诸如 BERT、GPT-3、T5 等知名架构。