首页 > 其他分享 >最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer

最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer

时间：2023-06-13 16:33:26浏览次数：45

标签：illustrated Transformer Annotated transformer Illustrated 讲解

The Illustrated Transformer
https://jalammar.github.io/illustrated-transformer/

The Annotated Transformer
http://nlp.seas.harvard.edu/annotated-transformer/

标签：illustrated,Transformer,Annotated,transformer,Illustrated,讲解
From： https://www.cnblogs.com/abaelhe/p/17477995.html

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘
前言 AI理论再进一步，破解ChatGPT指日可待？本文转载自新智元仅用于学术分享，若侵权请联系删除欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。CV各大方向专栏与各个部署框架最全教程整理【CV技术指南】CV全栈指导班、基础入门......
Transformer架构：革命性的深度学习模型概述
Transformer架构是一种革命性的深度学习模型，由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。它在自然语言处理（NLP）和其他序列到序列（seq2seq）任务中取得了显著的突破，成为目前最受关注和广泛应用的模型之一。背景与动机在传统的序列模型中，如循环神经网络（RNN）和卷......
在Transformers 中使用约束波束搜索引导文本生成
引言本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文如何生成文本:通过Transformers用不同的解码方法生成文本。与普通的波束搜索不同，约束波束搜索允许我们控制所生成的文本。这很有用，因为有时我们确切地知道输出中需要包含什么。例如，在机器翻译任......
[重读经典论文] Swin-Transformer
参考博客：Swin-Transformer网络结构详解参考视频：12.1Swin-Transformer网络结构详解使用了类似卷积神经网络中的层次化构建方法（Hierarchicalfeaturemaps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于在此基础上构建目标检测，实例分割等任务。使用......
【论文阅读】Pyramid Vision Transformer：A Versatile Backbone for Dense Prediction
......
【论文阅读】CvT：Introducing Convolutions to Vision Transformers
......
【论文阅读】Uformer：A General U-Shaped Transformer for Image Restoration
......
Google | 突破瓶颈，打造更强大的Transformer
作者：苏剑林前言《AttentionisAllYouNeed》一文发布后，基于Multi-HeadAttention的Transformer模型开始流行起来，而去年发布的BERT模型更是将Transformer模型的热度推上了又一个高峰。当然，技术的探索是无止境的，改进的工作也相继涌现：有改进预训练任务的，比如XLNET的PLM、ALBERT的SO......
编码器 | 基于 Transformers 的编码器-解码器模型
基于transformer的编码器-解码器模型是表征学习和模型架构这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由SebastionRuder撰写的这篇精彩博文。此外，建议读者对自注意力(self-attention)架构有一个基本了解，可以......
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
前言本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。本文转载自新智元仅用于学术分享，若侵权请联系删除欢迎关注公众号CV技术指南，专......

最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer

相关文章

赞助商

阅读排行