首页 > 其他分享 >Transformer--详解

Transformer--详解

时间:2024-10-08 13:52:11浏览次数:12  
标签:Transformer num -- self attention 详解 tf model

Transformer旨在解决自然语言处理任务中的长依赖性问题。与传统的递归神经网络(如LSTM、GRU)不同,Transformer完全摒弃了递归结构,依赖自注意力机制(Self-Attention)来建模输入序列中的所有位置之间的关系。因此,Transformer能够并行处理整个序列,这极大地提高了训练速度和效率。

Transformer在许多自然语言处理任务(如机器翻译、文本生成、文本分类等)中表现优异,尤其是大规模语言模型(如BERT、GPT、T5等)的基础架构。

Transformer的基本结构

Transformer模型由编码器(Encoder)解码器(Decoder)两个部分组成,二者都由堆叠的多层相似结构组成。以下是各部分的基本结构:

  1. 编码器(Encoder)

    • 编码器由多个层堆叠组成,每一层包括两个子层:

      1. 多头自注意力机制(Multi-Head Self-Attention):输入序列的所有位置之间进行相互注意,允许模型关注序列中不同部分的信息。

      2. 前馈神经网络(Feed-Forward Network):独立应用于每个位置。

    • 每个子层后都有一个残差连接和层归一化(Layer Normalization),使得梯度传播更为稳定。

  2. 解码器(Decoder)

    • 解码器也由多个层堆叠组成,但每层有三个子层:

      1. Masked 多头自注意力机制:确保模型在生成序列时,每个位置只能关注之前的位置。

      2. 编码器-解码器注意力:解码器关注编码器的输出。

      3. 前馈神经网络

    • 同样每个子层后都有残差连接和层归一化。

  3. 注意力机制(Attention Mechanism)

    • Transformer依赖于一种称为Scaled Dot-Product Attention的注意力机制。它通过计算查询(Query)、键(Key)和值(Value)之间的点积来生成注意力分数。

  4. 位置编码(Positional Encoding)

    • Transformer没有递归结构,因此模型需要一种方式来捕捉序列中的位置信息。位置编码通过正弦和余弦函数添加到输入嵌入上,帮助模型捕获位置信息。

Transformer的经典代码

以下是使用Keras实现Transformer编码器的简化代码示例:

import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Dense, LayerNormalization, Dropout, Embedding
from tensorflow.keras.models import Model
​
# Scaled Dot-Product Attention
def scaled_dot_product_attention(query, key, value, mask=None):
    matmul_qk = tf.matmul(query, key, transpose_b=True)  # 计算Q和K的点积
    dk = tf.cast(tf.shape(key)[-1], tf.float32)
    scaled_attention_logits = matmul_qk / tf.math.sqrt(dk)  # 缩放
​
    if mask is not None:
        scaled_attention_logits += (mask * -1e9)  # 如果有mask,填充为负无穷
​
    attention_weights = tf.nn.softmax(scaled_attention_logits, axis=-1)  # 归一化
    output = tf.matmul(attention_weights, value)  # 计算权重与V的乘积
    return output, attention_weights
​
# Multi-head Attention Layer
class MultiHeadAttention(tf.keras.layers.Layer):
    def __init__(self, d_model, num_heads):
        super(MultiHeadAttention, self).__init__()
        self.num_heads = num_heads
        self.d_model = d_model
​
        assert d_model % self.num_heads == 0  # 确保可以均匀分成多个头
​
        self.depth = d_model // self.num_heads
​
        self.wq = Dense(d_model)
        self.wk = Dense(d_model)
        self.wv = Dense(d_model)
        self.dense = Dense(d_model)
​
    def split_heads(self, x, batch_size):
        # 将最后一个维度分成多个头
        x = tf.reshape(x, (batch_size, -1, self.num_heads, self.depth))
        return tf.transpose(x, perm=[0, 2, 1, 3])
​
    def call(self, v, k, q, mask=None):
        batch_size = tf.shape(q)[0]
​
        # 通过线性层获得Q, K, V
        q = self.wq(q)
        k = self.wk(k)
        v = self.wv(v)
​
        # 分割为多个头
        q = self.split_heads(q, batch_size)
        k = self.split_heads(k, batch_size)
        v = self.split_heads(v, batch_size)
​
        # 计算注意力
        scaled_attention, attention_weights = scaled_dot_product_attention(q, k, v, mask)
​
        # 合并所有头
        scaled_attention = tf.transpose(scaled_attention, perm=[0, 2, 1, 3])
        concat_attention = tf.reshape(scaled_attention, (batch_size, -1, self.d_model))
​
        output = self.dense(concat_attention)  # 通过最后的线性层
        return output, attention_weights
​
# 前馈网络
def point_wise_feed_forward_network(d_model, dff):
    return tf.keras.Sequential([
        Dense(dff, activation='relu'),  # 第一层
        Dense(d_model)  # 第二层
    ])
​
# Transformer Encoder Layer
class EncoderLayer(tf.keras.layers.Layer):
    def __init__(self, d_model, num_heads, dff, rate=0.1):
        super(EncoderLayer, self).__init__()
​
        self.mha = MultiHeadAttention(d_model, num_heads)  # 多头注意力
        self.ffn = point_wise_feed_forward_network(d_model, dff)  # 前馈网络
​
        self.layernorm1 = LayerNormalization(epsilon=1e-6)
        self.layernorm2 = LayerNormalization(epsilon=1e-6)
​
        self.dropout1 = Dropout(rate)
        self.dropout2 = Dropout(rate)
​
    def call(self, x, mask=None):
        attn_output, _ = self.mha(x, x, x, mask)  # 自注意力
        attn_output = self.dropout1(attn_output)
        out1 = self.layernorm1(x + attn_output)  # 残差连接 + LayerNorm
​
        ffn_output = self.ffn(out1)  # 前馈
        ffn_output = self.dropout2(ffn_output)
        out2 = self.layernorm2(out1 + ffn_output)  # 残差连接 + LayerNorm
​
        return out2
​
# Transformer Encoder
class Encoder(tf.keras.layers.Layer):
    def __init__(self, num_layers, d_model, num_heads, dff, input_vocab_size, maximum_position_encoding, rate=0.1):
        super(Encoder, self).__init__()
​
        self.d_model = d_model
        self.num_layers = num_layers
​
        self.embedding = Embedding(input_vocab_size, d_model)
        self.pos_encoding = positional_encoding(maximum_position_encoding, self.d_model)
​
        self.enc_layers = [EncoderLayer(d_model, num_heads, dff, rate) for _ in range(num_layers)]
​
        self.dropout = Dropout(rate)
​
    def call(self, x, mask=None):
        seq_len = tf.shape(x)[1]
​
        # 添加embedding和位置编码
        x = self.embedding(x)
        x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32))
        x += self.pos_encoding[:, :seq_len, :]
​
        x = self.dropout(x)
​
        for i in range(self.num_layers):
            x = self.enc_layers[i](x, mask)
​
        return x
​
# 位置编码
def positional_encoding(position, d_model):
    angle_rads = get_angles(np.arange(position)[:, np.newaxis], np.arange(d_model)[np.newaxis, :], d_model)
    angle_rads[:, 0::2] = np.sin(angle_rads[:, 0::2])  # apply sin to even indices in the array
    angle_rads[:, 1::2] = np.cos(angle_rads[:, 1::2])  # apply cos to odd indices in the array
    pos_encoding = angle_rads[np.newaxis, ...]
    return tf.cast(pos_encoding, dtype=tf.float32)
​
def get_angles(pos, i, d_model):
    angle_rates = 1 / np.power(10000, (2 * (i // 2)) / np.float32(d_model))
    return pos * angle_rates

文本生成任务的示例代码

接下来是如何使用Transformer架构进行文本生成。这种生成任务可以视为基于语言模型的任务,即给定一部分文本,预测接下来的文本。

使用一个已经训练好的Transformer语言模型来生成文本,以下是简化的文本生成代码:

import numpy as np
import tensorflow as tf
from tensorflow.keras.preprocessing.sequence import pad_sequences
​
# 假设已经有了一个训练好的Transformer模型
# 为了生成文本,需要以下步骤:
​
def generate_text(model, tokenizer, seed_text, max_sequence_len, num_words):
    for _ in range(num_words):
        token_list = tokenizer.texts_to_sequences([seed_text])[0]  # 将种子文本转换为token序列
        token_list = pad_sequences([token_list], maxlen=max_sequence_len-1, padding='pre')  # 填充序列
        predicted = model.predict(token_list, verbose=0)  # 预测下一个单词
        predicted_word_index = np.argmax(predicted, axis=-1)  # 获取最大概率的单词索引
        output_word = ""
        for word, index in tokenizer.word_index.items():
            if index == predicted_word_index:
                output_word = word
                break
        seed_text += " " + output_word  # 更新种子文本
    return seed_text
​
# 使用示例:
seed_text = "The future of AI"
generated_text = generate_text(model, tokenizer, seed_text, max_sequence_len=10, num_words=50)
print(generated_text)

代码解释:

  1. 多头注意力机制:实现了Transformer中的核心模块——多头注意力机制,它可以让模型同时关注输入序列中的不同部分。

  2. 前馈神经网络:每一层中除了注意力机制外,还包含一个前馈网络以增强模型的表达能力。

  3. 位置编码:用于给Transformer提供序列位置信息。

  4. 文本生成函数:利用训练好的模型进行文本预测,逐步生成句子。

总结

Transformer凭借其并行化的结构、自注意力机制以及位置编码技术,能够非常有效地处理长距离依赖问题。它被广泛应用于各类自然语言处理任务,尤其是在大规模预训练语言模型中(如BERT、GPT等)。

标签:Transformer,num,--,self,attention,详解,tf,model
From: https://blog.csdn.net/GDHBFTGGG/article/details/142757895

相关文章

  • 深度除氟工艺-电化学法(学习笔记)
    电化学法通过以下操作达到深度除氟的目的:一、电化学原理应用电化学法主要利用电化学原理,在特定的电解装置中,通过电极的氧化还原反应,将废水中的氟离子进行转化和处理。这种转化可以是将氟离子转化为不溶性的氟化物,使其沉积在电极表面或通过其他方式从废水中分离出来。二、......
  • jsp城市旅游景点攻略系统g0921(程序+源码+数据库+调试部署+开发环境)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表用户,旅游线路,热门景点,风景图片,旅游攻略开题报告内容一、研究背景与意义随着旅游业的蓬勃发展,城市旅游景点攻略成为游客出行前的重要参考。然而,传统的攻略......
  • jsp城市公交查询系统455p7--(程序+源码+数据库+调试部署+开发环境)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表用户,站点查询,线路查询,站站查询开题报告内容一、课题背景及意义在快速发展的城市中,公共交通作为市民日常出行的重要方式,其便捷性和效率直接影响到市民的生活......
  • jsp城市公共广告位出租管理一体化项目的设计与实现6nma5
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、研究背景随着城市化进程的加快,公共广告位作为城市商业活动的重要组成部分,其管理和出租效率直接影响到城市形象和商业活动的顺利进行。然而,传统......
  • jsp成都工业学院开放实验室预约系统ih8s7程序+源码+数据库+调试部署+开发环境
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表用户,实验室,实验室预约,反馈信息,取消预约开题报告内容一、项目背景随着高校教育的不断发展和创新,实验室已成为教学和科研的重要场所。然而,传统的实验室预约......
  • 当代年轻人,都在利用AI实现婚纱照自由?
    随着国庆黄金假期的到来,一年一度的“全民结婚季”又将拉开序幕。准备婚服、婚车,宴请宾客和各种仪式流程,准新娘和新郎们忙得不可开交。一套精美的婚纱照,也是新人们的结婚必备。为什么一定要拍婚纱照?“婚纱照不仅仅是一个形式,还蕴含对美好生活的向往”、“记录会让回忆变......
  • CF708C Centroids [树形DP,换根DP]
    Description给定一棵树。至多进行一次操作:删去一条边,连接一条新边,保证操作完后仍是树。问每个点在进行操作后是否可以成为树的重心。Solution性质\(1\):若一个点不是树的重心,则它的必然有一个大小大于\(\lfloorn/2\rfloor\)的子树。性质\(2\):如果一个点合法,要么它本来......
  • Docker入门教程
    docker安装介绍"纸上得来终觉浅,绝知此事要躬行""天下没有难学的技术"docker简单介绍:Docker是什么?Docker其中包括,镜像、容器、仓库,很简单,目的就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的产品(可以是web应用或者数据库应用)及其环境能够做到“一......
  • GUI图形界面 无代码开发 原理 - 属性标识链 | uiotos致敬amis、nodered、appsmith、co
    低代码饱受争议。也有例外:后端NodeRed,前端Amis。整体还是诟病为主:简单业务可以,复杂的是扯淡,不论前后端。这是一贯的认知。在GUI方面,UIOTOS发明的嵌套技术,为复杂前端的无代码开发,开辟了一条新的思路。往期文章:可视化拖拉拽?过时了!组态零代码,不能做复杂前端?嵌套原理一复杂交互......
  • 责任链模式
    简介责任链模式(ChainofResponsibilityPattern)将链中每一个节点都看作一个对象,每个节点处理的请求均不同,且内部自动维护下一个节点对象。当一个请求从链式的首端发出时,会沿着责任链预设的路径依次传递到每一个节点对象,直至被链中的某个对象处理为止,属于行为型设计模式。......