首页 > 其他分享 >Attention Sinks 入门指南 - 实现无限长度文本生成的高效流式语言模型

Attention Sinks 入门指南 - 实现无限长度文本生成的高效流式语言模型

时间:2024-09-11 15:54:25浏览次数:12  
标签:attention Sinks Attention 流式 model 文本 sinks

attention_sinks

Attention Sinks 简介

Attention Sinks 是一种新的注意力机制,可以让预训练语言模型生成无限长度的连贯文本,同时保持恒定的内存使用。它通过保留初始 token 的注意力信息(称为"注意力池"),并使用滑动窗口来处理最近的 token,从而实现了高效的长文本生成。

Attention Sinks 的主要优势包括:

  • 能够生成无限长度的流畅文本,而不会出现质量下降
  • 内存使用保持恒定,不会随着生成长度增加而增加
  • 不需要对模型进行重新训练,可以直接应用于现有的预训练模型

使用方法

使用 Attention Sinks 非常简单,只需要将模型导入从 attention_sinks 替换为 transformers:

from attention_sinks import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf", device_map="auto")

生成文本的方式与 transformers 相同:

import torch
from transformers import AutoTokenizer, TextStreamer, GenerationConfig
from attention_sinks import AutoModelForCausalLM

model_id = "meta-llama/Llama-2-7b-hf"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16,
    attention_sink_size=4,
    attention_sink_window_size=1020,
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

text = "Attention Sinks 的主要优势是"
input_ids = tokenizer.encode(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    streamer = TextStreamer(tokenizer)
    generated_tokens = model.generate(
        input_ids,
        generation_config=GenerationConfig(
            use_cache=True,
            min_new_tokens=100,
            max_new_tokens=1000,
        ),
        streamer=streamer,
    )

相关资源

  1. Attention Sinks GitHub 仓库 - 官方实现和文档
  2. Efficient Streaming Language Models with Attention Sinks 论文 - 介绍 Attention Sinks 原理的论文
  3. Hugging Face Blog: Attention Sinks - 详细介绍 Attention Sinks 工作原理的博客文章
  4. Attention Sinks 演示脚本 - 展示无限长度文本生成的演示代码
  5. Attention Sinks FAQ - 常见问题解答

总结

Attention Sinks 为大型语言模型的长文本生成提供了一个简单而有效的解决方案。它不仅能够生成无限长度的流畅文本,还能保持恒定的内存使用,是一个值得关注和尝试的新技术。无论是对于研究人员还是实践者,Attention Sinks 都提供了广阔的应用前景。

项目链接:www.dongaigc.com/a/attention-sinks-introduction-guide

https://www.dongaigc.com/a/attention-sinks-introduction-guide

www.dongaigc.com/p/tomaarsen/attention_sinks

https://www.dongaigc.com/p/tomaarsen/attention_sinks

标签:attention,Sinks,Attention,流式,model,文本,sinks
From: https://blog.csdn.net/Nifc666/article/details/142105731

相关文章

  • 自注意力机制(self-attention)
    自注意力机制self-attention红色框中的这四个向量是考虑了整个sequence后的输出,而且self-attention不仅可以使用一次,transformer中最重要的就是self-attention根据\(a^1\)找到和\(a^1\)相关的向量,比如如何计算\(a^1\)和\(a^4\)有多相关计算有很多不同的方法计算相关度\(......
  • PaddleSpeech TTS API与流式速度对比(windows Java版)
    首先本地环境要安装部署PaddleSpeech语音识别系统,参考Windows10系统部署PaddleSpeech本地部署好后,根据官方文档启动TTS的流式服务,参考PaddleSpeech语音启用流式服务1、相关服务的启动 1.1本机启动TTSAPI服务paddlespeech_serverstart--config_file./demos/speech_ser......
  • 【负荷预测】【没发表过论文】基于VMD-CNN-BiLSTM-Attention的负荷预测研究(Python代码
      ......
  • 使用SSE发送和接收流式数据
    背景早期去玩了一下各个Ai厂商的免费额度(主要是国内的),虽然不是很给力,但是还是蛮好玩的。建立长连接我们通常使用WebSocket,而对于流式数据发送,只需要服务器返回数据,而不需要客户端发送数据的情况下,SSE是一个不错的选择。介绍SSE(Server-SentEvents)。数据格式大致如下,如果不写......
  • 推荐一个Python流式JSON处理模块:streaming-json-py
    每天,我们的设备、应用程序和服务都在生成大量的数据流,这些数据往往大多是以JSON格式存在的。如何高效地解析和处理这些JSON数据流是一大挑战。今天,我要为大家介绍一个能极大简化这一过程的利器:streaming-json-pystreaming-json-py介绍streaming-json-py是一个专为实时......
  • Python用CNN+LSTM+Attention对新闻文本分类、锂离子电池健康、寿命数据预测
     分析师:WeiqiaoJue在当今的数字化时代,数据的爆炸式增长既带来了机遇,也带来了挑战。如何从海量的数据中高效地提取有价值的信息,并进行准确的分类和预测,成为了众多领域亟待解决的关键问题。本研究通过CNN+LSTM+Attention模型提高新闻文本分类的精确性的案例,结合Attention+CNN+BiLST......
  • 流式输出的三两方法
    第一种前提是类似于这样的数据对象结构{content:'这里是返回你的回答结果',displayText:'这里是返回你的回答结果'},用一个函数//打字效果函数constdisplayTextEffect=(index)=>{leti=0constspeed=100//字符输出速度,单位是毫秒constfu......
  • 【多变量输入超前多步预测】基于CNN-BiLSTM-Attention的光伏功率预测研究(Matlab代码实
                       ......
  • Python用CNN+LSTM+Attention对新闻文本分类、锂离子电池健康、寿命数据预测
     分析师:WeiqiaoJue在当今的数字化时代,数据的爆炸式增长既带来了机遇,也带来了挑战。如何从海量的数据中高效地提取有价值的信息,并进行准确的分类和预测,成为了众多领域亟待解决的关键问题。本研究通过CNN+LSTM+Attention模型提高新闻文本分类的精确性的案例,结合Attention+CNN+BiLST......
  • AI大语言模型LLM学习-Token及流式响应
    token是什么?比较官方的token解释:Token是对输入文本进行分割和编码时的最小单位。它可以是单词、子词、字符或其他形式的文本片段。token是自然语言处理的最细粒度。简单点说就是,LLM的输入是一个个的token,输出也是一个个的token。token是由LLM处理的基本数据单元。......