首页 > 其他分享 >注意力机制总结

注意力机制总结

时间:2023-10-09 15:56:44浏览次数:39  
标签:总结 分数 不同 times 序列 机制 注意力

空间注意力机制

针对图片中不同的位置,不同的权重,即对不同位置的图像进行仿射变换,来得到输出以后进行分类。

img

img

通道注意力机制

首先使用全局池化,将H\times W\times C变为1\times 1\times C,然后每个通道对齐进行权重的调整。

img

时间注意力机制

在处理序列数据,如时间序列或文本数据时,时间注意力机制使模型能够关注输入序列的特定时间步。

自注意力机制

Transformer Attention

首先对Q和K计算不同的注意力分数,随后进行归一化,最后将不同K的注意力分数进行累加,得到最后的注意力分数。

img

参考:https://guo-pu.blog.csdn.net/article/details/126881984?utm_relevant_index=1

标签:总结,分数,不同,times,序列,机制,注意力
From: https://www.cnblogs.com/KarryChiang/p/17751960.html

相关文章

  • ControlNet-trt优化总结4:onnx图修改与重建
    ControlNet-trt优化总结4:onnx图修改与重建在这一节中,主要总结网络层面的优化,针对于算子插件优化,主要聚焦于以下几点:修改onnx图,添加不支持的算子插件增加前后处理部分,前后处理导出为onnx图onnx图surgeon原有的graph中存在大量的GN操作,正常fp32的时候没有问题,但是当使用fp16......
  • 【白盒测试基础总结】(新手自学)
    白盒测试:看代码,找bug,需要熟悉代码逻辑。黑盒测试:看不到代码,点点点,只看输入输出,不需要了解过程。下面主要总结了白盒测试的定义、测试步骤、优缺点、测试目的特点、测试方法等。 ......
  • 可视大盘 + 健康分机制,火山引擎 DataLeap 为企业降低资源优化门槛!
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 随着数仓及研发技术团队维护的数据量大、资源使用量大、成本越高、优化压力越大。如何主动发现无效或低效使用的资源,并且可以周期性高效的进行主动治理变为团队治理目标核心诉求之一。在传......
  • 【单调栈】总结
    单调栈有什么用?栈为容器,特性是后入先出。经典栈的应用场景大概为:浏览器的后退按钮实现等。即:栈的一个应用场景就是状态保持。单调栈和经典栈的区别是,栈是一股脑的存,单调栈是让栈内的元素(或者是栈内元素的对应元素)具有单调的特性。那这个单调的特性有啥用呢?我们不考虑其他的,只......
  • 深度解析集成服务云的多重启动机制:数据集成更智能,业务流畅畅行无阻
    集成方案的“点火”时刻!花式启动数据集成在这篇文章中,我们将探讨轻易云集成服务云的集成方案启动机制,以助您在企业数据集成中灵活应对各种需求,确保数据自由流动。启动方案是什么启动方案是指集成方案启动执行的方式。轻易云集成服务云提供了四种启动方式,包括人工启动、定时启......
  • CSS常用总结
    重置样式html,body,ul,li,a,p,div{padding:0;margin:0;//设置盒模型box-sizing:border-box;//移除移动端特有的点击高亮效果-webkit-tap-highlight-color:transparent;}body{font-family:"PingFangSC","MicrosoftYaHei","Helve......
  • Docker 安装 Redis 单机&集群总结
    前言Redis是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库redis版本:redis:6.2.13作者:易墨安装单机版安装源:DockerHub默认配置文件:配置文件示例6.2运行时指定配置文件docke......
  • PHP的错误机制总结
    PHP的错误机制总结PHP的错误机制也是非常复杂的,做了几年php,也没有仔细总结过,现在就补上这一课。特别说明:文章的PHP版本使用5.5.32PHP的错误级别https://www.clw9335.com/rj/首先需要了解php有哪些错误。截至到php5.5,一共有16个错误级别注意:尝试下面的代码的时候请确保打开er......
  • 2023-2024-1 20231407陈原《计算机基础与程序设计》第2周学习总结
    作业信息这个作业属于哪个课程<2023-2024-1-计算机基础与程序设计>这个作业要求在哪里<2023-2024-1计算机基础与程序设计第二周作业>这个作业的目标<熟练掌握《计算机科学概论》第一章,熟悉《C语言程序设计》第一章>作业正文https://www.cnblogs.com/CCCY12345/p/......
  • 2023-2024-1 20231415 《计算机基础与程序设计》第二周学习总结
    这给个作业属于哪个课程https://edu.cnblogs.com/campus/besti/2023-2024-1-CFAP/这个作业要求在哪里https://www.cnblogs.com/rocedu/p/9577842.html#WEEK02这个作业的目标阅读《计算机基础与程序设计》和《C语言》并完成测试作业正文https://i.cnblogs.com/po......