首页 > 其他分享 >2024-05-17 闲话

2024-05-17 闲话

时间:2024-05-17 23:08:37浏览次数:24  
标签:10 17 05 一个 image icml 2024 我们

昨天去听了一个宣讲,晚上和 5w citation 的老师吃了一个饭,收获了一个合影。吃饭的时候和刘夏雷老师交流了一个工作,通俗语言表达如下。

连续学习的 setting 下有一个灾难性遗忘的问题。举一个具体一点的例子:现在我们有一个图片分类的任务,原先有 10 类,现在要扩充至 20 类。原先我们建立一个 image 到 1~10 数字的映射,现在我们建立一个 image 到一段文字的映射。原先我们要输出一个数字,我们现在变成输出 token。


昨天另外听了我校徐君老师的一个工作,这个工作中了 icml,也用通俗语言记录一下

我们发现 vision 或者 nlp 网络中有一个模块叫做激活函数。在反向传播过程中,激活函数求导所用到的表达式很长,存储中间量是必要的,但这很消耗显存。我们想把表达式剪短,做法是使用(2/4/8)个 Relu 加权平均,权重是固定的,可以简单预训练或者得到。

skyh 表示:我们 icml 是这样的,你不服你也投去啊。

以上都是大概的 idea 的陈述,具体模型结构选择/不严谨的地方的理论证明请关注论文。

标签:10,17,05,一个,image,icml,2024,我们
From: https://www.cnblogs.com/yspm/p/18198864/WasteWords20240517

相关文章

  • 鲜花 #2 2024 年春游吐槽
    说是春游,还不如说是夏游。去的安的童话森林公园,说是童话,实际上就是种菜的。饭难吃的要死,而且工作人员的态度相当恶劣。说是下河摸鱼,实际上就是在浑水里面乱撞,而且水深的要死,根本看不到有鱼,说是放了\(300\)条鱼,实际上就没几条。水底除了泥巴就是石头,一会鞋陷进去了,一会就是磕......
  • P9517 drink 题解
    题目传送门这道题考场上用的查找做的。先用一个结构体分别表示firstlast,然后进行查找即可,两个for循环分别计算出first和last,最后计算它们的差值。(注意,计算差值时要加1)然后你就会发现一个问题:只有\(90\)分。所以我们来思考一下哪里出现了问题。你会发现:如果全都是......
  • 「游记」2024 吉林省赛和 2024 东北四省赛
    Before本文是\(2024\)中国大学生程序设计竞赛全国邀请赛(长春)暨第\(17\)届吉林省大学生设计竞赛和新建比赛的游记写的很烂写的很烂写的很烂Day0省赛报到及热身赛。\(14:00\)前报到。\(12:00\)和一名队员在校门口集合了,但另一名队员才起床。会合后打车前往东师净月校区......
  • 24.5.17
    所花时间:写了物联网的竞赛技术架构,对现有技术进行了研究代码量:0博客量:28了解知识点:可用于特殊物品在仓储和物流过程中的状态监测,边缘机通过使用温湿度传感器和加速度传感器还有摄像头来采集货物的对应数据,使用mqtt协议向云主机进行数据的发送,云主机结合了火山引擎的边缘智能平......
  • PKUSC 2024 最短路径
    本文首发于QOJhttps://qoj.ac/blog/skip2004/blog/866大家好,我是钱哥,我来写一下PKUSC2024最短路径的题解。没有做过这个题的同学可以先自行做一做。我们下面来讲解一下如何一步步解决这个题目。subtask4首先,我们来解决第一个具有挑战性的子任务:\(m\leq2.5n\),这个点具......
  • 5.17
    高三在举行神秘仪式,时不时传来巨大的响声让我分心,望周知。推歌丑八怪——薛之谦歌词如果世界漆黑其实我很美在爱情里面进退最多被消费无关痛痒的是非又怎么不对无所谓如果像你一样总有人赞美围绕着我的卑微也许能消退其实我并不在意有很多机会像巨人一样的无畏......
  • 240503好题选讲:概率和期望
    240503好题选讲:概率和期望期望的计算公式:\[E(X)=\sum_ii\timesP(x=i)\]期望的线性性:\[E(X+Y)=E(X)+E(Y),E(kX)=kE(x)\]A百事世界杯之旅B收集邮票一句话题意:\(n\)种邮票,每次等概率选取一张,第\(i\)张的价格是\(i\),问:标准版:集齐\(n\)种邮票所需要购买的期望......
  • NOIP2024模拟赛7:纯粹当下
    NOIP2024模拟赛7:纯粹当下今日挂分:95pts......T2\(T\)组数据,每组给定\(n,k,f,a_i\),一个序列\(b\)满足\(b_i\in[a_i-k,a_i]\),记\(g\)表示至多删去序列中\(f\)个数后,使得剩余所有数的\(\gcd\),求\(g\)的集合并输出.标签:转化,调和级数,前缀和.其实也有......
  • 2024.5.17
    2024.5.17【这个世界早已无法拯救,可我们还必须成为英雄。】Friday四月初十继续水数据结构。。。P3045[USACO12FEB]CowCouponsG//2024.5.17//bywhite_ice//P3045[USACO12FEB]CowCouponsG#include<bits/stdc++.h>#include<typeindex>usingnamespacestd;......
  • Codeforces 1178B WOW Factor
    题目简述给定一个只含$v$和$o$的字符串$s$,求字符串中有多少个$wow$(一个$w$即为连续的两个$v$)。题目分析考虑枚举每一个$o$,设下标为$i$,统计它左边和右边各有多少个$w$,分别设为$a_{i-1}$和$b_{i+1}$,依据乘法原理,将它们乘起来即为答案,累加即可。接下来,考虑怎么处......