- 2024-09-25SelMatch:最新数据集蒸馏,仅用5%训练数据也是可以的 | ICML'24v1
数据集蒸馏旨在从大型数据集中合成每类(IPC)少量图像,以在最小性能损失的情况下近似完整数据集训练。尽管在非常小的IPC范围内有效,但随着IPC增加,许多蒸馏方法变得不太有效甚至性能不如随机样本选择。论文对各种IPC范围下的最先进的基于轨迹匹配的蒸馏方法进行了研究,发现这些方法在增
- 2024-09-25SelMatch:最新数据集蒸馏,仅用5%训练数据也是可以的 | ICML'24
数据集蒸馏旨在从大型数据集中合成每类(IPC)少量图像,以在最小性能损失的情况下近似完整数据集训练。尽管在非常小的IPC范围内有效,但随着IPC增加,许多蒸馏方法变得不太有效甚至性能不如随机样本选择。论文对各种IPC范围下的最先进的基于轨迹匹配的蒸馏方法进行了研究,发现这些方法在增
- 2024-09-06R-Adapter:零样本模型微调新突破,提升鲁棒性与泛化能力 | ECCV 2024
大规模图像-文本预训练模型实现了零样本分类,并在不同数据分布下提供了一致的准确性。然而,这些模型在下游任务中通常需要微调优化,这会降低对于超出分布范围的数据的泛化能力,并需要大量的计算资源。论文提出新颖的RobustAdapter(R-Adapter),可以在微调零样本模型用于下游任务的同时解
- 2024-09-02LaViT:这也行,微软提出直接用上一层的注意力权重生成当前层的注意力权重 | CVPR 2024
Less-AttentionVisionTransformer利用了在多头自注意力(MHSA)块中计算的依赖关系,通过重复使用先前MSA块的注意力来绕过注意力计算,还额外增加了一个简单的保持对角性的损失函数,旨在促进注意力矩阵在表示标记之间关系方面的预期行为。该架构你能有效地捕捉了跨标记的关联,超越了基线
- 2024-08-19EfficientMod:微软出品,高效调制主干网络 | ICLR 2024
EfficientModulation(EfficientMod)融合了卷积和注意力机制的有利特性,同时提取空间上下文并对输入特征进行投影,然后使用简单的逐元素乘法将其融合在一起。EfficientMod的设计保证了高效性,而固有的调制设计理念则保证了其强大的表示能力来源:晓飞的算法工程笔记公众号论文:E
- 2024-03-20牛客小白月赛88 出题复盘
回顾初次投题是在2023.10.27,由于不熟悉流程,是自己拉了个内测确保题目都完整了才投的(题面+数据+题解全搞定了),后来发现投题的时候其实只需要一个idea加上一个题解。随后恰好赶上年末赛季(猜测,因为确实过了很久),一直拖到2023.12.26才正式进行录题。中途换了一次审题人,到2024.01.1
- 2024-03-14Luna likes Love 题解
ProblemLink简要题意题目很清楚。分析定理两个人中左边的人一直向右运动,和两人向中间走所用的步数相同证明假设有两组人为\(a_l,a_r,b_l,b_r(a_l<a_r,b_l<b_r)\)。\(\textrm{I}.\)当\(a_r<b_l\)(两者互不相交)时如图:显然成立。$\textrm{II}.$
- 2024-03-10CCPC2023-Shenzhen
\[\LARGE\textrm{ProblemA.AGoodProblem}\]\(a_i\in[0,n]\)分治,考虑做值域为\([L,R)\)的一部分,保证初始情况下所有数都是\(L\),然后把所有值域在\([mid,R)\)的数抬到\(mid\),再做分成的两部分。\[\LARGE\textrm{ProblemF.Gift}\]基环树,枚举每一条环上的边
- 2023-12-07SG定理证明
前置知识有向图游戏概念。单个有向图游戏中\(\textrm{SG}\)函数的求值(\(\textrm{mex}\)运算)。以上内容请自行查阅,这里不会多说。前言本文受启发于OIWiki,采用相同的数学归纳法进行证明,但对计算的原理进行了补充,也补足了一些细节。网上许多\(\textrm{SG}\)定理的证明只
- 2023-11-05SEERC 2020 Problem H
题目链接模拟赛搬了这题,场切了顺手写个题解。这种题当然先考虑单组询问怎么做,然后再拓展出去。设按位与的集合是\(A\),按位或的集合是\(B\),结果都是\(x\),我们考虑\(A,B\)的元素应该满足的性质。不难发现,所有\(y<x\)的\(y\)都应该在\(B\),\(y>x\)的\(y\)都应该在\(A
- 2023-11-02The Last Battle —— 2023~2024 赛季考场代码合辑
\[\Huge\mathfrak{CSP-S2023}\]\[{\color{orange}\textrm{340}}\textrm{/400}\]\(\textrm{A}\;\text{密码锁}\)\({\color{limegreen}\textrm{100}}\textrm{/100}\)\(\textrm{Wedecide.}\)\(\textrm{Wechoose.}\)\(\textrm{Aswedeci
- 2023-02-21网络流复健
好长时间不做网络瘤了,啥也不会,于是复健了下。导致现在我看到网络瘤就恶心。大部分都是题,还有一小部分也是题。在这里放个歌词罢。\(\textbf{Borninthemonthofda
- 2023-02-05深度学习数学基础-概率与信息论
前言概率论学科定义概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性声明(statement)的公理。概率论的知识在机器学
- 2022-12-24Ynoi记录
\(\quad\mathcal{Problem\\ID}\quad\)\(\quad\quad\mathcal{Name}\quad\quad\)\(\quad\quad\mathcal{Time}\quad\quad\)\(\texttt{1}\)\(\textrm{5354}\)\(
- 2022-12-01深度学习-第三章概率与信息论
前言概率论学科定义概率与信息论在人工智能领域的应用3.1,为什么要使用概率论3.2,随机变量3.3,概率分布3.3.1,离散型变量和概率质量函数3.3.2,连续型变量和概率密度
- 2022-09-24【闲散漫步】水题日记
\(\textrm{luoguP1306斐波那契公约数}\)斐波那契结论题:\[\gcd(F_n,F_m)=F_{\gcd(n,m)}\]\(\textrm{luoguP1445[Violet]樱花}\)简单的计数。\(\textrm{luoguP21
- 2022-08-26做题记录
CF\(\color{#aa00aa}{1900}\sim\color{#ff0000}{2400}\)|AT\(\color{#0000ff}{1600}\sim\color{#c0c000}{2399}\)做题笔记前言准备多刷些这个分数段的CF/AT以涨知