• 2024-06-232024/6/23 本周总结
    DemoFusion:DemocratisingHigh-ResolutionImageGenerationWithNo$$$2024/5/11任意尺度超分生成一个\(K\)倍大小的图像,需要边长扩大为\(\sqrt{K}\),就是从潜在空间(latentsapce)\(\mathbb{R}^{c\timesh\timesw}\)到目标空间\(\mathbb{R}^{c\times{H}\timesW}\),其中\(
  • 2024-06-20[AAAI2024]Out-of-Distribution Detection in Long-Tailed Recognition with Calibrated Outlier Class Lea
    这篇文章设置的问题是:考虑长尾分布的训练集下,对测试集上的OOD样本进行检测。作者在训练集中引入了openset样本学习异常表征,以OCL(OutlierClassLearn)为baseline,训练时引入prototype方法,推理时对logits进行调整校准。问题背景DNNs会把OOD(out-of-distribution)样本误分类为ID(in-di
  • 2024-06-17北航研究生《矩阵理论》期末复习整理与2024考题记录
    课件线性空间定义:交换律+结合律+零元素+负元素特殊的矩阵:对称矩阵:\(A=A^T\)正交矩阵:\(AA^T=I\)Hermite矩阵:\(A^H=A\),对角元素为实数,特征值为实数反(斜)Hermite矩阵:\(A^H=-A\),对角元素为纯虚数,特征值为纯虚数或者0酉矩阵:\(A^HA=I\),酉相似\(U^HAU=B\),酉相抵\(UA
  • 2024-06-12On the Parameterization and Initialization of Diagonal State Space Models
    目录概符号说明S4D代码GuA.,GuptaA.,GoelK.andReC.Ontheparameterizationandinitializationofdiagonalstatespacemodels.NeurIPS,2022.概Mamba系列第四作:S4D.符号说明\(u(t)\in\mathbb{R}\),输入信号;\(x(t)\in\mathbb{R}^N\),中间状态;\(
  • 2024-06-12Efficiently Modeling Long Sequences with Structured State Spaces
    目录概符号说明S4代码GuA.,GoelK.andReC.Efficientlymodelinglongsequenceswithstructuredstatespaces.NeurIPS,2022.概Mamba系列第三作.符号说明\(u(t)\in\mathbb{R}\),输入信号;\(x(t)\in\mathbb{R}^N\),中间状态;\(y(t)\in\mathbb{R}\),输
  • 2024-06-11Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers
    目录概符号说明LSSL和其它方法的联系代码GuA.,JohnsonI.,GoelK.,SaabK.,DaoT.,RudraA.,andReC.Combiningrecurrent,convolutional,andcontinuous-timemodelswithlinearstate-spacelayers.NeurIPS,2021.Statespacerepresentaion-wiki.概Mamba
  • 2024-06-10ch4 信息搜寻与最优信息决策
    重点贝叶斯信念信息搜寻预期收益(大题)课程内容了解信息决策的基本原理,重点掌握信息搜寻理论的分析框架及其在具体实践中的应用。§(1)信息与一般决策过程§(2)不确定性与信息离散分布§(3)信息搜索模型§(4)最优信息决策信息与决策nothingimportant客观信息与主观信息(信
  • 2024-06-09裴蜀定理证明
    简单裴蜀定理有\(a\)和\(b\)两数互质,则\(\existsX,Y\in\mathbb{Z}\),使得\(aX+bY=1\).证明:规定集合\(S=\left\{aX+bY|X,Y\in\mathbb{Z}\right\}\)设\(aX_0+bY_0\)为集合\(S\)中的最小正值则对于\(\forallaX+bY\inS\)都可表示为\(aX
  • 2024-05-28【数理统计03】集中不等式
    集中不等式(concentrationinequalities)是在概率论和统计学中用于描述随机变量(尤其是随机变量的和或函数)的集中程度的一类不等式。它们为随机变量偏离其期望值的概率提供了上界。这些不等式在很多领域都有应用,包括机器学习、统计学习理论、组合数学和随机过程等。下面介绍几
  • 2024-05-27抽象代数学习笔记(环论、域论)
    RingTheory4.8Definition:Aring\(R\)isasettogetherwithtwobinaryoperationtogetherwith"\(+\)"and"\(\times\)",obeying:\((R,+)\)isanAbeliangroup.\(\times\)isassociative:\((a\timesb)\timesc=a\ti
  • 2024-05-27LGMRec Local and Global Graph Learning for Multimodal Recommendation
    目录概符号说明MotivationLGMRecLocalGraphEmbeddingGlobalGraphEmbeddingFusion代码GuoZ.,LiJ.,LiG.,WangC.,ShiS.andRuanB.LGMRec:Localandglobalgraphlearningformultimodalrecommendation.AAAI,2024.概本文采用分解的方法进行对ID和模态信
  • 2024-05-25【智应数】Markow chains
    MarkowChain&StationaryDistributionDef(FiniteMarkowChain).Let\(\Omega\)beafinitesetofstates,\(\forallx,y\in\Omega,P(x,y)\ge0\)beatransitionfunction,i.e.,\(\sum\limits_{y\in\Omega}P(x,y)=1.\)AfiniteMarkowchain
  • 2024-05-23CeiT:商汤提出结合CNN优势的高效ViT模型 | 2021 arxiv
    论文提出CeiT混合网络,结合了CNN在提取低维特征方面的局部性优势以及Transformer在建立长距离依赖关系方面的优势。CeiT在ImageNet和各种下游任务中达到了SOTA,收敛速度更快,而且不需要大量的预训练数据和额外的CNN蒸馏监督,值得借鉴来源:晓飞的算法工程笔记公众号论文:Incorpora
  • 2024-05-17大数定律与中心极限定理
    Markov&ChebyshevInequality示性函数\[\mathbb{I}(A)=\begin{cases}1,&A\text{happen}\\0,&A\text{nothappen}\end{cases}\]对于事件\(A\),如果对于样本点\(\omega\)有示性函数\[I_A(\omega)=\begin{cases}1,&\omega\inA\\0
  • 2024-05-14AoPS - Chapter 7 Functions
    这一章主要讲解函数的运算与函数方程求解。函数的运算对于函数\(f\),若函数\(g\)满足对任意\(x\)有\(g(f(x))=x\),则\(g\)为\(f\)的反函数(Inverse)。若函数\(h\)满足对于任意\(x\)有\(h(x)=g(f(x))\),则\(h\)为\(f\)与\(g\)的复合(composition),记为\(h=g
  • 2024-05-14RSA 具有单向陷门置换的性质
    这篇文章我们介绍RSA的单向性,置换型等等.我们给出formal的RSA假设:RSA假设.给定一个三元组\((N,e,y)\),其中\(N\)是大素数\(p,q\)的乘积,\(gcd(e,\Phi(N))=1\),\(y\in\mathbbZ_n^*\),那么对于任意的PPT敌手\(\mathcalA\),能够找到\(x\)使得\(x^e=y
  • 2024-05-13单调栈
    单调栈:可以线性预处理:序列前/后缀最大/小值的位置,或者是第\(i\)个数下一个更小/大数的位置。B3666求数列所有后缀最大值的位置https://www.luogu.com.cn/problem/B3666题意:给一个初始为空的数列\(a\),共\(n\)次操作,第\(i(1\leqi\leqn)\)次操作会在\(a\)的末尾
  • 2024-05-12Full-Duplex Communication for ISAC Joint Beamforming and Power Optimization-1
    Z.He,W.Xu,H.Shen,D.W.K.Ng,Y.C.EldarandX.You,"Full-DuplexCommunicationforISAC:JointBeamformingandPowerOptimization,"inIEEEJournalonSelectedAreasinCommunications,vol.41,no.9,pp.2920-2936,Sept.2023,doi:10.1
  • 2024-05-12On latex
    VScodebasicsettingLaTeXWorkshop的自动补全与代码段latex---vscode编辑器配置及快捷键(snnipets)设置VisualStudioCode(vscode)配置LaTeX@委员长长毛鸣1.ii$$快速创建使用$$包裹的行内公式 2.II\(\)快速创建使用\(\)包裹的行内公式 3.dd$$
  • 2024-04-30【智应数】High Dimensional Geometry
    HighdimensiongeometryissurprisinglydifferentfromlowdimensionalgeometryExample1:Volumeconcentratesonshell.Example2:As\(d\rightarrow\infty\),theareaandthevolumnof\(d\)-dimensionalunitball\(\rightarrow\infty\).
  • 2024-04-22LORS:腾讯提出低秩残差结构,瘦身模型不掉点 | CVPR 2024
    深度学习模型通常堆叠大量结构和功能相同的结构,虽然有效,但会导致参数数量大幅增加,给实际应用带来了挑战。为了缓解这个问题,LORS(低秩残差结构)允许堆叠模块共享大部分参数,每个模块仅需要少量的唯一参数即可匹配甚至超过全量参数的性能。实验结果表明,LORS减少解码器70%的参数后仍
  • 2024-04-15Min_25 筛学习笔记
    MyBlogs杜教筛是一种能在\(\mathcalO(n^{\frac23})\)的时间复杂度内求积性函数前缀和的筛法。虽然复杂度比较优秀,但是被筛的积性函数需要满足特殊性质。Min_25筛由Min_25发明,相对更通用,其时间复杂度为\(\mathcalO(\frac{n^{\frac34}}{\logn})\)。首先构造一个完
  • 2024-04-04Domain Agnostic Learning with Disentangled Representations
    DomainAgnosticLearningwithDisentangledRepresentations1.Introduction本文研究了领域不可知论学习(DAL),这是一个比较困难但实际的问题,即知识从一个标记的源领域转移到多个未标记的目标领域。领域不可知学习的主要挑战是:(1)目标数据具有混合的领域,这阻碍了主流特征对齐
  • 2024-04-02数论分块学习笔记
    数论分块学习笔记性质数论分块用于快速计算含有除法向下取整的和式,即形如\(\sum_{i=1}^nf(i)g(\lfloor\frac{n}{i}\rfloor)\)的式子。当预处理出\(f\)的前缀和时,数论分块可以在\(O(\sqrt{n})\)的时间复杂度下计算上述和式的值。求解引理\(1\):\(\foralla,b,c\in\math
  • 2024-04-02BSL: Understanding and Improving Softmax Loss for Recommendation
    目录概符号说明SoftmaxlossBilateralSoftmaxloss(BSL)代码WuJ.,ChenJ.,WuJ.,ShiW.,ZhangJ.andWangX.BSL:UnderstandingandImprovingSoftmaxLossforRecommendation.ICDE,2024.概作者'发现'在协同过滤中,Softmaxloss会比BCE/BPR损失效果好很多,