来源：晓飞的算法工程笔记公众号，转载请注明出处论文:MaskLLM:LearnableSemi-StructuredSparsityforLargeLanguageModels论文地址：https://arxiv.org/abs/2409.17481论文代码：https://github.com/NVlabs/MaskLLM创新性提出一种可学习的LLM半结构化剪枝方法MaskLLM

点个关注吧谢谢！有需要论文知道、审稿，申博资料准备，答辩等的可以私信前序文章见：一；二。五、CommonReferenceString公共字符串设定q=n

设\(A\inM_{m\timesn}(\mathbbF)\)，令\(r=\dimR(A),s=\dimC(A)\).不妨设\(A\)的基行为前\(r\)行，令\(\tilde{A}\)为截取\(A\)的前\(r\)行所得矩阵，令\(t=\dimC(\tilde{A})\)，不妨设\(\tilde{A}\)的基列为前\(t\)列.任取\(1\lek\len\)，则存在\(\l

上学期末至今为止，阅读了很多有关于VFL中标签和特征推理攻击的方案，以及在分割学习中的一些相似的方案，看看是否有值得借鉴和迁移的点。此外对于防御也看了一些。目前对该领域有一个比较全面的了解和思考，目前想到的也只是结合几个方案放到不同场景当中去，也复现了几篇论文的实验，发现效

目录概符号说明STARRetrievalRanking最后的结果LeeD.,KraftA.,JinL.,MehtaN.,XuT.,HongL.,ChiE.H.andYiX.STAR:Asimpletraining-freeapproachforrecommendationsusinglargelanguagemodels.2024.概本文提出了一种融合语义/协同/时序信息的方法,

环设\(R\)是赋予了加法和乘法运算的非空集合.我们称\(R\)是环，如果\((R,+)\)是阿贝尔群，\((R,\cdot)\)是幺半群，且\(R\)的乘法满足对加法的左右分配律.若将\((R,\cdot)\)是幺半群的条件修改为\((R,\cdot)\)是半群，我们称\(R\)是伪环.我们将在某些部分平行地构建出

2025--炼石计划--10月06日--NOIP模拟赛#10【订正】-比赛-梦熊联盟(mna.wang)复盘T1计数题，感觉不难。用样例模拟了一下，找到一个较优的去重方式。然后过了样例。此时8:10。T2好像又是矩阵加速。想正解。想不出来，只能做到\(\mathcalO(n^6\logk)\)的复杂度。

本篇文章介绍\(\tildeO(n^{2.032})\)的无向无权图全源最短路stretch2近似算法和\(\tildeO(n^{\frac94})\)的组合算法，以及\(\tildeO(n^{2.214}(1/\epsilon)^{O(1)}\logW)\)的非负整数边权stretch\((2+\epsilon)\)近似算法。其中\((1/\epsilon)^{O(1)}\)

本篇文章介绍整数边权下\((\min,+)\)矩阵乘、APSP等问题的一些做法。若每个元素的权值在\([-M,M]\cap\mathbbZ\)中，\(n\timesn^r\)和\(n^r\timesn\)的\((\min,+)\)矩阵乘可做到\(\tildeO(Mn^{\omega(r)})\)；有向图APSP可做到\(\tildeO(n^{2+\mu(t)})\)，

目录概符号说明GaLoreZhaoJ.,ZhangZ.,ChenB.,WangZ.,AnandkumarA.andTianY.GaLore:Memory-efficientllmtrainingbygradientlow-rankprojection.ICML,2024.概本文提出了一种优化器中高效的缓存策略.符号说明\(W_t\in\mathbb{R}^{m\timesn}\),参

该论文考虑了一个现实的场景：数据集来自网络爬虫，即存在开集噪声OOD样本和闭集噪声ID样本。作者提出了一个简单但有效的策略：通过新设计的指标区分OOD样本，并对OOD样本软化（soften）弥补与干净样本的差距，该方法称为：DynamicSofteningofOut-of-distributionSamples(DSOS)。真实世界噪

NeuralNewsRecommendationwithCollaborativeNewsEncodingandStructuralUserEncoding论文阅读笔记Abstract存在的问题：​ 现有的研究通常将新闻标题和内容分开编码，而忽略了它们之间的语义交互，这对于新闻文本的理解是不够的。此外，以往的模型只对用户的浏览历史进行编码，

目录概符号说明S4代码GuA.,GoelK.andReC.Efficientlymodelinglongsequenceswithstructuredstatespaces.NeurIPS,2022.概Mamba系列第三作.符号说明\(u(t)\in\mathbb{R}\),输入信号;\(x(t)\in\mathbb{R}^N\),中间状态;\(y(t)\in\mathbb{R}\),输

目录概符号说明UniSRec统一的文本表示统一的序列表示Parameter-EfficientFine-tuning代码HouY.,MuS.,ZhaoW.X.,LiY.,DingB.andWenJ.TowardsUniversalSequenceRepresentationLearningforRecommenderSystems.KDD,2022.概本文提出了一个用text替代ID

目录概符号说明MotivationLGMRecLocalGraphEmbeddingGlobalGraphEmbeddingFusion代码GuoZ.,LiJ.,LiG.,WangC.,ShiS.andRuanB.LGMRec:Localandglobalgraphlearningformultimodalrecommendation.AAAI,2024.概本文采用分解的方法进行对ID和模态信

参考上一篇博客，这里给出一个具体案例讲解。Q&A通过一个二维的例子讲解我通过一个简单的二维平面运动规划问题来说明本文方法是如何将有约束问题转化为无约束优化的。考虑一个质点在平面上从起点p

BC中，数据传输的主要困难是不能在接收机间直接进行协同信号检测，因此需要在BS处消除数据间的干扰。考虑四种传输方式：信道反转、块对角化、脏纸编码和THP预编码。信道反转假设用户数等于BS天线数，即\(K=N_B\),并假设下行用户为单天线用户。令\(\tilde{x}_u\)表示第\(u\)个用户的信号

目录概FREEDOMMotivationFrozenItem-ItemgraphDenoisingUser-ItemBipartiteGraphTwoGraphsforLearning代码ZhouX.andShenZ.Ataleoftwographs:Freezinganddenoisinggraphstructuresformultimodalrecommendation.概本文主要是对LATTICE的改进.FREE

Introduction作者考虑了数据集常见的两个问题：1、部分数据被错误得标注；2、数据呈长尾分布。之前涌现了很多工作分别针对这两个问题，但当两者同时存在，它们不能很好的工作。专门针对噪声标签的方法，总是依赖于一些假设，但这些假设在long-tailed上不一定成立。例如利用memorizationeff

目录概符号说明GPR-GNN代码ChienE.,PengJ.,LiP.andMilenkovicO.Adaptiveuniversalgeneralizedpagerankgraphneuralnetwork.ICLR,2021.概GPR-GNN自适应地学习GNNlayersweights.符号说明\(G=(V,E)\),graphs;\(\mathbf{X}\in\mathbb{R}^{n\time

我们已经预训练了词向量，接下来考虑设计神经网络解决更具体的问题。自然语言不同于图像信息，例如子结构并不具有连续性等等。诸多困难使得CNN难以沿用，一个代替的方法是RNN。循环神经网络（RNN）一个单隐藏层的MLP形如：$$\bmH=\phi(\bm{XW}+\bm{b})$$即输入\(\bm{X}\)，经过全连接的线

离散傅里叶级数对一个周期为N的序列，其离散傅里叶级数有：\[\tilde{x}(n)=\frac{1}{N}\sum\limits_{k=0}^{N-1}\tilde{X}[k]e^{j\frac{2\pi}{N}kn}\tag{1.1}\]两边同时乘以\(e^{-j\frac{2\pi}{N}rn}\)，并累加有：\[\sum\limits_{n=0}^{N-1}\tilde{x}(n)e^{-j\frac{2\pi}{N}rn}

目录概符号说明MotivationJGCF代码GuoJ.,DuL,ChenX.,MaX.,FuQ.,HanS.,ZhangD.andZhangY.Onmanipulatingsignalsofuser-itemgraph:Ajacobipolynomial-basedgraphcollaborativefiltering.KDD,2023.概利用JacobiConvolution来区分高中低频信号

目录概符号说明SpectralGNNChoiceofBasisforPolynomialFiltersJacobiConv代码WangX.andZhangM.Howpowerfularespectralgraphneuralnetworks?ICML,2022.概分析谱图网络的表达能力.符号说明\(\kappa(M)=\frac{\lambda_{\max}}{\lambda_{\min}}\),矩阵

目录概符号说明AirGNN代码LiuX.,DingJ.,JinW.,XuH.,MaY.,LiuZ.andTangJ.Graphneuralnetworkswithadaptiveresidual.NIPS,2021.概基于UGNN框架的一个更加鲁棒的改进.符号说明\(\mathbf{A}\in\mathbb{R}^{n\timesn}\),邻接矩阵;\(\mathbf{D}