- 2024-07-05C++ 空间和时间高效的二项式系数(Space and time efficient Binomial Coefficient)
这里函数采用两个参数n和k,并返回二项式系数C(n,k)的值。 例子: 输入:n=4和k=2输出:6解释:4C2等于4!/(2!*2!)=6输入:n=5和k=2输出:10解释:5C2等于5!/(3!*2!)=10 在本文中,我们讨论了O(n*k)时间和O(k)额外空间算法。C(n,
- 2024-06-17LLM微调方法(Efficient-Tuning)六大主流方法:思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等]
LLM微调方法(Efficient-Tuning)六大主流方法:思路讲解&优缺点对比[P-tuning、Lora、Prefixtuing等]由于LLM参数量都是在亿级以上,少则数十亿,多则数千亿。当我们想在用特定领域的数据微调模型时,如果想要full-tuning所有模型参数,看着是不太实际,一来需要相当多的硬件设备(GPU),二来需要
- 2024-06-04Efficient Pruning of Large Language Model with Adaptive Estimation Fusion
本文是LLM系列文章,针对《EfficientPruningofLargeLanguageModelwithAdaptiveEstimationFusion》的翻译。基于自适应估计融合的大型语言模型的高效修剪摘要1引言2相关工作3方法4实验5结论摘要大型语言模型(LLM)已经成为许多生成下游任务的关键,这
- 2024-06-03yolov8改进之嵌入Gold层
#加载模型model=YOLO("yolov8n.yaml") #从头开始构建新模型model=YOLO("yolov8n.pt") #加载预训练模型(建议用于训练)#使用模型model.train(data="coco128.yaml",epochs=3) #训练模型metrics=model.val() #在验证集上评估模型性能results=model
- 2024-06-02Unlearn What You Want to Forget Efficient Unlearning for LLMs
目录概符号说明UnlearningLayersFusingUnlearningLayers代码ChenJ.andYangD.Unlearnwhatyouwanttoforget:efficientunlearningforllms.2024.概本文提出一种Unlearninglayer去帮助LLMs'遗忘'一些数据.符号说明\(F(\cdot)\),largelanguagemodel
- 2024-05-31[论文阅读] Aligner@ Achieving Efficient Alignment through Weak-to-Strong Correction
Pretitle:Aligner:AchievingEfficientAlignmentthroughWeak-to-StrongCorrectionsource:Arxiv2024paper:https://arxiv.org/abs/2402.02416code:https://aligner2024.github.io/ref:https://mp.weixin.qq.com/s/O9PP4Oc_Ee3R_HxKyd31Qg关键词:LLM,align,fin
- 2024-05-29[Paper Reading] FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugi
FlashOcc:FastandMemory-EfficientOccupancyPredictionviaChannel-to-HeightPluginlink时间:23.11机构:houmo.ai后摩智能TL;DR当时比较流行的OCC方案内存与计算复杂度较高,本文提出一种称为FlashOcc的方法,仅使用2D卷积将特征由二维空间lift到3D空间。MethodImageEn
- 2024-05-25论文笔记:Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer
论文链接:[2405.04312]Inf-DiT:UpsamplingAny-ResolutionImagewithMemory-EfficientDiffusionTransformer(arxiv.org)论文代码:THUDM/Inf-DiT:OfficialimplementationofInf-DiT:UpsamplingAny-ResolutionImagewithMemory-EfficientDiffusionTransformer(gi
- 2024-05-22Restormer Efficient Transformer for High-Resolution Image Restoration——2022CVPR
大佬链接:Restormer:EfficientTransformerforHigh-ResolutionImageRestoration-知乎(zhihu.com)一.Motivation1.CNN感受野有限,因此无法对长距离像素相关性进行建模;卷积滤波器在推理时具有静态权重,因此不能灵活地适应输入内容2.Transformer模型缓解了CNN的缺点(有限的感
- 2024-05-20【论文阅读】FlexGraph: A Flexible and Efficient Distributed Framework for GNN Training
阅读思考问题:PleasebrieflydescribehowhierarchicaldependencygraphsarebuiltinFlexGraph,andpointoutthespecificstageintheNAUabstractionwherethisprocesstakesplace.请简要描述在FlexGraph中如何构建分层依赖图,并指出在NAU抽象中的具体阶段发生此
- 2024-04-05An Efficient Approach for Cross-Silo Federated Learning to Rank文章翻译
AnEfficientApproachforCross-SiloFederatedLearningtoRank一种有效的cross-silo(跨孤岛)联邦排名学习方法摘要传统的排名学习(LTR)模型通常采用基于大量数据的集中式方法进行训练。然而,随着人们数据隐私意识的提高,像以前一样从多个所有者收集数据变得更加困难,由此
- 2024-03-29【论文阅读】ELA: Efficient Local Attention for Deep Convolutional Neural Networks
(ELA)EfficientLocalAttentionforDeepConvolutionalNeuralNetworks论文链接:ELA:EfficientLocalAttentionforDeepConvolutionalNeuralNetworks(arxiv.org)作者:WeiXu,YiWan单位:兰州大学信息科学与工程学院,青海省物联网重点实验室,青海师范大学引用:XuW,W
- 2024-03-17DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation解读
文章目录前言一、基本介绍二、方法原理1.DreamGaussian方法2.分数蒸馏抽样(SDS)总结前言太卷啦,太卷啦,视觉太卷啦,赶紧跑路吧~_~介绍DreamGaussian:GenerativeGaussianSplattingforEfficient3DContentCreation论文方法,解释原理,本文不是机械翻译,而是尝试讲解方
- 2024-03-15Efficient Learned Lossless JPEG Recompression
目录简介创新点模型设置CCCMcompressedcheckerboardcontextmodelPPCMpipelineparallelcontextmodelShiftContext实验设置结果简介本文是GuoLina以及HeDailan商汤团队关于重压缩的第二篇论文,这次该团队将注意力放到了加速解码上。创新点提出Multi-LevelParallelC
- 2024-03-13【论文阅读】THEMIS: Fair and Efficient GPU Cluster Scheduling
11.THEMIS:FairandEfficientGPUClusterScheduling出处:2020USENIXThemis:公平高效的GPU集群调度|USENIX主要工作:使用拍卖机制,针对长时间运行、位置敏感的ML应用程序。任务以短期的效率公平来赢取投标但确保长期是完成时间公平性。对每个ML应用程序
- 2024-03-12【论文阅读】Informer Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
原始题目:Informer:BeyondEfficientTransformerforLongSequenceTime-SeriesForecasting中文翻译:Informer:超越有效变换器进行长序列时间序列预测发表时间:2021-05-18平台:ProceedingsoftheAAAIConferenceonArtificialIntelligence文章链接:https://ojs.aaai.org/i
- 2024-03-09Efficient and Straggler-Resistant Homomorphic Encryption for Heterogeneous Federated Learning
为异构联邦学习提供高效且抗掉队者的同态加密技术(INFOCOM24'(CCFA))本文的结构和逻辑清晰,结构设置、文笔以及实验设置和实验分析都值得收藏和反复学习!!!摘要同态加密(HE)被广泛用于加密模型更新,但会产生很高的计算和通信开销。为了减少这些开销,有人提出了打包HE(PHE),将多个明
- 2024-02-11Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update
发表时间:2019(NeurIPS2019)文章要点:这篇文章提出EpisodicBackwardUpdate(EBU)算法,采样一整条轨迹,然后从后往前依次更新做experiencereplay,这种方法对稀疏和延迟回报的环境有很好的效果(allowssparseanddelayedrewardstopropagatedirectlythroughalltransitionso
- 2024-02-03【阅读笔记】《A New Hardware-Efficient Algorithm and Reconfigurable Architecture for Image Contrast Enhance
一、对比度增强算法AGCWD硬件化实现2013年发表在TIP上的对比度增强算法AGCWD(Efficientcontrastenhancementusingadaptivegammacorrectionwithweightingdistribution)2014年发表在IEEETransactionsonImageProcessing的《ANewHardware-EfficientAlgorithmandReco
- 2024-01-16论文总结:Efficient Long-Text Understanding with Short-Text Models
1)背景问题:基于Transformer的预训练语言模型,会限制长度,一般是512以内,因为二次复杂度的原因O(N^2),无法应用于长序列例如故事、科学文章和长文档。2)现有方法:高效的Transformer变体,但是,它们通常基于自定义实现,需要从头开始进行昂贵的预训练。比如:1.Reformer2.Funnel-Transfo
- 2024-01-14【代码复现(吐槽向)】Revisiting a Methodology for Efficient CNN Architectures in Profiling Attacks
【论文写不出来,痛苦中】这篇文章是我看到框架最简单,效果最好的对于公开数据集的攻击没有之一。代码:KULeuven-COSIC/TCHES20V3_CNN_SCA(github.com)吐槽:1坑:TF的版本问题,有了torch,谁用TF,但是偏偏GITHUB上所有的SCA的代码都是TF写的,还有丧心病狂TF1.x,版本安装几十年,不如选一个服
- 2024-01-01Proximal Policy Optimization (PPO): A Robust and Efficient RL Algorithm
1.背景介绍ProximalPolicyOptimization(PPO)是一种强化学习(ReinforcementLearning,RL)算法,它在许多实际应用中表现出色,具有较强的鲁棒性和效率。在这篇文章中,我们将详细介绍PPO的核心概念、算法原理、具体实现以及潜在的未来趋势和挑战。1.1强化学习简介强化学习是一种
- 2023-11-10TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendati
目录概TallRec代码BaoK.,ZhangJ.,ZhangY.,WangW.,FengF.andHeX.TALLRec:Aneffectiveandefficienttuningframeworktoalignlargelanguagemodelwithrecommendation,2023.概LoRA微调在推荐上的初步尝试.TallRecTallRec实际上就是一种特殊的指令
- 2023-11-072023CVPR_Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring
一.Motivation1.Transformer在解决全局表现很好,但是复杂度很高,主要体现在QK的乘积:(Wenotethatthescaleddot-productattentioncomputationisactuallytoestimatethecorrelationofonetokenfromthequeryandallthetokensfromthekey)在self-attention中
- 2023-11-04Checkerboard Context Model for Efficient Learned Image Compression
目录AbstractIntroductionPreliminary初步介绍VariationalImageCompressionwithHyperprior(超先验变分图像压缩)AutoregressiveContext(自回归上下文模型)ParallelContextModeling并行上下文模型Random-MaskModel:TestArbitraryMasks(随机掩码模型)HowDistanceInfl