arxiv|中科院联合国科大开源TRLO：一种结合3D动态物体跟踪与移除的高效LiDAR里程计【TRLO:AnEfficientLiDAROdometrywith3DDynamicObjectTrackingandRemoval】文章链接：[2410.13240]TRLO:AnEfficientLiDAROdometrywit...项目主页：GitHub-Yaepiii/TRLOTRLO:A

文章介绍本文由华中科技大学、地平线、智源人工智能研究院等机构合作；提出了一种带有双向Mamba块（Vim）的新通用视觉baseline，它用位置嵌入标记图像序列，并用双向状态空间模型压缩视觉表示。问题引入在处理图像和视频等视觉数据方面,基于纯SSM的通用baseline尚未得到探索；Visu

联邦学习开山之作Communication-EfficientLearningofDeepNetworksfromDecentralizedDataabstractIntroductionTheFederatedAveragingAlgorithmExperimentalResultsConclusionsandFutureWorkCommunication-EfficientLearningofDeepNetworksfromDec

1.参考论文：https://arxiv.org/pdf/2303.12077代码：https://github.com/hustvl/VAD2.摘要        自动驾驶由于是一个对安全要求非常高的任务，所以需要全面了解周围的环境，来进行可靠的规划。以前的方法都是网格占用或者分割图等计算量较高的任务。       本

本文是LLM系列文章，针对《LogParser-LLM:AdvancingEfficientLogParsingwithLargeLanguageModels》的翻译。LogParser-LLM：利用大型语言模型推进高效日志解析摘要1引言2相关工作和动机3日志解析粒度4方法5实验6结论摘要日志是无处不在的数字足迹

Trainingdata-efficientimagetransformers&distillationthroughattention：通过注意力训练数据高效的图像转换器和蒸馏论文地址：https://arxiv.org/abs/2012.12877代码地址：https://github.com/facebookresearch/deit这篇论文在2020年12月23日首次提交，也就是在ViT提

EfficientDevSecOpsWorkflowswithaLittleHelpfromAIhttps://www.infoq.com/articles/efficient-devsecops-workflows/AIisenhancingDevSecOpsworkflowsbystreamliningtasks,improvingsecurity,andoptimizingoperations.UtilizeAIforgeneratingco

目录概符号说明SM3区间的划分代码AnilR.,GuptaV.,KorenT.,SingerY.Memory-efficientadaptiveoptimization.NeurIPS,2019.概本文提出了一种memory-efficient的优化器:SM3.符号说明\(t=1,\ldots,T\),optimizationrounds;\(w_t\in\mathbb{R}^d\),par

DocKylin:ALargeMultimodalModelforVisualDocumentUnderstandingwithEfficientVisualSlimmingarxiv:http://arxiv.org/abs/2406.19101视觉处理器+LLM：视觉处理器：SwinTransformer创新点：通过：1、去除图片冗余像素；2、去除冗余token。来减小模型中的视觉处理器的参数量

目录概符号说明GaLoreZhaoJ.,ZhangZ.,ChenB.,WangZ.,AnandkumarA.andTianY.GaLore:Memory-efficientllmtrainingbygradientlow-rankprojection.ICML,2024.概本文提出了一种优化器中高效的缓存策略.符号说明\(W_t\in\mathbb{R}^{m\timesn}\),参

目录概BAdam代码LuoQ.,YuH.andLiX.BAdam:Amemoryefficientfullparameteroptimizationmethodforlargelanguagemodels.arXivpreprint,2024.概本文介绍了一种Blockcorrdinatedescent(BCD)的训练方式.BAdam当模型本身很大的时候,训练它会成为一

ControlNeXt:PowerfulandEfficientControlforImageandVideoGeneration(2024,8)paperGithub进一步在ControlNet上进行了改进,主要针对一下两点对于每一个模块添加一个Zero-Conv也会占用很多显存.Zero-Conv两个模态的输出的mean、var具有差异,导致收敛很慢.针对1,

EfficientDETR结合密集检测和稀疏集合检测的优点，利用密集先验来初始化对象容器，弥补单层解码器结构与6层解码器结构的差距。在MSCOCO上进行的实验表明，仅3个编码器层和1个解码器层即可实现与最先进的目标检测方法竞争的性能，在CrowdHuman密集数据集上的性能也远远优于其它检

ADALORA的前世今生

在大模型微调的理论中，AdaLoRA方法是一个绕不开的部分。 这篇论文主要提出了一种新的自适应预算分配方法AdaLoRA，用于提高参数高效的微调性能。AdaLoRA方法有效地解决了现有参数高效微调方法在预算分配上的不足，提高了在资源有限情况下的模型性能，为NLP领域的实际应用提供了新的

这里函数采用两个参数n和k，并返回二项式系数C(n,k)的值。 例子： 输入：n=4和k=2输出：6解释：4C2等于4!/(2!*2!)=6输入：n=5和k=2输出：10解释：5C2等于5!/(3!*2!)=10        在本文中，我们讨论了O(n*k)时间和O(k)额外空间算法。C(n,

LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefixtuing等]由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一来需要相当多的硬件设备（GPU），二来需要

本文是LLM系列文章，针对《EfficientPruningofLargeLanguageModelwithAdaptiveEstimationFusion》的翻译。基于自适应估计融合的大型语言模型的高效修剪摘要1引言2相关工作3方法4实验5结论摘要大型语言模型（LLM）已经成为许多生成下游任务的关键，这

#加载模型model=YOLO("yolov8n.yaml")  #从头开始构建新模型model=YOLO("yolov8n.pt")  #加载预训练模型（建议用于训练）#使用模型model.train(data="coco128.yaml",epochs=3)  #训练模型metrics=model.val()  #在验证集上评估模型性能results=model

目录概符号说明UnlearningLayersFusingUnlearningLayers代码ChenJ.andYangD.Unlearnwhatyouwanttoforget:efficientunlearningforllms.2024.概本文提出一种Unlearninglayer去帮助LLMs'遗忘'一些数据.符号说明\(F(\cdot)\),largelanguagemodel

Pretitle:Aligner:AchievingEfficientAlignmentthroughWeak-to-StrongCorrectionsource:Arxiv2024paper:https://arxiv.org/abs/2402.02416code:https://aligner2024.github.io/ref:https://mp.weixin.qq.com/s/O9PP4Oc_Ee3R_HxKyd31Qg关键词:LLM,align,fin

FlashOcc:FastandMemory-EfficientOccupancyPredictionviaChannel-to-HeightPluginlink时间：23.11机构：houmo.ai后摩智能TL;DR当时比较流行的OCC方案内存与计算复杂度较高，本文提出一种称为FlashOcc的方法，仅使用2D卷积将特征由二维空间lift到3D空间。MethodImageEn

论文链接：[2405.04312]Inf-DiT:UpsamplingAny-ResolutionImagewithMemory-EfficientDiffusionTransformer(arxiv.org)论文代码：THUDM/Inf-DiT:OfficialimplementationofInf-DiT:UpsamplingAny-ResolutionImagewithMemory-EfficientDiffusionTransformer(gi

大佬链接：Restormer:EfficientTransformerforHigh-ResolutionImageRestoration-知乎(zhihu.com)一.Motivation1.CNN感受野有限，因此无法对长距离像素相关性进行建模；卷积滤波器在推理时具有静态权重，因此不能灵活地适应输入内容2.Transformer模型缓解了CNN的缺点（有限的感

阅读思考问题：PleasebrieflydescribehowhierarchicaldependencygraphsarebuiltinFlexGraph,andpointoutthespecificstageintheNAUabstractionwherethisprocesstakesplace.请简要描述在FlexGraph中如何构建分层依赖图，并指出在NAU抽象中的具体阶段发生此