《Pre-gatingandContextualAttentionGate—Anewfusionmethodformulti-modaldatatasks》 -2024.11 影响因子7.9  （一）要点提出一种新的多模态数据融合方法，即PCAG（Pre-gatingandContextualAttentionGate），以解决现有跨模态交互学习中的噪声问题和不确定性问

前言：之前我一直以为clockgatingcheck只涉及AND/ORgate，直到前阵子后仿发现了minwidthpulseviolation，才从后端口中了解到MUX作为gatingcell也可以做clockgatingcheck。TO后对此研究了一番，先把基本概念搞清楚放这儿，后面再写解决该violation的两个方法。clock_gating_che

为了实现大模型的高效训练和推理，混合专家模型MoE便横空出世。大模型发展即将进入下一阶段但目前仍面临众多难题。为满足与日俱增的实际需求，大模型参数会越来越大，数据集类型越来越多，从而导致训练难度大增，同时也提高了推理成本。为了实现大模型的高效训练和推理，混合专家模型MoE便

一、什么是powergating？随着工艺制程的减小和芯片规模的扩大，芯片的leakage的比重越来越大，在数字后端实现时必须要考虑到leakage的优化，而优化leakage的手段之一就是实现powergating。powergating是指芯片中某个区域的电源被关闭，即通过切断电路电源来节省leakage，设计如

本文分享自华为云社区《DTSETechTalk|第47期：MoE：LLM终身学习的可能性》，作者：华为云社区精选。在DTSETechTalk的第47期直播《MoE：LLM终身学习的可能性》中，昇思MindSpore技术专家吕老师与各位开发者分享有关于LLMlifelonglearning的概念，帮助大家了解持续学习的特性与理论知识，

本文分享自华为云社区《DTSETechTalk|第47期：MoE：LLM终身学习的可能性》，作者：华为云社区精选。在DTSETechTalk的第47期直播《MoE：LLM终身学习的可能性》中，昇思MindSpore技术专家吕老师与各位开发者分享有关于LLMlifelonglearning的概念，帮助大家了解持续学习的特性与理论知识，同