首页 > 其他分享 >ASTGNN(Localised Adaptive Spatial-Temporal Graph Neural Network)

ASTGNN(Localised Adaptive Spatial-Temporal Graph Neural Network)

时间:2024-07-24 10:57:02浏览次数:8  
标签:剪枝 Localised ASTGNN Neural 依赖性 矩阵 邻接矩阵 节点

引言

        本文主要探讨的问题是:能否以及在多大程度上对时空图模型进行局部化。并且将研究领域集中到ASTGNN上。ASTGNNs通常使用自适应图卷积层对空间依赖性进行建模。通过学习图邻接矩阵来捕获空间依赖性。因此,ASTGNN的局部化是通过邻接矩阵(仅捕获空间依赖性)的稀疏化来实现的,这也可以理解为空间图中的剪枝。为什么要研究时空图模型的局部化:

  • 更深入的理解数据中的时间和空间依赖性:如果局部化导致编辑精度下降,则空间依赖性提供的信息已经很大程度上和时间依赖性重叠了,因此对于推理来说已经不必要了;
  • 设计资源高效的ASTGNN:因为空间图的大小随顶点的数量呈二次方增长,所以ASTGNN的计算量很大,ASTGNN的局部化可以减少时空图模型的资源需求;
  • 时空模型的分布式部署:传统的时空图模型的预测设计传感器节点之间的数据交换,时空图模型的局部化可以使各个传感器节点能够完成自主预测而无需彼此通信,这节省了宽带并保护了分布式系统中的隐私。

        本文使用AGS(Adaptive Graph Sparsification, 自动梯度稀疏化)来局部化ASTGNN。AGS的核心是掩膜矩阵(mask matrix)L0正则化的可微近似。

标签:剪枝,Localised,ASTGNN,Neural,依赖性,矩阵,邻接矩阵,节点
From: https://blog.csdn.net/m0_55333280/article/details/140473993

相关文章

  • PerFedRLNAS: One-for-All Personalized Federated Neural Architecture Search-_AAAI
    PerFedRLNAS:One-for-AllPersonalizedFederatedNeuralArchitectureSearch-AAAI'24-PerFedRLNAS背景与挑战:介绍个性化学习来解决设备异构和数据异构的问题。现有工作无法充分回答下面的两个问题:1.为什么个性化模型可以解决联邦的异构问题2.是否有标准和自动的方法来决......
  • FedNAS: Federated Deep Learning via Neural Architecture Search-_BaseLine-FedNAS
    背景与挑战:介绍FL,引出数据异构问题和数据不可见性,因此需要大量的人力来定制更好的模型架构,因为设备异构性,边缘设备需要更高的计算负担和通信成本。介绍解决数据异构的相关工作,指出这些工作需要强大的先验假设。预定义的模型不一定是最优的贡献:1.提出FedNAS方法,在边缘设备之间......
  • FINCH: Enhancing Federated Learning With Hierarchical Neural Architecture Search
    背景与挑战:介绍FL联邦学习,指出两个联邦学习的缺点::::danger1.预定义的架构容易使模型训练陷入局部次优解,导致训练性能低下2.开发一个足够精确和小的模型来部署在客户端是很复杂的,这需要在迭代的试错过程中付出大量的人力:::(手动设计更高效的体系结构在很大程度上依赖于人类......
  • Peaches: Personalized Federated Learning with Neural Architecture Search in Edge
    背景:介绍联邦学习,参数服务器和workers之间的关系挑战:1.预定义模型:太大的架构可能会导致过度拟合问题和workers不必要的计算开销,而太小的架构可能会导致低训练性能2.数据不可访问:数据不可访问导致不能设计出真正高效的架构在边缘计算中使用FL。需要考虑三种挑战:1.异构数据2......
  • Real-Time Federated Evolutionary Neural Architecture Search-_TEC'22(B)-RT-FedEvo
    背景:1.介绍FL2.介绍NAS(讨论范围限制在CNN)宏搜索空间覆盖整个CNN模型,例如,隐藏层的数量n、操作类型(例如,卷积)和快捷连接的链接方法微观搜索空间仅覆盖整个模型结构中重复的基序或细胞。并且这些单元在复杂的多分支操作中构建介绍RT(强化学习)在NAS中的运用,因为RT要模拟采样,......
  • Simplifying Content-Based Neural News Recommendation: On User Modeling and Train
    SimplifyingContent-BasedNeuralNewsRecommendation:OnUserModelingandTrainingObjectives论文阅读笔记Abstract存在的问题:​ (1)尽管设计具有普遍的同质性,但不同的评估数据集和协议阻碍了模型之间的直接比较;(2)它使其他模型设计和训练目标的探索工作受到很大影响......
  • Neuralink 将启动第二例人类脑机芯片植入;多项 Claude 3.5 Sonnet AI 工具发布丨RTE 开
      开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(Real-TimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编辑的个人观点,......
  • TextCNN: Convolutional Neural Networks for Sentence Classification
    本文是CNN应用在NLP领域的开山之作。TextCNN的成功并不是网络结构的成功,而是通过引入已经训练好的词向量在多个数据集上达到了超越benchmark的表现,证明了构造更好的embedding,是提升NLP各项任务的关键能力。作者做了一系列实验,这些实验使用卷积神经网络(CNN)在预训练的词向量之上......
  • [论文阅读] Drawing and Recognizing Chinese Characters with Recurrent Neural Netw
    Pretitle:DrawingandRecognizingChineseCharacterswithRecurrentNeuralNetworksource:TPAMI2018paper:https://arxiv.org/abs/1606.06539code:https://github.com/YifeiY/hanzi_recognitionref:https://blog.csdn.net/qq_35337126/article/details/8378776......
  • Towards Accurate and Robust Architectures via Neural Architecture Search
    基于网络架构搜索的准确性与鲁棒性结构研究论文链接:https://arxiv.org/abs/2405.05502项目链接:未开源Abstract为了保护深度神经网络免受对抗性攻击,对抗性训练因其有效性而受到越来越多的关注。然而,对抗训练的准确性和鲁棒性受到体系结构的限制,因为对抗训练通过调整隶属......