首页 > 其他分享 >Peaches: Personalized Federated Learning with Neural Architecture Search in Edge Computing-_TMC'

Peaches: Personalized Federated Learning with Neural Architecture Search in Edge Computing-_TMC'

时间:2024-07-19 15:56:44浏览次数:7  
标签:24 cell Search Peaches 算法 搜索 单元 异构

背景:

介绍联邦学习,参数服务器和workers之间的关系

挑战:

1.预定义模型:太大的架构可能会导致过度拟合问题和workers不必要的计算开销,而太小的架构可能会导致低训练性能
2.数据不可访问:数据不可访问导致不能设计出真正高效的架构
在边缘计算中使用FL。需要考虑三种挑战:

1.异构数据 2.异构系统 3.资源限制

总结:解决前人没有考虑到的计算损耗和系统异构

(1)如何为异构工作人员确定基本单元和个人单元的最佳数量,以实现资源效率和搜索性能之间的权衡
(2)如何在训练过程中修剪搜索空间而不导致搜索性能下降

贡献:

1.提出PEACHES框架,以有效地搜索训练资源受限的电子商务系统中具有非IID数据集的异构works的个性化模型。
2.设计GINC和SSP算法来解决上面的两个挑战
3.实验证明框架的高效性
image.png
蓝色为base cell较少减轻带宽压力,黄色Personal cell的单元数量不同,为了解决数据分布不同,较多的黄色单元的设备性能较好,追求较高的准确率,较少的单元设备较差,追求较好的性能,最后再用剪枝,进一步节省资源消耗。

问题:

image.png
image.png
ζR(W,A)正则化因子*正则化函数 防止过拟合
image.png
在资源约束的情况下最小化模型训练和搜索的完成时间

算法:

image.png
image.png
本地的w,a更新沿用MiLeNAS算法
GINC使用贪婪算法确定基本cell和个人cell的数量:
image.png
贪婪算法SSP用于剪枝:

image.png
搜索空间剪枝算法
image.png
image.png

标签:24,cell,Search,Peaches,算法,搜索,单元,异构
From: https://www.cnblogs.com/fly-kiss/p/18311657

相关文章

  • Windows Server 2022 中文版、英文版下载 (updated Jul 2024)
    WindowsServer2022中文版、英文版下载(updatedJul2024)WindowsServer2022x64,Version21H2请访问原文链接:https://sysin.org/blog/windows-server-2022/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.org此次发布更新了什么?答:版本号,当然还有…2021.09.01更......
  • Real-Time Federated Evolutionary Neural Architecture Search-_TEC'22(B)-RT-FedEvo
    背景:1.介绍FL2.介绍NAS(讨论范围限制在CNN)宏搜索空间覆盖整个CNN模型,例如,隐藏层的数量n、操作类型(例如,卷积)和快捷连接的链接方法微观搜索空间仅覆盖整个模型结构中重复的基序或细胞。并且这些单元在复杂的多分支操作中构建介绍RT(强化学习)在NAS中的运用,因为RT要模拟采样,......
  • 【2024-07-17】连岳摘抄
    23:59没有永远的成功,做任何事如果达到了顶峰就会发生变化。不要试图对抗这种变化,要准确地掌控前进与后退的时机,遇到自己无法驾驭的情形,不要试图逆势而动。但这并不是简简单单地躲避或败下阵来,一定要向前更进一步,向上更高一层。                ......
  • 【学术会议征稿】第三届智能电网与能源系统国际学术会议(SGES 2024)
    第三届智能电网与能源系统国际学术会议20243rd InternationalConferenceonSmartGridandEnergySystems  第三届智能电网与能源系统国际学术会议(SGES2024)将于2024年10月25日-27日在郑州召开。   智能电网可以优化能源布局,让现有能源体系最大化的发挥其产能......
  • 【2024】springboot OA公文发文管理系统
    博主介绍:✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌技术范围:SpringBoot、Vue、SSM、HTML、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数......
  • 自建elasticsearch迁移到阿里云
    迁移工具:elasticsearch-dump 前提:阿里云elasticsearch开启“自动创建索引” 一、安装elasticdump安装node.js。下载安装包。 wgethttps://nodejs.org/dist/v16.18.0/node-v16.18.0-linux-x64.tar.xz解压。 tar-xfnode-v16.18.0-linux-x64.tar......
  • SMU Summer 2024 Contest Round 5
    ARobotTakahashi思路:将所有数排序,枚举孩子成人的分解点X,同时根据s的标识维护正真的孩子成人的个数voidsolve(){intn;cin>>n;strings;cin>>s;intsum=0;for(inti=0;i<s.size();++i){if(s[i]=='1')sum++;......
  • 找到完美匹配:2024年最佳免费缺陷管理工具
    国内外主流的10款缺陷跟踪工具对比:PingCode、Worktile、滴答清单、CalendarTask、专注清单、Todo清单、Jira、Bugzilla、MantisBT、Redmine。在寻找合适的缺陷管理工具时,很多团队面临一个共同的挑战:如何在有限的预算内找到既高效又易于使用的解决方案。许多免费工具虽然诱人,但......
  • 【稳定检索】2024年数据处理与人工智能国际会议(ICDPAI 2024)
    2024年数据处理与人工智能国际会议2024InternationalConferenceonDataProcessingandArtificialIntelligence【1】会议简介        2024年数据处理与人工智能国际会议是数据处理和人工智能领域的一次重要盛会。会议旨在通过全球范围内专家学者的深入交流,探......
  • 降低大模型推理87%时延!华为云论文入选顶会USENIX ATC'24
    本文分享自华为云社区《降低大模型推理87%时延!华为云论文入选顶会USENIXATC'24》,作者:华为云头条。近日,计算机系统领域顶会USENIXATC2024在美国加州圣克拉拉召开,华为云EMS团队的论文《Cost-EfficientLargeLanguageModelServingforMulti-turnConversationswithCachedAt......