首页 > 其他分享 >FedNAS: Federated Deep Learning via Neural Architecture Search-_BaseLine-FedNAS

FedNAS: Federated Deep Learning via Neural Architecture Search-_BaseLine-FedNAS

时间:2024-07-19 15:58:31浏览次数:12  
标签:异构 Search via FedNAS 模型 搜索 MiLeNAS 客户端

背景与挑战:

介绍FL,引出数据异构问题和数据不可见性,因此需要大量的人力来定制更好的模型架构,因为设备异构性,边缘设备需要更高的计算负担和通信成本。
介绍解决数据异构的相关工作,指出这些工作需要强大的先验假设
预定义的模型不一定是最优

贡献:

1.提出FedNAS方法,在边缘设备之间协同搜索全局模型和个性化模型架构,并在各种FL环境下性能较好。
2.研究NAS在数据异构中,比现有方案更适应用户数据。
3.FedNAS在cross-silo 和 cross-device中有最先进的性能。

问题:

image.png

相关工作:

基于梯度的NAS
NAS的三种组件:
搜索空间定义,搜索算法,性能估计策略
搜索空间和DARTS MiLeNAS相同 :混合操作搜索空间
DARTS:
image.png
image.png
image.png
image.png

image.png
image.png
image.png
image.png
FBNet:
image.png
MiLeNAS:
image.png
image.png
拉格朗日乘子法:
image.png
image.png
image.png

MiLeNAS-1st
image.png
MiLeNAS-2nd
image.png
1.DARTS本身使用w'是一步近似的,再使用有限差分近似会导致重叠,偏差更加严重
2.w需要两次向前传递,α两次向后传递,这是低效的
image.png
image.png
MiLeNAS只使用一阶信息,无重叠误差,并且有更少的运算,收敛速度更快
MiLe在求α时混合了val和tr,避免了偏差
image.png

算法:

image.png
image.png
image.png
image.png

实验:

所有实验都是Non-IID :标签倾斜和迪利克雷分布
每一轮随机挑选四个客户端
数据集:CIFAR10
个性化模型搜索:
21个节点。1个服务端,20个客户端
标签偏斜:每个客户端只有五个类
算法:FedNAS,FedAvg,Ditto,preFedAvg
度量:平均验证准确率
image.png
image.png
全局模型搜索:
跨筒仓,17个节点,1个服务端,16个客户端
image.png
image.png

标签:异构,Search,via,FedNAS,模型,搜索,MiLeNAS,客户端
From: https://www.cnblogs.com/fly-kiss/p/18311642

相关文章

  • FINCH: Enhancing Federated Learning With Hierarchical Neural Architecture Search
    背景与挑战:介绍FL联邦学习,指出两个联邦学习的缺点::::danger1.预定义的架构容易使模型训练陷入局部次优解,导致训练性能低下2.开发一个足够精确和小的模型来部署在客户端是很复杂的,这需要在迭代的试错过程中付出大量的人力:::(手动设计更高效的体系结构在很大程度上依赖于人类......
  • Peaches: Personalized Federated Learning with Neural Architecture Search in Edge
    背景:介绍联邦学习,参数服务器和workers之间的关系挑战:1.预定义模型:太大的架构可能会导致过度拟合问题和workers不必要的计算开销,而太小的架构可能会导致低训练性能2.数据不可访问:数据不可访问导致不能设计出真正高效的架构在边缘计算中使用FL。需要考虑三种挑战:1.异构数据2......
  • Real-Time Federated Evolutionary Neural Architecture Search-_TEC'22(B)-RT-FedEvo
    背景:1.介绍FL2.介绍NAS(讨论范围限制在CNN)宏搜索空间覆盖整个CNN模型,例如,隐藏层的数量n、操作类型(例如,卷积)和快捷连接的链接方法微观搜索空间仅覆盖整个模型结构中重复的基序或细胞。并且这些单元在复杂的多分支操作中构建介绍RT(强化学习)在NAS中的运用,因为RT要模拟采样,......
  • 自建elasticsearch迁移到阿里云
    迁移工具:elasticsearch-dump 前提:阿里云elasticsearch开启“自动创建索引” 一、安装elasticdump安装node.js。下载安装包。 wgethttps://nodejs.org/dist/v16.18.0/node-v16.18.0-linux-x64.tar.xz解压。 tar-xfnode-v16.18.0-linux-x64.tar......
  • 无源晶振的负载电容Load Capacitance与频偏Frequency Deviation
    在无源晶振(石英晶体谐振器)电路应用中,我们期望获得稳定且精准的时钟信号,这取决于晶振的实际输出频率需要靠近中心频率。一般情况下,时钟信号的精准度及稳定度则主要由无源晶振本身精度及合适的外接电容所决定。在做电路设计的时候,很多工程师不知道无源晶振的负载电容如何计算。......
  • sip.Via头域深度解析
    Via头域Via:【1】定义SIP事务的下层(传输层)传输协议,【2】并标识响应消息将要被发送的位置。【3】它记录了请求消息经过的路径,帮助实现消息的路由和追踪。【3】详解:假设有两个用户代理客户端(UserAgent Client,简称UAC)UAC1和UAC2,以及两个代理服务器(sipproxyserver)P1和P2。UAC......
  • ES快速开发,ElasticsearchRestTemplate基本使用以及ELK快速部署
    最近博主有一些elasticsearch的工作,所以更新的慢了些,现在就教大家快速入门,并对一些基本的查询、更新需求做一下示例,废话不多说开始:1. ES快速上手es下载:[https://elasticsearch.cn/download/]()这里关于es所需要的链接基本都有,可以快速下载使用当你解压好了归档文件之后,Elas......
  • search_fields 和 FilterSet
     第一种方法search_fields=['code','name','short_name','org_type','trade_status','address','search']#search字段模糊搜索 第二种方法fromdjango_filters.rest_frameworkimportFi......
  • Elasticsearch8.9.0安装配置集群
    下载安装包从官网下载8.9.0安装包#elasticsearch-8.9.0-x86_64.rpmfilebeat-8.9.0-x86_64.rpmkibana-8.9.0-x86_64.rpm安装系统环境查看#cat/etc/redhat-releaseRockyLinuxrelease9.3(BlueOnyx)#uname-aLinuxRocky9Es010030895.14.0-362.18.1.el9_3......
  • Easysearch 新特性:写入限流功能介绍
    背景在Easysearch的各种使用场景中,高写入吞吐量的场景占了很大一部分,由此也带来了一些使用上的问题,很多用户由于使用经验不足,对集群的写入压测进行的不够充分,不能很好的规划集群的写入量。导致经常发生以下问题:写入吞吐量过大对内存影响巨大,引发节点OOM,节点掉线问题。对C......