PerFedRLNAS: One-for-All Personalized Federated Neural Architecture Search-AAAI'24-PerFedRLNAS
背景与挑战：
介绍个性化学习来解决设备异构和数据异构的问题。
现有工作无法充分回答下面的两个问题：
1.为什么个性化模型可以解决联邦的异构问题
2.是否有标准和自动的方法来决定个性化的个人部分和共享部分
介绍了AutoML,以前的工作是手动制定客户端集群的架构，而不是单个客户端的架构
（peaches的贪心方法，为每个客户端自动确定based和personal）
现有的个性化NAS联邦解决方案，缺乏适应各种模型的灵活性
现有的联邦NAS方法效率低，无法有效应用在个性化联邦学习中(离线)
个性化联邦学习的问题：
个性化联邦学习缺少如何设计模型的个人部分和共享部分的标准
有时，手动设计模型比非个性化表现得效果更差
相关工作：
FedNAS，FedRLNAS只着眼于全局模型，而不是个性化
SPIDER传输整个超网和本地进行NAS的开销很大
贡献：
1.提出通过强化学习的个性化反馈NAS框架，无需手动设置个性化模型（任意超网，不局限开始设计的超网模型）
2.每个客户端都有最优策略来决定哪部分共享，哪部分个性化
3.架构搜索保留在服务器端，只有一个模型而不是整个超网，效率与FedAvg相当
4.实验证明PerFedRLNAS的优良性。
问题：
S是采样函数，wi每个客户端的共享模型，都是来自超网进行采样得到的
d代表对应第几个选择，分别为以下6种：
i代表每个客户端，j代表d中的第几个选项
算法：
马尔可夫决策：未来与过去无关
（当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态）
State:
超网A，K个客户端的模型选择参数α，初始α设置0向量，表示所有操作有相同选择概率(放在服务器上)
Action:
客户端在服务器建设虚拟代理，每一轮根据α从超网采样模型发给客户端，进行本地训练
将训练好的模型和测试Acc发给服务端
Policy:
最终状态：所有客户端的α指出最优模型架构，客户端模型权重直接部署，无需进一步训练
梯度策略：
奖励函数：
实验：
数据集：CIFAR10，CIFAR100
模型：Vit，CNN
搜索空间：NASViT，DARTS,MobileNetV3
Non-IID:Dirichlet分布
每一轮：100个客户端中选择5个
指标：本地数据集平均准确率和标准偏差，整个系统达到精度的时间
BaseLine：FedRep,FedBABU,FedTP,FedAvg,Local Traing
Fed+NAS:FedNAS,FedRLNAS,FedorAS,SPIDER
考虑资源限制，内存占比：
即使不被选择的客户端，也有较好的表现，展示出随机采样的子网有比FedAvg更好的性能