背景:
介绍联邦学习,参数服务器和workers之间的关系
挑战:
1.预定义模型:太大的架构可能会导致过度拟合问题和workers不必要的计算开销,而太小的架构可能会导致低训练性能
2.数据不可访问:数据不可访问导致不能设计出真正高效的架构
在边缘计算中使用FL。需要考虑三种挑战:
1.异构数据 2.异构系统 3.资源限制
总结:解决前人没有考虑到的计算损耗和系统异构
(1)如何为异构工作人员确定基本单元和个人单元的最佳数量,以实现资源效率和搜索性能之间的权衡
(2)如何在训练过程中修剪搜索空间而不导致搜索性能下降
贡献:
1.提出PEACHES框架,以有效地搜索和训练资源受限的电子商务系统中具有非IID数据集的异构works的个性化模型。
2.设计GINC和SSP算法来解决上面的两个挑战
3.实验证明框架的高效性
蓝色为base cell较少减轻带宽压力,黄色Personal cell的单元数量不同,为了解决数据分布不同,较多的黄色单元的设备性能较好,追求较高的准确率,较少的单元设备较差,追求较好的性能,最后再用剪枝,进一步节省资源消耗。
问题:
ζR(W,A)正则化因子*正则化函数 防止过拟合
在资源约束的情况下最小化模型训练和搜索的完成时间
算法:
本地的w,a更新沿用MiLeNAS算法
GINC使用贪婪算法确定基本cell和个人cell的数量:
贪婪算法SSP用于剪枝:
搜索空间剪枝算法