首页 > 其他分享 >联邦学习论文阅读笔记05 Profit Allocation for Federated Learning

联邦学习论文阅读笔记05 Profit Allocation for Federated Learning

时间:2023-02-11 22:14:05浏览次数:64  
标签:重构 训练 指数 梯度 模型 05 贡献 Allocation Learning

参考笔记:https://zhuanlan.zhihu.com/p/600585351

 

前人提到过用Shapley值计算联邦学习数据提供者的贡献,但是计算成本太大复杂度达到了0(N!)。本文定义了一个基于Shapley的度量指标----贡献指数CI ,提出了两种基于梯度的方法,通过训练过程的中间结果,近似重构模型,避免额外训练。

 

贡献指数CI通过本地数据集、机器学习算法和测试集等因素,量化数据提供者的贡献。

 

论文中提到两种方法:两种方法都只需记录训练过程的中间结果,通过局部梯度计算贡献指数,而不是对每个模型进行训练。有效逼近准确的贡献指数,合理分配利润,且训练时间短,但只适用于水平联邦学习。

 

第一种方法单轮重建OR,收集不同轮次的梯度,在最后一轮更新FL的初始全局模型来重构模型,通过重构模型的性能计算贡献指数

 

 

第二种方法多轮重建MR,通过使用不同轮次的梯度更新前一轮的全局模型来计算每轮的贡献指数,将多轮贡献指数按照权重聚合,得到最后的贡献指数。

 


 

标签:重构,训练,指数,梯度,模型,05,贡献,Allocation,Learning
From: https://www.cnblogs.com/2506406916zhy/p/17112669.html

相关文章