客户端选择论文1-REFL

REFL: Resource-Efficient Federated Learning

强调系统效率和资源多样性之间的权衡

摘要：

联邦学习(FL)允许学习者使用本地数据进行分布式训练，从而增强隐私并减少通信。然而，随着部署规模的扩大，它提出了许多与数据分布、设备功能和参与者可用性的异质性相关的挑战，这可能会影响模型的收敛和偏差。现有的FL计划采用随机参与者选择来提高选择过程的公平性;然而，这可能导致资源使用效率低下和培训质量降低。在这项工作中，我们系统地解决了FL中的资源效率问题，展示了智能参与者选择的好处，并结合了来自分散参与者的更新。我们将演示这些因素如何在提高训练模型质量的同时提高资源效率。

贡献：

1. 强调了学习者在外语学习中有限的能力和可用性对资源利用的重要性，并提出了智能选择参与者和有效利用其资源的REFL。

2. 提出了过时感知聚合和智能参与者选择算法来提高资源使用，同时对时间准确性的影响最小。

3. 使用真实的FL基准来实施和评估REFL，并将其与最先进的解决方案进行比较，以显示它给FL系统带来的好处。

存在的问题：

①现有的努力旨在提高收敛速度(即在更少的回合中提高模型质量)

②或系统效率(即减少回合持续时间)。

③或者选择具有高统计和系统效用的学习器。

这些方法忽略了在减少浪费工作的同时最大限度地利用可用资源的重要性。

为了解决这些问题，引入了资源高效联邦学习(REFL)，这是一种在不影响统计和系统效率的情况下最大化FL系统资源效率的实用方案。REFL通过将参与者更新的集合从聚合解耦到更新的模型来实现这一点。REFL还可以智能地从未来最不可能出现的参与者中进行选择。

目标：

综合现有系统提供的机会，设计一种新的整体方法，可以同时实现资源多样性和系统效率目标，同时将累积资源使用作为主要指标。并通过减少延迟参与者的资源浪费和优先考虑可用性降低的参与者来实现这一目标。

REFL核心组成：

1. 智能参与者选择(IPS):优先选择能够提高资源多样性的参与者。

IPS增加了资源多样性，使全球模型能够捕获广泛分布的学习者数据。此外，它还提供了一个可选组件，通过智能地调整每轮参与者的数量来进一步减少资源浪费。

最小可用优先级:

算法1描述IPS组件如何从大量可用学习者中智能地选择参与者。

每个学习器定期训练一个模型来预测其未来的可用性。在学习者签入时，服务器发送循环持续时间的运行平均估计。学习者使用预测模型，以确定其在时间段内可用性的概率，并将其报告给服务器。在选择窗口的最后，服务器按升序排序学习器的概率并随机洗牌捆绑的学习器。然后，服务器选择排名最高的学习者参加这一轮(即可用性最低的学习者)。类似于Google的FL系统，参与者在提交更新后会有几轮(例如5轮)不与服务器签入。

可用性预测模型：

预测模型应该简单，开销低，并在学习者的设备上进行本地训练，以保护隐私。在这项工作中，我们没有提出新的可用性模型，而是使用现成的时间序列模型来预测学习器的未来可用性。

线性模型，如自回归综合移动平均(ARIMA)或平滑ARIMA，可以根据从设备上状态变化事件收集的最小特征集进行训练，如空闲、充电、连接WIFI、屏幕锁定等。我们使用基于上述线性模型的Prophet预测工具。我们在Stunner数据集上训练了一个预测模型，该数据集是一个大型数据集，包含来自大量移动用户的设备事件(例如，设备的充电状态)。给定未来的一个时间窗口，该模型在查询的时间窗口内生成设备充电状态(等于可用性)的概率。

自适应参与者目标（APT）:

IPS通过适应运营商预先选择的目标参与者数量来优化资源的使用。首先，服务器更新其轮持续时间的移动平均估计，其中是前一轮t-1的持续时间。然后，在t轮开始之前，服务器探测每个当前掉队者，以估计其上传更新的预期剩余时间。接下来，服务器计算有多少掉队者可以在当前回合的持续时间内完成。因此，在本轮中，参与者的目标人数调整为。这确保了在每一轮中，聚合的更新数量大致是恒定的(即总新鲜更新和过时更新)。在大规模场景中，这可能会进一步改善资源消耗。注意，无论客户机的可用性如何，APT都是一个不会过度提交参与者的附加方案，从而进一步减少了资源消耗。