CCF-A（KDD'22）FedMSplit: Correlation-Adaptive Federated Multi-Task Learning across Multimodal Sp

Jiayi Chen and Aidong Zhang. 2022. FedMSplit: Correlation-Adaptive Federated Multi-Task Learning across Multimodal Split Networks. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '22). Association for Computing Machinery, New York, NY, USA, 87–96. https://doi.org/10.1145/3534678.3539384

本文针对如何解决多模态联邦学习中模态不一致性面临的诸多挑战，如不允许客户端训练的模型异构，不同参数空间中解决不同任务的客户机之间的关系难以度量，依赖于依赖于每轮参与的完整客户集等问题，作者设计了一个个性化但全局相关的模型FedMSplit利用动态图结构自适应地捕捉不同类型客户之间的关系。通过两个具有不同模态不协调设置的多模态联邦数据集验证了其框架比起现有框架的性能优异性。

这篇论文的优势在于我们通过UCB算法，摆脱了对于每轮完成客户集的依赖的同时，避免了随机选取导致的模型难以聚合的情况，成功的实现部分模型参与训练的现实情况。同时我们将本地个性化的模型分分割为小块（特征提取器和分类器），更有利于我们构建全局的相关性，也正是分割了小块，我们的个性化模型之间的关系可以构造成点-边模型，其动态图中的更新可以由点-边交替更新问题来解决，并且我们还会进行对其他与我相关且相邻的模型进行学习聚合，以达到相关模型相关性增强的目的。

但这篇论文在聚合的时候将自己的小块（特征提取器和分类器）暴露给邻居，邻居可以通过其进行数据的溯源，同时其点边模型如何进行链接没说，而链接的关系会影响到后续的领域聚合，所以可能存在问题，最后数据集都是2.3个传感器是否能够在真正的大规模场景下进行好的表现有待考证。