论文标题
Bidirectional Contrastive Split Learning for Visual Question Answering
双向对比分裂学习用于视觉问答
论文链接
Bidirectional Contrastive Split Learning for Visual Question Answering论文下载
论文作者
Yuwei Sun, Hideya Ochiai
内容简介
本文提出了一种名为双向对比分裂学习（BiCSL）的方法，用于在保护隐私的前提下解决视觉问答（VQA）任务。BiCSL通过将多模态模型分解为客户端组件和云端组件，利用模块间梯度共享和客户端间权重共享，在无需集中式数据收集的情况下训练全局模型。
该方法采用对比学习损失函数，能够高效地进行自监督学习，并在VQA-v2数据集上验证了其有效性。实验结果表明，BiCSL在隐私保护的同时，能够实现与集中式学习相当的性能，并在多模态对抗攻击下展现出更强的鲁棒性。
分点关键点
1.BiCSL框架设计
BiCSL将多模态模型解耦为客户端组件和云端组件，避免了完整模型架构的暴露，从而降低了隐私风险。该框架通过模块间梯度共享和客户端间权重共享，实现了跨模态表示的优化，同时保护了用户数据和模型架构的隐私。
2.对比学习与自监督训练
BiCSL采用对比学习方法，通过InfoNCE损失函数对齐不同模块的输出，鼓励相关输出之间的相似性，同时抑制不相关输出的相似性。这种方法无需标注数据，能够高效地利用未标记的客户端数据进行自监督学习。
3.性能与鲁棒性评估
在VQA-v2数据集上，BiCSL与多种最先进的VQA模型结合，展现出与集中式学习相当的性能。此外，BiCSL在面对双键后门攻击等多模态对抗攻击时，表现出显著增强的鲁棒性，证明了其在隐私保护和安全性方面的优势。
4.去中心化学习的优势
BiCSL通过并行处理模型组件，提高了去中心化VQA的效率。与传统的分裂学习相比，BiCSL的双向处理机制减少了训练过程中的等待时间，提升了整体训练效率。
论文代码
总结
本文的核心贡献在于提出了一种新型的去中心化VQA方法——双向对比分裂学习（BiCSL），旨在解决多模态数据隐私保护问题。BiCSL通过模块解耦和对比学习，实现了在分散数据分布上训练全局模型的能力，同时避免了数据和模型架构的泄露。该方法不仅在性能上与集中式学习相当，还在对抗攻击下展现出更强的鲁棒性，为隐私保护的多模态学习提供了一种有前景的解决方案。未来，作者计划进一步研究BiCSL对更复杂对抗攻击的鲁棒性，并探索结合差分隐私等技术以进一步增强隐私保护。
AAAI2024论文合集：
希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！
标签：AAAI2024,模态,BiCSL,Contrastive,Answering,学习,隐私,论文,VQA From： https://blog.csdn.net/paixiaoxin/article/details/145263659