语义通信论文略读（七）Contrastive Learning-Based Semantic Communications

Contrastive Learning-Based Semantic Communications

基于对比学习的语义通信

· 作者: Shunpu Tang, Qianqian Yang, Lisheng Fan, Xianfu Lei, Arumugam Nallanathan, George K. Karagiannidis
· 所属机构: 广州大学计算机科学与网络安全学院，浙江大学信息科学与电子工程学院，伦敦玛丽女王大学电子工程与计算机科学学院，西南交通大学信息科学与技术学院，阿里斯多德大学电气与计算机工程系，黎巴嫩美国大学人工智能与网络系统研究中心
· 关键词: 语义通信，对比学习，联合源信道编码，图像传输
· 时间：2024年10月
· 期刊： IEEE TRANSACTIONS ON COMMUNICATIONS

研究背景:

1. 数字通信系统目标： 通过噪声信道可靠传输比特，但未考虑传输数据的含义，导致所有比特等同对待，可能在未来的应用中遇到挑战。
2. 语义通信的重要性： 语义通信在语义和有效性层面上工作，优先传输与特定任务相关的必要信息，提高通信效率。
3. 现有挑战： 如何在训练过程中评估语义级别的损失、如何在没有预训练下游网络的情况下训练语义编码器和解码器、如何在保留语义信息和保留细节之间做出良好平衡。

研究方法:

1. 语义对比编码（SemCC）： 引入语义对比损失的概念，将传输过程中的数据损坏视为CL框架内的数据增强形式，确保原始图像和重建图像之间的语义距离最小，同时保持与不相关图像的较大语义距离。
2. 语义重编码（SemRE）： 当下游模型不可访问时，使用接收端部署的语义编码器的副本来指导整个训练过程。
3. 训练过程设计： 设计SemCC和SemRE的训练过程，平衡语义信息和细节的保留。

实验设计:

1. 系统模型： 基于神经网络的语义编码器和解码器在发送端和接收端部署，关注无线图像传输。
2. 训练策略： 提出两阶段训练策略，第一阶段为预训练，第二阶段为微调。

结果分析:

1. 有效性： 在CIFAR-10数据集上，所提方法在带宽压缩比为1/24时，准确率提升高达53%，在带宽压缩比提高时，图像重建质量与推理性能之间取得良好平衡。
2. 鲁棒性： 在训练信噪比与测试信噪比不匹配的情况下，所提方法仍能保持竞争性的测试准确率，证明了语义通信系统的鲁棒性。
3. 可视化： 通过Kodak数据集的视觉比较，所提SemCC方法能有效保留语义信息，去除不相关背景信息。

总体结论:

本文提出了一种基于对比学习的语义通信系统，通过引入语义对比损失和SemCC方法，解决了语义信息提取和重建的挑战。同时，SemRE方法解决了在没有下游模型支持的情况下训练语义编码器和解码器的问题。通过设计的训练过程，实现了在保留语义信息和细节之间的良好平衡。仿真结果表明，所提方法在各种带宽压缩比、信噪比和下游模型配置下，均能有效提升性能和鲁棒性。