论文风向变了【迁移学习+多模态融合】才是王道

2024发论文&模型涨点之——迁移学习+多模态融合

当迁移学习和多模态融合相结合时，主要是利用迁移学习的优势来提升多模态融合模型的性能，或者利用多模态数据进行更有效的迁移学习。例如，在一个既有图像又有文本的多模态情感分析任务中，可以先在一个大规模的单模态（如图像情感分类或文本情感分类）任务上进行训练，获取相关知识，然后将这些知识迁移到多模态情感分析任务中。这种结合方式可以有效利用已有的单模态知识来更好地处理多模态数据。

小编整理了一些迁移学习+多模态融合论文合集，小编整理了一些持续学习论文合集，以下放出部分，论文原文+开源代码需要的同学关注“AI科研灵感”公号，那边回复“迁移学习+多模态融合”free获取。

论文1：

A Novel Transfer Learning Framework for Multimodal Skin Lesion Analysis

用于多模态皮肤病变分析的新型迁移学习框架

方法

模型融合：提出了一个结合视觉变换器（Vision Transformer）模型、迁移学习、通道注意力机制和感兴趣区域（ROI）的创新框架，用于准确检测包括皮肤癌在内的皮肤状况。

数据集使用：利用包含宏观皮肤镜图像和患者元数据的综合数据集，与传统技术相比，所提出的方法在多个参数上显示出显著改进，包括敏感性、特异性和精确性。

模型训练：通过迁移学习对模型进行微调，以提高小样本数据集上的性能。

性能评估：通过精确度、召回率、F1分数和准确率等指标评估ViT方法，并与SVM、KNN、MobileNet、ResNet152v2和VGG-16等传统技术进行比较。

创新点

多模态数据融合：引入了一个创新框架，通过结合视觉数据和患者元数据，实现对皮肤病变的精确检测，超越了依赖单一模态的传统方法。

显著的性能提升：所提出的方法在实际数据集上表现出色，准确率达到99%，超越了现有方法，强化了其在临床实施中的潜力。

深度学习与多模态数据分析的变革性影响：该研究强调了深度学习在皮肤镜领域中的变革性影响，为皮肤病变分析诊断领域带来了重大进展。

论文2：

Audio-visual cross-modality knowledge transfer for machine learning-based in-situ monitoring in laser additive manufacturing用于激光增材制造的基于机器学习的原位监测的音视觉跨模态知识转移

方法

跨模态知识转移（CMKT）：提出了一种从源模态到目标模态的知识转移方法，用于激光增材制造（LAM）的原位监测，通过在训练阶段增强目标模态的特征提取，并在预测阶段移除源模态的传感器。

数据集使用：在激光直接能量沉积（LDED）的异常检测案例研究中，实施并比较了所提出的CMKT方法与多模态音视觉融合。

模型训练：提出了三种CMKT方法：语义对齐、全监督映射和半监督映射，通过全监督和半监督学习从一种模态衍生另一种模态的特征。

性能评估：通过准确率比较所提出的CMKT方法和多模态融合方法，语义对齐方法在移除音频模态后的预测阶段达到了98.4%的准确率，与多模态融合的准确率（98.2%）相当。

创新点

跨模态知识转移的新方法：提出了三种新方法来实现CMKT，通过语义对齐和映射方法在不同模态之间转移知识，提高了训练阶段的效率。

减少了传感器需求：在预测阶段通过移除源模态传感器，减少了硬件、计算和运营成本，同时保持了与多模态融合相当的性能。

提高了操作和计算效率：通过在训练阶段收集多模态数据，在预测阶段只使用目标模态，提高了操作和计算效率。

论文3：

Enhancing Brain Tumor Classification by a Comprehensive Study on Transfer Learning Techniques and Model Efficiency Using MRI Datasets

通过全面研究迁移学习技术提高脑肿瘤分类的效率

方法

预训练模型的使用：研究了包括VGG-16、VGG-19、Inception-v3、ResNet-50、DenseNet和MobileNet在内的预训练模型在MRI数据集上的表现，并用于精确分类脑肿瘤。

数据集使用：使用公开可用的MRI数据集，对脑肿瘤进行分类，特别关注及时识别的必要性。

模型训练：通过迁移学习对模型进行微调，以提高模型在特定任务上的表现。

性能评估：使用混淆矩阵、ROC曲线和AUC等关键指标评估模型性能，并与现有方法进行比较。

创新点

VGG-16模型的高准确率：VGG-16模型在脑肿瘤分类中达到了97%的最高准确率，并且相比于之前的方法，消耗的时间仅为22%。

迁移学习技术的综合分析：提供了一个系统性的指南，用于实施和评估利用深度学习技术进行脑肿瘤分类的模型，包括视觉表示、代码片段和性能指标。

论文4：

Optimizing Learning Across Multimodal Transfer Features for Modelling Olfactory Perception

优化多模态迁移特征以模拟嗅觉感知

方法

多模态迁移学习：研究了大型分子基础模型在广泛未标记分子数据上训练的潜力，以有效模拟嗅觉感知，并探索了不同分子表示的整合，包括分子图和基于文本的SMILES编码。

数据集使用：利用Goodscent数据集，包含4626个标记样本，研究了分子结构与气味描述符之间的关系，并处理了标签分布高度偏斜的问题。

模型训练：提出了一种新的标签平衡技术（label-balancer），专门设计用于高维多标签和多模态训练，通过在不同模态之间分配学习目标来优化协作学习。

性能评估：通过AUROC（Area Under the Receiver Operating Characteristic）指标评估模型性能，并与以往的方法进行比较。

创新点

多模态迁移学习的应用：首次将多模态迁移学习应用于嗅觉感知领域，通过结合分子图和SMILES编码，提高了模型在稀疏表示类别上的泛化能力。

标签平衡技术的创新：引入了标签平衡技术来解决高维偏斜标签空间中的训练挑战，通过在不同模态之间分配学习目标，优化了模型在稀有类别样本上的性能。

数据效率的提升：通过利用预训练的分子基础模型，显著减少了训练所需的标记数据量，与非迁移学习方法相比，数据需求减少了75%。

深度学习在嗅觉感知中的潜力：本研究展示了深度学习技术在模拟人类嗅觉感知中的潜力，为理解和改进气味感知模型开辟了新途径。