题目：SMART: Syntax-Calibrated Multi-Aspect Relation Transformer for Change Captioning
SMART: 基于语法校准的多方面关系Transformer用于变化描述生成
作者：Yunbin Tu; Liang Li; Li Su; Zheng-Jun Zha; Qingming Huang
摘要
变化描述生成旨在描述两幅相似图像之间的语义变化。在这个过程中，视点变化作为最典型的干扰因素，会导致物体的外观和位置发生伪变化，从而掩盖了真实变化。此外，由于变化的视觉信号通常出现在弱特征的局部区域，模型难以直接将所学的变化特征转化为句子。在本文中，我们提出了一种基于语法校准的多方面关系Transformer，用于在不同场景下学习有效的变化特征，并在生成描述时建立变化特征与语言词汇之间的可靠跨模态对齐。具体来说，我们设计了一个多方面关系学习网络，来：1）通过将语义和相对位置的关系嵌入到每幅图像的特征中，探索在无关干扰（例如视点变化）下的细粒度变化；2ÿ
标签：Transformer,多方面,校准,TPAMI,2024,变化,SMART,描述 From： https://blog.csdn.net/qq_42722197/article/details/141611148