LLM | 论文精读 | CVPR | 基于问题驱动图像描述的视觉问答增强引言

论文标题：Enhancing Visual Question Answering  through Question-Driven Image Captions as Prompts

作者：O ̈ vg ̈u O ̈ zdemir, Erdem Akagu ̈nd ̈uz

期刊：CVPR 2024

引言

视觉问答（Visual Question Answering, VQA）是计算机视觉与自然语言处理交叉领域中的典型多模态任务，近年来引起了广泛关注。VQA的主要目标是理解视觉和语言信息的结合，以回答关于图像的复杂问题。这种任务不仅要求模型具备视觉内容理解、逻辑推理以及语言表达能力，还需要在这三者之间建立有效的关联和交互。尤其是在零样本设置（Zero-Shot Setting）下，由于缺乏特定训练数据，模型面临的挑战更为严峻。高效的零样本VQA模型必须展现出卓越的泛化能力和推理能力，以应对前所未见的问题和场景。

本文探讨了发表于CVPR Workshop 2024的一项研究工作——《通过基于问题驱动的图像描述作为提示来增强视觉问答》。该研究通过引入“问题驱动图像描述”（Question-Driven Image Captioning）作为VQA管道中的中间步骤，并结合大语言模型（Large Language Models, LLMs）以提升零样本VQA的性能。该方法的核心思想是通过关键词提取来生成与特定问题紧密相关的图像描述，从而增强模型对视觉和语言信息的深度理解和准确推理能力。接下来将详细阐述该研究的主要方法、实验设计及其结果与意义。

研究背景

VQA任务的复杂性主要来自其多模态特性，即需要同时处理视觉和语言内容并进行推理。通常，VQA模型包含图像编码和问题编码两个步骤，通过编码器将这两类输入表示为特征向量，然后通过融合模块对其进行多模态融合，最终生成答案。这一多模态融合过程至关重要，直接影响到模型对问题的理解和回答的准确性。

零样本VQA面临的主要困难在于，传统模型依赖于大规模、标注齐全的数据集来进行训练。然而，在缺乏专门训练数据的情况下，模型难以进行有效推理和泛化。近年来，随着大规模语言模型（如GPT-4和Gemini）的发展，研究人员开始探索将这些语言模型应用于多模态任务中，以提升模型对视觉和语言信息的处理能力。这些大语言模型因其在语言生成和理解上的卓越表现，被认为能够有效扩展至多模态应用，从而增强视觉推理能力，尤其是在零样本场景中展现了巨大的潜力。

在此背景下，本文提出了一种新颖的VQA增强方法，通过生成与问题相关的图像描述来提供额外的视觉信息，增强问答模型的性能。该方法的创新之处在于采用关键词提取技术，将问题中的关键信息嵌入到图像描述中，使描述内容更加紧密地与问题相关。这种做法不仅使模型能够更好地理解问题的语境，还能显著减少不相关信息对推理过程的干扰，进而提升回答的精确度。

方法流程

本文提出的VQA增强方法包含两个主要组成部分：图像描述生成和问答模型。整体流程如图1所示，包括以下几个关键步骤：

1. 图像描述生成（Caption Generation）

   图像描述生成是整个VQA管道中的核心步骤，其目的是为每张图像生成能够有效表达视觉信息的文本描述。然而，普通的图像描述往往难以针对具体的问题进行精准表述。为此，本文采用了两种图像描述生成策略：

   • 通用图像描述（General-Purpose Captioning）：为每幅图像生成通用的描述，不针对特定问题。这种方法虽然能够覆盖图像的主要内容，但在面对特定问题时缺乏针对性。

   • 问题驱动图像描述（Question-Driven Captioning）：针对每对图像-问题组合，使用KeyBERT模型从问题中提取关键词，并基于这些关键词生成与问题密切相关的图像描述。这种方法的优势在于能够强调问题中的核心内容，使得生成的描述更加契合特定问题，从而提高问答模型从描述中提取有效信息的能力。

   图像描述生成过程如图2所示。在研究中，使用了多种描述生成模型，包括CogVLM、BLIP-2和FuseCap，旨在探索这些模型生成的描述对VQA性能的影响。通过对不同描述生成模型的比较，研究评估了它们在生成高质量视觉描述方面的有效性，尤其是在零样本VQA场景中，这些描述对问答模型性能的提升效果尤为显著。

2. 问答模型（Question Answering）

   在问答阶段，模型接收图像描述和问题作为输入，通过大语言模型（如GPT-3.5）生成答案。为了在计算资源有限的情况下实现最佳的效果，本文选择了GPT-3.5而非GPT-4，未来的研究可以进一步集成性能更高的语言模型以提升表现。结合大语言模型强大的自然语言处理能力，模型能够在缺乏专门训练数据的情况下，依然对输入的图像和问题生成合理的回答。这种零样本推理能力是本文提出的方法中的重要创新，使模型能够适应新问题和场景，并作出高质量的回答。

实验设置与结果分析

数据集

本文的实验基于GQA数据集的测试开发子集。GQA数据集以其对组合推理能力的评估和多样化的问题集著称。本研究中选取了包含12,578个问题的子集，涵盖398张图像，问题类型包括验证类（yes/no）、查询类、选择类、逻辑推理类和比较类等，涵盖了多种结构和语义上的复杂性。这些问题类型代表了VQA任务中的多样挑战，例如简单的存在性验证、多项选择、以及涉及多个对象之间关系的逻辑推理。

实验结果

实验结果表明，采用问题驱动图像描述能够显著提升VQA模型在多个问题类别上的表现。表1展示了不同图像描述方法在VQA任务中的性能对比。相较于通用图像描述，问题驱动描述在验证类（verify）、属性类（attribute）和类别类（category）等问题类型上表现更为优越。这表明，通过在描述中强调与问题相关的关键词，模型能够更好地理解并回答特定类型的问题。

然而，在全局类型问题（global questions）上，问题驱动描述的表现略逊于通用描述。这是因为全局问题往往需要对图像内容进行整体性的理解，而过度强调问题中的关键词可能导致模型对全局信息的掌握不足。为了解决这一问题，未来的研究可以考虑如何平衡局部细节与整体信息，使得生成的描述既包含精细的细节，又能涵盖全局信息，以便模型在处理这类问题时获得更好的表现。

此外，研究还对不同的语言模型进行了对比。结果显示，结合CogVLM-chat生成的图像描述与GPT-3.5问答模型的组合，在大多数问题类别中均取得了较好的效果。特别是在涉及物体属性和对象关系的复杂问题上，问题驱动的图像描述使得模型能够更精准地捕捉问题的核心，从而生成更为准确的回答。

错误分析

在错误分析中，研究发现部分错误集中在yes/no类型的问题上，尤其是在模型给出的答案没有直接采用“yes”或“no”，而是复述了图像中的某些信息的情况下。例如，在回答“图片中是否有滑板？”的问题时，模型的回答是“滑板”而非“yes”。这种情况多发生在涉及多个对象或属性的复杂问题中，表明未来可以通过更有效的提示词设计或集成更强大的语言模型来提升性能。此外，研究还发现，在某些情况下，图像描述中的不相关信息可能导致模型作出错误判断，尤其是描述内容过于冗长而缺乏针对性时。这为未来模型的优化提供了有价值的启示，即图像描述应当精炼且集中于与问题高度相关的信息，以避免干扰模型的推理过程。

结论

本文提出了一种基于图像描述生成的VQA增强方法，通过问题驱动的图像描述作为中间步骤，将上下文信息高效地传递给问答模型，从而提升零样本VQA的性能。实验结果表明，问题驱动的图像描述在大多数问题类型上显著提高了模型的准确性，尤其是在验证类和属性类问题上表现尤为突出。这表明，在VQA任务中，精确且相关的图像描述能够有效帮助模型理解问题并生成正确答案。

未来的研究可以探索更大规模的大语言模型的集成，例如GPT-4，以进一步提升模型性能。此外，在少样本设置下对管道进行评估可能带来更加全面的对比，尤其是可以观察模型在不同数据量下的表现变化。同时，为了提升模型的可解释性，可以考虑将问答模型替换为基于图的QA模型，这种方法能够更加直观地展示模型的推理过程，使用户能够更好地理解模型的推理机制。

希望这篇博客能够帮助读者深入理解该论文的研究内容和学术意义。如果您对VQA、图像描述或大语言模型在多模态任务中的应用感兴趣，欢迎留言讨论。