本文是LLM系列文章,针对《A Survey of Mathematical Reasoning in the Era of Multimodal Large Language Model: Benchmark, Method & Challenges》的翻译。
多模态大语言模型时代的数学推理:基准、方法与挑战
摘要
数学推理是人类认知的一个核心方面,在从教育问题解决到科学进步的许多领域都至关重要。随着通用人工智能(AGI)的发展,将大型语言模型(LLM)与数学推理任务相结合变得越来越重要。这项调查首次对多模态大语言模型(MLLM)时代的数学推理进行了全面分析。我们回顾了自2021年以来发表的200多项研究,并研究了数学LLM的最新发展,重点关注多模态设置。我们将该领域分为三个维度:基准、方法和挑战。特别是,我们探索了多模态数学推理管道,以及(M)LLM和相关方法的作用。最后,我们确定了阻碍AGI在该领域实现的五大挑战,为提高多模态推理能力的未来方向提供了见解。这项调查为研究界提高LLM处理复杂多模态推理任务的能力提供了关键资源。