布局检测是文档解析领域的核心任务之一，目标是精准定位文档中不同类型的元素（正文、标题、表格、图片等）。尽管布局检测已经研究很多年，但现有的布局检测算法多关注在论文类型的文档，当面对多样性的文档（如教材、考题、研报等）时，其检测效果还是不及预期。
上海人工智能实验室在2024年7月份开源的 PDF-Extract-Kit 中提供了使用多样性文档微调的 LayoutLMv3 模型，在众多类型的文档上均取得了不错效果，但其推理速度相对较慢。为了满足实时高质量的推理需求，作者团队近日推出全新布局检测模型 DocLayout-YOLO，其推理速度相比于LayoutLMv3提升一个数量级，在A100上每秒可以处理85.5个页面，检测结果也更加精准。一起来看看。
DocLayout-YOLO GitHub主页：https://github.com/opendatalab/DocLayout-YOLO
DocLayout-YOLO 论文：https://arxiv.org/abs/2410.12628
DocLayout-YOLO Demo体验：https://huggingface.co/spaces/opendatalab/DocLayout-YOLO
一、DocLayout-YOLO技术解析
DocLayout-YOLO 基于YOLOv10模型，并从多样性文档预训练和模型结构优化方面对布局检测模型进行优化。
● 多样性文档预训练：DocLayout-YOLO文章中提出Mesh-candidate Bestfit算法，自动合成多样性的文档布局检测数据集DocSynth-300K，大幅提升模型在多样性文档上检测的鲁棒性；
● 检测结构优化：模型结构方面，针对文档元素尺度变化多样的特性，提出全局到局部的可控感知模块，更加灵活适配不同尺度元素，有效提升YOLO框架对文档元素检测效果。
创新点1：基于Mesh-candidate Bestfit的多样性文档合成
当前的布局检测数据集类型较为单一，多数集中于论文文档，例如PubLayNet和DocBank。相比之下，其他类型的文档数据集（如DocLayNet、D4LA、M6Doc）数据量较小，仅适用于下游任务的微调和测试，而不适合用于预训练。为了解决这一问题，DocLayout-YOLO项目引入了Mesh-candidate Bestfit算法。该算法将文档布局合成视作二维矩形拼图问题，通过在文档中不断搜索候选元素（candidate）和空闲块（mesh）的最佳匹配，生成多样化且美观的文档图像。具体的合成流程可以参考论文中的图1（DocSynth-300K文档数据合成流程图）。
图1 DocSynth-300K文档数据合成流程图
合成的数据集在风格上多样且视觉真实度高。布局方面，涵盖了单栏、双栏以及多栏混合文档；在文档风格上，包括论文、报纸、杂志等多种类型的页面。DocSynth-300K和现有文档布局检测预训练数据集相比，样式更加多样化，经过DocSynth-300K预训练的模型在多种下游实际文档类型也体现出更强的泛化性。
图2 DocSynth-300K数据样例
目前DocSynth300K数据集已经上线OpenDataLab，
DocSynth300K数据集：https://opendatalab.com/zzy8782180/DocSynth300K
预训练模型可以在
标签：opendatalab,检测,YOLO,DocLayout,文档,https,更准 From： https://blog.csdn.net/OpenDataLab/article/details/143364321