主要原理
Marker的工作原理基于深度学习模型。它首先通过OCR技术(如果需要的话)提取文本(采用启发式算法和 tesseract 工具),然后检测页面布局并确定阅读顺序(使用 布局分割器[1] 和 列检测器[2])。接下来,Marker会对每个文本块进行清洁和格式化处理(运用启发式算法和 nougat[3]),最后将所有块合并并进行后处理,生成完整的Markdown文本(利用启发式算法和 pdf后处理器[4])。Marker只在必要时使用模型,从而提高了速度and准确性
[1] 布局分割器: https://huggingface.co/vikp/layout_segmenter
[2] 列检测器: https://huggingface.co/vikp/column_detector
[3] nougat: https://huggingface.co/facebook/nougat-base
[4] pdf后处理器: https://huggingface.co/vikp/pdf_postprocessor_t5
参考链接
【1】一个开源的快速准确地将 PDF 转换为 markdown工具_pdf markdown-CSDN博客
【2】VikParuchuri/marker: Convert PDF to markdown quickly with high accuracy (github.com)
标签:markdown,co,pdf2md,huggingface,试用,https,Marker,pdf From: https://www.cnblogs.com/YeewahChan/p/18337478