Movatterモバイル変換

[0]ホーム
URL:

Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

 Sign up
Appearance settings

Analysis of Chinese and English layouts 中英文版面分析

License

NotificationsYou must be signed in to change notification settings

RapidAI/RapidLayout

Repository files navigation

简介

该项目主要是汇集全网开源的版面分析的项目，具体来说，就是分析给定的文档类别图像（论文截图、研报等），定位其中类别和位置，如标题、段落、表格和图片等各个部分。

Warning

由于不同场景下的版面差异较大，现阶段不存在一个模型可以搞定所有场景。如果实际业务需要，以下模型效果不好的话，建议构建自己的训练集微调。

目前支持已经支持的版面分析模型如下：

model_type版面类型支持类别
pp_layout_table表格["table"]
pp_layout_publaynet英文["text", "title", "list", "table", "figure"]
pp_layout_cdla中文['text', 'title', 'figure', 'figure_caption', 'table', 'table_caption', 'header', 'footer', 'reference', 'equation']
yolov8n_layout_paper论文['Text', 'Title', 'Header', 'Footer', 'Figure', 'Table', 'Toc', 'Figure caption', 'Table caption']
yolov8n_layout_report研报['Text', 'Title', 'Header', 'Footer', 'Figure', 'Table', 'Toc', 'Figure caption', 'Table caption']
yolov8n_layout_publaynet英文["Text", "Title", "List", "Table", "Figure"]
yolov8n_layout_general6通用["Text", "Title", "Figure", "Table", "Caption", "Equation"]
🔥doclayout_docstructbench通用['title', 'plain text', 'abandon', 'figure', 'figure_caption', 'table', 'table_caption', 'table_footnote', 'isolate_formula', 'formula_caption']
🔥doclayout_d4la通用['DocTitle', 'ParaTitle', 'ParaText', 'ListText', 'RegionTitle', 'Date', 'LetterHead', 'LetterDear', 'LetterSign', 'Question', 'OtherText', 'RegionKV', 'RegionList', 'Abstract', 'Author', 'TableName', 'Table', 'Figure', 'FigureName', 'Equation', 'Reference', 'Footer', 'PageHeader', 'PageFooter', 'Number', 'Catalog', 'PageNumber']
🔥doclayout_docsynth通用['Caption', 'Footnote', 'Formula', 'List-item', 'Page-footer', 'Page-header', 'Picture', 'Section-header', 'Table', 'Text', 'Title']

PP模型来源：PaddleOCR 版面分析

yolov8n系列来源：360LayoutAnalysis

（推荐使用）🔥doclayout_yolo模型来源：DocLayout-YOLO，该模型是目前最为优秀的开源模型，挑选了3个基于不同训练集训练得到的模型。其中doclayout_docstructbench来自link，doclayout_d4la来自link，doclayout_docsynth来自link。

上述模型下载地址为：link

TODO

安装

由于模型较小，预先将中文版面分析模型(layout_cdla.onnx)打包进了whl包内，如果做中文版面分析，可直接安装使用

pip install rapid-layout onnxruntime

使用方式

python脚本运行

fromrapid_layoutimportEngineType,ModelType,RapidLayout,RapidLayoutInputcfg=RapidLayoutInput()layout_engine=RapidLayout(cfg=cfg)img_path="https://raw.githubusercontent.com/RapidAI/RapidLayout/718b60e927ab893c2fad67c98f753b2105a6f421/tests/test_files/layout.jpg"results=layout_engine(img_path)print(results)results.vis("layout_res.png")

可视化结果

终端运行

rapid_layout test_images/layout.png

GPU推理

  • 因为版面分析模型输入图像尺寸固定，故可使用onnxruntime-gpu来提速。
  • 因为rapid_layout库默认依赖是CPU版onnxruntime，如果想要使用GPU推理，需要手动安装onnxruntime-gpu。
  • 详细使用和评测可参见AI Studio

安装

pip install rapid_layoutpip uninstall onnxruntime# 这里一定要确定onnxruntime-gpu与GPU对应# 可参见https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirementspip install onnxruntime-gpu

使用

fromrapid_layoutimportEngineType,ModelType,RapidLayout,RapidLayoutInputcfg=RapidLayoutInput(model_type=ModelType.PP_LAYOUT_CDLA,engine_type=EngineType.ONNXRUNTIME,engine_cfg={"use_cuda":True,"cuda_ep_cfg.gpu_id":1},)layout_engine=RapidLayout(cfg=cfg)img_path="https://raw.githubusercontent.com/RapidAI/RapidLayout/718b60e927ab893c2fad67c98f753b2105a6f421/tests/test_files/layout.jpg"results=layout_engine(img_path)print(results)results.vis("layout_res.png")

NPU使用

详细配置参数参见：link

fromrapid_layoutimportEngineType,ModelType,RapidLayout,RapidLayoutInputcfg=RapidLayoutInput(model_type=ModelType.PP_LAYOUT_CDLA,engine_type=EngineType.ONNXRUNTIME,engine_cfg={"use_cann":True,"cann_ep_cfg.gpu_id":0},)layout_engine=RapidLayout(cfg=cfg)img_path="https://raw.githubusercontent.com/RapidAI/RapidLayout/718b60e927ab893c2fad67c98f753b2105a6f421/tests/test_files/layout.jpg"results=layout_engine(img_path)print(results)results.vis("layout_res.png")

参考项目

About

Analysis of Chinese and English layouts 中英文版面分析

Topics

Resources

License

Stars

Watchers

Forks

Contributors3

  •  
  •  
  •  

Languages

[8]ページ先頭
©2009-2025 Movatter.jp