• 2025/05/24 1.3.12 发布
  • 增加ppocrv5模型的支持，将ch_server模型更新为PP-OCRv5_rec_server，ch_lite模型更新为PP-OCRv5_rec_mobile（需更新模型）
    • 在测试中，发现ppocrv5(server)对手写文档效果有一定提升，但在其余类别文档的精度略差于v4_server_doc，因此默认的ch模型保持不变，仍为PP-OCRv4_server_rec_doc。
    • 由于ppocrv5强化了手写场景和特殊字符的识别能力，因此您可以在日繁混合场景以及手写文档场景下手动选择使用ppocrv5模型
    • 您可通过lang参数lang='ch_server'(python api)或--lang ch_server(命令行)自行选择相应的模型：
      • ch ：PP-OCRv4_rec_server_doc（默认）（中英日繁混合/1.5w字典）
      • ch_server ：PP-OCRv5_rec_server（中英日繁混合+手写场景/1.8w字典）
      • ch_lite ：PP-OCRv5_rec_mobile（中英日繁混合+手写场景/1.8w字典）
      • ch_server_v4 ：PP-OCRv4_rec_server（中英混合/6k字典）
      • ch_lite_v4 ：PP-OCRv4_rec_mobile（中英混合/6k字典）
  • 增加手写文档的支持，通过优化layout对手写文本区域的识别，现已支持手写文档的解析
    • 默认支持此功能，无需额外配置
    • 可以参考上述说明，手动选择ppocrv5模型以获得更好的手写文档解析效果
  • huggingface和modelscope的demo已更新为支持手写识别和ppocrv5模型的版本，可自行在线体验
• 2025/04/29 1.3.10 发布
  • 支持使用自定义公式标识符，可通过修改用户目录下的magic-pdf.json文件中的latex-delimiter-config项实现。
• 2025/04/27 1.3.9 发布
  • 优化公式解析功能，提升公式渲染的成功率
• 2025/04/23 1.3.8 发布
  • ocr默认模型(ch)更新为PP-OCRv4_server_rec_doc（需更新模型）
    • PP-OCRv4_server_rec_doc是在PP-OCRv4_server_rec的基础上，在更多中文文档数据和PP-OCR训练数据的混合数据训练而成，增加了部分繁体字、日文、特殊字符的识别能力，可支持识别的字符为1.5万+，除文档相关的文字识别能力提升外，也同时提升了通用文字的识别能力。
    • PP-OCRv4_server_rec_doc/PP-OCRv4_server_rec/PP-OCRv4_mobile_rec 性能对比
    • 经验证，PP-OCRv4_server_rec_doc模型在中英日繁单种语言或多种语言混合场景均有明显精度提升，且速度与PP-OCRv4_server_rec相当，适合绝大部分场景使用。
    • PP-OCRv4_server_rec_doc在小部分纯英文场景可能会发生单词粘连问题，PP-OCRv4_server_rec则在此场景下表现更好，因此我们保留了PP-OCRv4_server_rec模型，用户可通过增加参数lang='ch_server'(python api)或--lang ch_server(命令行)调用。
• 2025/04/22 1.3.7 发布
  • 修复表格解析模型初始化时lang参数失效的问题
  • 修复在cpu模式下ocr和表格解析速度大幅下降的问题
• 2025/04/16 1.3.4 发布
  • 通过移除一些无用的块，小幅提升了ocr-det的速度
  • 修复部分情况下由footnote导致的页面内排序错误
• 2025/04/12 1.3.2 发布
  • 修复了windows系统下，在python3.13环境安装时一些依赖包版本不兼容的问题
  • 优化批量推理时的内存占用
  • 优化旋转90度表格的解析效果
  • 优化财报样本中超大表格的解析效果
  • 修复了在未指定OCR语言时，英文文本区域偶尔出现的单词黏连问题（需要更新模型）
• 2025/04/08 1.3.1 发布，修复了一些兼容问题
  • 支持python 3.13
  • 为部分过时的linux系统（如centos7）做出最后适配，并不再保证后续版本的继续支持，安装说明
• 2025/04/03 1.3.0 发布，在这个版本我们做出了许多优化和改进：
  • 安装与兼容性优化
    • 通过移除layout中layoutlmv3的使用，解决了由detectron2导致的兼容问题
    • torch版本兼容扩展到2.2~2.6(2.5除外)
    • cuda兼容支持11.8/12.4/12.6/12.8（cuda版本由torch决定），解决部分用户50系显卡与H系显卡的兼容问题
    • python兼容版本扩展到3.10~3.12，解决了在非3.10环境下安装时自动降级到0.6.1的问题
    • 优化离线部署流程，部署成功后不需要联网下载任何模型文件
  • 性能优化
    • 通过支持多个pdf文件的batch处理（脚本样例），提升了批量小文件的解析速度 (与1.0.1版本相比，公式解析速度最高提升超过1400%，整体解析速度最高提升超过500%)
    • 通过优化mfr模型的加载和使用，降低了显存占用并提升了解析速度(需重新执行模型下载流程以获得模型文件的增量更新)
    • 优化显存占用，最低仅需6GB即可运行本项目
    • 优化了在mps设备上的运行速度
  • 解析效果优化
    • mfr模型更新到unimernet(2503)，解决多行公式中换行丢失的问题
  • 易用性优化
    • 通过使用paddleocr2torch，完全替代paddle框架以及paddleocr在项目中的使用，解决了paddle和torch的冲突问题，和由于paddle框架导致的线程不安全问题
    • 解析过程增加实时进度条显示，精准把握解析进度，让等待不再痛苦

MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中，我们将会集中精力解决科技文献中的符号转化问题，希望在大模型时代为科技发展做出贡献。 相比国内外知名商用产品MinerU还很年轻，如果遇到问题或者结果不及预期请到issue提交问题，同时附上相关PDF。

https://github.com/user-attachments/assets/4bea02c9-6d54-4cd6-97ed-dff14340982c

• 删除页眉、页脚、脚注、页码等元素，确保语义连贯
• 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
• 保留原文档的结构，包括标题、段落、列表等
• 提取图像、图片描述、表格、表格标题及脚注
• 自动识别并转换文档中的公式为LaTeX格式
• 自动识别并转换文档中的表格为HTML格式
• 自动检测扫描版PDF和乱码PDF，并启用OCR功能
• OCR支持84种语言的检测与识别
• 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
• 支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检
• 支持纯CPU环境运行，并支持 GPU(CUDA)/NPU(CANN)/MPS 加速
• 兼容Windows、Linux和Mac平台

如果遇到任何安装问题，请先查询 FAQ
如果遇到解析效果不及预期，参考 Known Issues
有3种不同方式可以体验MinerU的效果：

• 在线体验(无需任何安装)
• 使用CPU快速体验（Windows，Linux，Mac）
• 使用 CUDA/CANN/MPS 加速推理
  • Linux/Windows + CUDA
  • Linux + CANN
  • MacOS + MPS

同步dev分支更新：

conda create -n mineru 'python=3.12' -y
conda activate mineru
pip install -U "magic-pdf[full]" -i https://mirrors.aliyun.com/pypi/simple

详细参考 如何下载模型文件

完成2. 下载模型权重文件步骤后，脚本会自动生成用户目录下的magic-pdf.json文件，并自动配置默认模型路径。 您可在【用户目录】下找到magic-pdf.json文件。

您可修改该文件中的部分配置实现功能的开关，如表格识别功能：

{
    // other config
    "layout-config": {
        "model": "doclayout_yolo" 
    },
    "formula-config": {
        "mfd_model": "yolo_v8_mfd",
        "mfr_model": "unimernet_small",
        "enable": true  // 公式识别功能默认是开启的，如果需要关闭请修改此处的值为"false"
    },
    "table-config": {
        "model": "rapid_table",
        "sub_model": "slanet_plus",
        "enable": true, // 表格识别功能默认是开启的，如果需要关闭请修改此处的值为"false"
        "max_time": 400
    }
}

如果您的设备支持CUDA，且满足主线环境中的显卡要求，则可以使用GPU加速，请根据自己的系统选择适合的教程：

• Ubuntu22.04LTS + GPU
• Windows10/11 + GPU
• 使用Docker快速部署

docker run --rm --gpus=all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi

wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/Dockerfile -O Dockerfile
docker build -t mineru:latest .
docker run -it --name mineru --gpus=all mineru:latest /bin/bash -c "echo 'source /opt/mineru_venv/bin/activate' >> ~/.bashrc && exec bash"
magic-pdf --help

如果您的设备存在NPU加速硬件，则可以通过以下教程使用NPU加速：

NPU加速教程

如果您的设备使用Apple silicon 芯片，您可以开启mps加速：

您可以通过在 magic-pdf.json 配置文件中将 device-mode 参数设置为 mps 来启用 MPS 加速。

{
    // other config
    "device-mode": "mps"
}

通过命令行使用MinerU

通过Python代码调用MinerU

衍生项目包含项目开发者和社群开发者们基于MinerU的二次开发项目， 例如基于Gradio的应用界面、基于llama的RAG、官网同款web demo、轻量级的多卡负载均衡c/s端等， 这些项目可能会提供更多的功能和更好的用户体验。 具体部署方式请参考 衍生项目readme

TODO

• 基于模型的阅读顺序
• 正文中目录、列表识别
• 表格识别
• 标题分级
• 正文中代码块识别
• 化学式识别
• 几何图形识别

• 阅读顺序基于模型对可阅读内容在空间中的分布进行排序，在极端复杂的排版下可能会部分区域乱序
• 不支持竖排文字
• 目录和列表通过规则进行识别，少部分不常见的列表形式可能无法识别
• 代码块在layout模型里还没有支持
• 漫画书、艺术图册、小学教材、习题尚不能很好解析
• 表格识别在复杂表格上可能会出现行/列识别错误
• 在小语种PDF上，OCR识别可能会出现字符不准确的情况（如拉丁文的重音符号、阿拉伯文易混淆字符等）
• 部分公式可能会无法在markdown中渲染

常见问题

FAQ

LICENSE.md

本项目目前采用PyMuPDF以实现高级功能，但因其遵循AGPL协议，可能对某些使用场景构成限制。未来版本迭代中，我们计划探索并替换为许可条款更为宽松的PDF处理库，以提升用户友好度及灵活性。

• PDF-Extract-Kit
• DocLayout-YOLO
• StructEqTable
• RapidTable
• PaddleOCR
• RapidOCR
• PaddleOCR2Pytorch
• PyMuPDF
• layoutreader
• fast-langdetect
• pdfminer.six

@misc{wang2024mineruopensourcesolutionprecise,
      title={MinerU: An Open-Source Solution for Precise Document Content Extraction}, 
      author={Bin Wang and Chao Xu and Xiaomeng Zhao and Linke Ouyang and Fan Wu and Zhiyuan Zhao and Rui Xu and Kaiwen Liu and Yuan Qu and Fukai Shang and Bo Zhang and Liqun Wei and Zhihao Sui and Wei Li and Botian Shi and Yu Qiao and Dahua Lin and Conghui He},
      year={2024},
      eprint={2409.18839},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2409.18839}, 
}

@article{he2024opendatalab,
  title={Opendatalab: Empowering general artificial intelligence with open datasets},
  author={He, Conghui and Li, Wei and Jin, Zhenjiang and Xu, Chao and Wang, Bin and Lin, Dahua},
  journal={arXiv preprint arXiv:2407.13773},
  year={2024}
}

Magic-Doc Fast speed ppt/pptx/doc/docx/pdf extraction tool

Magic-HTML Mixed web page extraction tool

• LabelU (A Lightweight Multi-modal Data Annotation Tool)
• LabelLLM (An Open-source LLM Dialogue Annotation Platform)
• PDF-Extract-Kit (A Comprehensive Toolkit for High-Quality PDF Content Extraction)