Selaa lähdekoodia

feat(docs): add comprehensive documentation for Docling, PaddleX, and MinerU layout models

- Introduced a new markdown file detailing the architecture, technical features, and comparative analysis of three layout models: Docling (RT-DETR), PaddleX (PicoDet/RT-DETR), and MinerU (DocLayout-YOLO).
- Included sections on model architecture, performance metrics, and application scenarios to aid users in selecting the appropriate model for their needs.
zhch158_admin 23 tuntia sitten
vanhempi
commit
c86d45aabd

+ 152 - 0
docs/ocr_tools/universal_doc_parser/docling-layout,paddle-layout,mineru-layout对比.md

@@ -0,0 +1,152 @@
+## 一、Docling Layout模型
+
+### 1. **模型架构**
+- **基础模型**: RT-DETR (Real-Time Detection Transformer)
+- **架构类型**:  Transformer-based目标检测
+- **技术实现**: 使用HuggingFace的`AutoModelForObjectDetection`和`RTDetrImageProcessor`
+- **模型文件**: `beehive_v0.0.5` (约123MB)
+
+### 2. **技术特点**
+- 使用SafeTensors格式存储权重
+- 支持17种文档元素类别(Caption, Footnote, Formula, List-item, Page-footer, Page-header, Picture, Section-header, Table, Text, Title等)
+- 阈值可配置(默认0.3)
+- 支持批量预测
+
+---
+
+## 二、PaddleX Layout模型
+
+### 1. **模型架构系列**
+提供多个架构选择: 
+- **PicoDet系列**: 轻量级检测模型(PicoDet-L/S/XS)
+  - PicoDet_layout_1x:  7.4MB, mAP 86.8%
+- **RT-DETR系列**: 
+  - PP-DocLayout-L: 使用RT-DETR-L架构, 123. 76MB, mAP 90.4%
+  - PP-DocLayout-M: 中等规模模型
+  - PP-DocLayout-S: 轻量级模型
+- **PP-DocBlockLayout**:  基于RT-DETR-L, 专门用于块级布局
+
+### 2. **技术特点**
+- 基于PaddlePaddle框架
+- 支持3类、17类、23类不同粒度的布局检测
+- 训练数据包含中英文论文、PPT、杂志、合同、书籍、考试卷、古籍等
+- 支持多硬件加速(GPU, XPU, NPU, MLU)
+
+---
+
+## 三、MinerU Layout模型
+
+### 1. **模型架构**
+- **主力模型**: DocLayout-YOLO (YOLOv10改进版)
+- **模型文件**: `doclayout_yolo_docstructbench_imgsz1280_2501.pt`
+- **输入尺寸**: 1280x1280
+- **默认参数**: conf=0.1, iou=0.45
+
+### 2. **技术特点**
+- 基于YOLO系列的实时检测架构
+- 专门针对文档布局优化
+- 速度极快: 在AMD优化后可达15it/s
+- 相比原LayoutLMv3方案提速10倍以上
+
+---
+
+## 四、多维度对比分析
+
+### 🏗️ **架构先进性对比**
+
+| 维度 | Docling (RT-DETR) | PaddleX (PicoDet/RT-DETR) | MinerU (DocLayout-YOLO) |
+|------|-------------------|---------------------------|------------------------|
+| **架构类型** | Transformer-based | CNN+Transformer混合 | YOLO-based (CNN) |
+| **检测范式** | End-to-End DETR | Anchor-free/DETR | Anchor-free YOLO |
+| **技术代** | 2023年(DETR最新) | 2024年(多架构) | 2025年(YOLO最新) |
+
+**先进性评价**:
+1. **RT-DETR** (Docling, PaddleX): 代表Transformer在目标检测的最新应用,无需NMS后处理,推理更稳定
+2. **DocLayout-YOLO** (MinerU): 在YOLO系列基础上针对文档场景深度优化,速度优势明显
+3. **PicoDet**:  轻量化设计,移动端友好
+
+### ⚡ **性能对比**
+
+| 项目 | 模型大小 | 速度(推理时���) | 精度(mAP) | 硬件需求 |
+|------|---------|---------------|----------|---------|
+| **Docling** | 123MB | 中等 | - | CPU/GPU |
+| **PaddleX (PP-DocLayout-L)** | 123. 76MB | 33.59ms (GPU常规) | 90.4% | 多硬件支持 |
+| **PaddleX (PicoDet-L)** | 22.58MB | 更快 | 86.8% | 轻量级 |
+| **MinerU (DocLayout-YOLO)** | - | **极快(15it/s优化后)** | SOTA | GPU优先 |
+
+### 🎯 **功能特性对比**
+
+#### 检测类别支持
+- **Docling**:  17类(通用文档元素)
+- **PaddleX**: 3类/17类/23类可选(细粒度可调)
+- **MinerU**: 基于DocStructBench数据集训练
+
+#### 批量处理能力
+- **Docling**: ✅ 支持(predict_batch)
+- **PaddleX**: ✅ 支持
+- **MinerU**: ✅ 支持(batch_predict, batch_size=4)
+
+#### 多语言文档支持
+- **Docling**: ✅ 中英文
+- **PaddleX**: ✅ 中英文+多种文档类型
+- **MinerU**: ✅ 84种语言OCR配合
+
+### 🔧 **工程化对比**
+
+| 维度 | Docling | PaddleX | MinerU |
+|------|---------|---------|--------|
+| **框架依赖** | PyTorch + HF | PaddlePaddle | PyTorch + YOLO |
+| **模型格式** | SafeTensors | PaddlePaddle | PyTorch . pt |
+| **部署便捷性** | 中 | 高(多硬件) | 中 |
+| **自定义训练** | 需自行适配 | ✅ 完整训练流程 | 依赖YOLO框架 |
+| **集成生态** | Docling Pipeline | PaddleX全流程 | MinerU全流程 |
+
+### 🌟 **应用场景推荐**
+
+1. **Docling适合**:
+   - 需要Transformer架构优势的场景
+   - HuggingFace生态集成
+   - 对推理稳定性要求高
+
+2. **PaddleX适合**:
+   - 需要端到端训练部署的产品
+   - ���硬件环境(国产芯片友好)
+   - 需要不同精度/速度权衡的场景
+
+3. **MinerU适合**:
+   - 对速度要求极高的场景
+   - GPU资源充足的环境
+   - 需要最新SOTA效果
+
+---
+
+## 五、架构先进性总结
+
+### 最先进架构判断
+
+从**技术演进**角度: 
+1. **Transformer-based (RT-DETR)**: 代表目标检测最新范式,理论上限更高
+2. **DocLayout-YOLO**: 在传统CNN架构上极致优化,工程实用性最强
+3. **PicoDet**: 轻量化创新,移动端场景最优
+
+从**实际效果**看:
+- **精度**: PaddleX的PP-DocLayout-L (90.4% mAP)表现最好
+- **速度**: MinerU的DocLayout-YOLO最快(比原方案快10倍)
+- **平衡**: PaddleX提供最多选项,可根据场景灵活选择
+
+### 🏆 **综合评价**
+- **技术先进性**: RT-DETR架构(Docling, PaddleX) > DocLayout-YOLO (MinerU)
+- **工程实用性**: MinerU ≈ PaddleX > Docling
+- **生态完整性**: PaddleX > MinerU > Docling
+
+**结论**: 没有绝对"最先进",各有优势: 
+- 追求**精度和生态**:  选PaddleX的RT-DETR系列
+- 追求**极致速度**: 选MinerU的DocLayout-YOLO
+- 追求**Transformer优势**: 选Docling的RT-DETR
+
+---
+
+> 💡 注意: 上述结果基于搜索到的代码和文档,部分指标可能随版本更新而变化。您可以通过以下链接查看更多详情:
+> - [Docling模型](https://github.com/docling-project/docling-ibm-models)
+> - [PaddleX模型列表](https://github.com/PaddlePaddle/PaddleX/blob/master/docs/support_list/models_list.md)
+> - [MinerU代码搜索](https://github.com/opendatalab/MinerU/search? q=layout+model)