|
@@ -0,0 +1,152 @@
|
|
|
|
|
+## 一、Docling Layout模型
|
|
|
|
|
+
|
|
|
|
|
+### 1. **模型架构**
|
|
|
|
|
+- **基础模型**: RT-DETR (Real-Time Detection Transformer)
|
|
|
|
|
+- **架构类型**: Transformer-based目标检测
|
|
|
|
|
+- **技术实现**: 使用HuggingFace的`AutoModelForObjectDetection`和`RTDetrImageProcessor`
|
|
|
|
|
+- **模型文件**: `beehive_v0.0.5` (约123MB)
|
|
|
|
|
+
|
|
|
|
|
+### 2. **技术特点**
|
|
|
|
|
+- 使用SafeTensors格式存储权重
|
|
|
|
|
+- 支持17种文档元素类别(Caption, Footnote, Formula, List-item, Page-footer, Page-header, Picture, Section-header, Table, Text, Title等)
|
|
|
|
|
+- 阈值可配置(默认0.3)
|
|
|
|
|
+- 支持批量预测
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 二、PaddleX Layout模型
|
|
|
|
|
+
|
|
|
|
|
+### 1. **模型架构系列**
|
|
|
|
|
+提供多个架构选择:
|
|
|
|
|
+- **PicoDet系列**: 轻量级检测模型(PicoDet-L/S/XS)
|
|
|
|
|
+ - PicoDet_layout_1x: 7.4MB, mAP 86.8%
|
|
|
|
|
+- **RT-DETR系列**:
|
|
|
|
|
+ - PP-DocLayout-L: 使用RT-DETR-L架构, 123. 76MB, mAP 90.4%
|
|
|
|
|
+ - PP-DocLayout-M: 中等规模模型
|
|
|
|
|
+ - PP-DocLayout-S: 轻量级模型
|
|
|
|
|
+- **PP-DocBlockLayout**: 基于RT-DETR-L, 专门用于块级布局
|
|
|
|
|
+
|
|
|
|
|
+### 2. **技术特点**
|
|
|
|
|
+- 基于PaddlePaddle框架
|
|
|
|
|
+- 支持3类、17类、23类不同粒度的布局检测
|
|
|
|
|
+- 训练数据包含中英文论文、PPT、杂志、合同、书籍、考试卷、古籍等
|
|
|
|
|
+- 支持多硬件加速(GPU, XPU, NPU, MLU)
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 三、MinerU Layout模型
|
|
|
|
|
+
|
|
|
|
|
+### 1. **模型架构**
|
|
|
|
|
+- **主力模型**: DocLayout-YOLO (YOLOv10改进版)
|
|
|
|
|
+- **模型文件**: `doclayout_yolo_docstructbench_imgsz1280_2501.pt`
|
|
|
|
|
+- **输入尺寸**: 1280x1280
|
|
|
|
|
+- **默认参数**: conf=0.1, iou=0.45
|
|
|
|
|
+
|
|
|
|
|
+### 2. **技术特点**
|
|
|
|
|
+- 基于YOLO系列的实时检测架构
|
|
|
|
|
+- 专门针对文档布局优化
|
|
|
|
|
+- 速度极快: 在AMD优化后可达15it/s
|
|
|
|
|
+- 相比原LayoutLMv3方案提速10倍以上
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 四、多维度对比分析
|
|
|
|
|
+
|
|
|
|
|
+### 🏗️ **架构先进性对比**
|
|
|
|
|
+
|
|
|
|
|
+| 维度 | Docling (RT-DETR) | PaddleX (PicoDet/RT-DETR) | MinerU (DocLayout-YOLO) |
|
|
|
|
|
+|------|-------------------|---------------------------|------------------------|
|
|
|
|
|
+| **架构类型** | Transformer-based | CNN+Transformer混合 | YOLO-based (CNN) |
|
|
|
|
|
+| **检测范式** | End-to-End DETR | Anchor-free/DETR | Anchor-free YOLO |
|
|
|
|
|
+| **技术代** | 2023年(DETR最新) | 2024年(多架构) | 2025年(YOLO最新) |
|
|
|
|
|
+
|
|
|
|
|
+**先进性评价**:
|
|
|
|
|
+1. **RT-DETR** (Docling, PaddleX): 代表Transformer在目标检测的最新应用,无需NMS后处理,推理更稳定
|
|
|
|
|
+2. **DocLayout-YOLO** (MinerU): 在YOLO系列基础上针对文档场景深度优化,速度优势明显
|
|
|
|
|
+3. **PicoDet**: 轻量化设计,移动端友好
|
|
|
|
|
+
|
|
|
|
|
+### ⚡ **性能对比**
|
|
|
|
|
+
|
|
|
|
|
+| 项目 | 模型大小 | 速度(推理时���) | 精度(mAP) | 硬件需求 |
|
|
|
|
|
+|------|---------|---------------|----------|---------|
|
|
|
|
|
+| **Docling** | 123MB | 中等 | - | CPU/GPU |
|
|
|
|
|
+| **PaddleX (PP-DocLayout-L)** | 123. 76MB | 33.59ms (GPU常规) | 90.4% | 多硬件支持 |
|
|
|
|
|
+| **PaddleX (PicoDet-L)** | 22.58MB | 更快 | 86.8% | 轻量级 |
|
|
|
|
|
+| **MinerU (DocLayout-YOLO)** | - | **极快(15it/s优化后)** | SOTA | GPU优先 |
|
|
|
|
|
+
|
|
|
|
|
+### 🎯 **功能特性对比**
|
|
|
|
|
+
|
|
|
|
|
+#### 检测类别支持
|
|
|
|
|
+- **Docling**: 17类(通用文档元素)
|
|
|
|
|
+- **PaddleX**: 3类/17类/23类可选(细粒度可调)
|
|
|
|
|
+- **MinerU**: 基于DocStructBench数据集训练
|
|
|
|
|
+
|
|
|
|
|
+#### 批量处理能力
|
|
|
|
|
+- **Docling**: ✅ 支持(predict_batch)
|
|
|
|
|
+- **PaddleX**: ✅ 支持
|
|
|
|
|
+- **MinerU**: ✅ 支持(batch_predict, batch_size=4)
|
|
|
|
|
+
|
|
|
|
|
+#### 多语言文档支持
|
|
|
|
|
+- **Docling**: ✅ 中英文
|
|
|
|
|
+- **PaddleX**: ✅ 中英文+多种文档类型
|
|
|
|
|
+- **MinerU**: ✅ 84种语言OCR配合
|
|
|
|
|
+
|
|
|
|
|
+### 🔧 **工程化对比**
|
|
|
|
|
+
|
|
|
|
|
+| 维度 | Docling | PaddleX | MinerU |
|
|
|
|
|
+|------|---------|---------|--------|
|
|
|
|
|
+| **框架依赖** | PyTorch + HF | PaddlePaddle | PyTorch + YOLO |
|
|
|
|
|
+| **模型格式** | SafeTensors | PaddlePaddle | PyTorch . pt |
|
|
|
|
|
+| **部署便捷性** | 中 | 高(多硬件) | 中 |
|
|
|
|
|
+| **自定义训练** | 需自行适配 | ✅ 完整训练流程 | 依赖YOLO框架 |
|
|
|
|
|
+| **集成生态** | Docling Pipeline | PaddleX全流程 | MinerU全流程 |
|
|
|
|
|
+
|
|
|
|
|
+### 🌟 **应用场景推荐**
|
|
|
|
|
+
|
|
|
|
|
+1. **Docling适合**:
|
|
|
|
|
+ - 需要Transformer架构优势的场景
|
|
|
|
|
+ - HuggingFace生态集成
|
|
|
|
|
+ - 对推理稳定性要求高
|
|
|
|
|
+
|
|
|
|
|
+2. **PaddleX适合**:
|
|
|
|
|
+ - 需要端到端训练部署的产品
|
|
|
|
|
+ - ���硬件环境(国产芯片友好)
|
|
|
|
|
+ - 需要不同精度/速度权衡的场景
|
|
|
|
|
+
|
|
|
|
|
+3. **MinerU适合**:
|
|
|
|
|
+ - 对速度要求极高的场景
|
|
|
|
|
+ - GPU资源充足的环境
|
|
|
|
|
+ - 需要最新SOTA效果
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+## 五、架构先进性总结
|
|
|
|
|
+
|
|
|
|
|
+### 最先进架构判断
|
|
|
|
|
+
|
|
|
|
|
+从**技术演进**角度:
|
|
|
|
|
+1. **Transformer-based (RT-DETR)**: 代表目标检测最新范式,理论上限更高
|
|
|
|
|
+2. **DocLayout-YOLO**: 在传统CNN架构上极致优化,工程实用性最强
|
|
|
|
|
+3. **PicoDet**: 轻量化创新,移动端场景最优
|
|
|
|
|
+
|
|
|
|
|
+从**实际效果**看:
|
|
|
|
|
+- **精度**: PaddleX的PP-DocLayout-L (90.4% mAP)表现最好
|
|
|
|
|
+- **速度**: MinerU的DocLayout-YOLO最快(比原方案快10倍)
|
|
|
|
|
+- **平衡**: PaddleX提供最多选项,可根据场景灵活选择
|
|
|
|
|
+
|
|
|
|
|
+### 🏆 **综合评价**
|
|
|
|
|
+- **技术先进性**: RT-DETR架构(Docling, PaddleX) > DocLayout-YOLO (MinerU)
|
|
|
|
|
+- **工程实用性**: MinerU ≈ PaddleX > Docling
|
|
|
|
|
+- **生态完整性**: PaddleX > MinerU > Docling
|
|
|
|
|
+
|
|
|
|
|
+**结论**: 没有绝对"最先进",各有优势:
|
|
|
|
|
+- 追求**精度和生态**: 选PaddleX的RT-DETR系列
|
|
|
|
|
+- 追求**极致速度**: 选MinerU的DocLayout-YOLO
|
|
|
|
|
+- 追求**Transformer优势**: 选Docling的RT-DETR
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+> 💡 注意: 上述结果基于搜索到的代码和文档,部分指标可能随版本更新而变化。您可以通过以下链接查看更多详情:
|
|
|
|
|
+> - [Docling模型](https://github.com/docling-project/docling-ibm-models)
|
|
|
|
|
+> - [PaddleX模型列表](https://github.com/PaddlePaddle/PaddleX/blob/master/docs/support_list/models_list.md)
|
|
|
|
|
+> - [MinerU代码搜索](https://github.com/opendatalab/MinerU/search? q=layout+model)
|