https://github.com/opendatalab/MinerU.git
|
|
1 năm trước cách đây | |
|---|---|---|
| .github | 1 năm trước cách đây | |
| app | 1 năm trước cách đây | |
| demo | 1 năm trước cách đây | |
| dict2md | 1 năm trước cách đây | |
| filter | 1 năm trước cách đây | |
| layout | 1 năm trước cách đây | |
| libs | 1 năm trước cách đây | |
| othoers | 1 năm trước cách đây | |
| para | 1 năm trước cách đây | |
| pipeline | 1 năm trước cách đây | |
| post_proc | 1 năm trước cách đây | |
| pre_proc | 1 năm trước cách đây | |
| test | 1 năm trước cách đây | |
| .gitignore | 1 năm trước cách đây | |
| README.md | 1 năm trước cách đây | |
| requirements.txt | 1 năm trước cách đây | |
| setup.py | 1 năm trước cách đây |
pdf 解析基础函数
cat s3_pdf_path.example.pdf | parallel --colsep ' ' -j 10 "python pdf_meta_scan.py --s3-pdf-path {2} --s3-profile {1} >> {/}.jsonl"
find dir/to/jsonl/ -type f -name "*.jsonl" | parallel -j 10 "python pdf_classfy_by_type.py --json_file {} >> {/}.jsonl"
# 如果单独运行脚本,合并到code-clean之后需要运行,参考如下:
python -m pdf_meta_scan --s3-pdf-path "D:\pdf_files\内容排序测试_pdf\p3_图文混排 5.pdf" --s3-profile s2