https://github.com/opendatalab/MinerU.git

赵小蒙 59bc15e004 Merge remote-tracking branch 'origin/master' 1 năm trước cách đây
.github 6f5111cced Update python-package.yml 1 năm trước cách đây
app 789918dffb 重构目录结构 1 năm trước cách đây
demo 11e4e8cc59 重构目录结构 1 năm trước cách đây
dict2md 11e4e8cc59 重构目录结构 1 năm trước cách đây
filter c2e5c36f79 Initial commit 1 năm trước cách đây
layout 3ed288b60c 更新依赖 1 năm trước cách đây
libs 3ed288b60c 更新依赖 1 năm trước cách đây
othoers 7f0371da0e 重构目录结构 1 năm trước cách đây
para c2e5c36f79 Initial commit 1 năm trước cách đây
pipeline 59bc15e004 Merge remote-tracking branch 'origin/master' 1 năm trước cách đây
post_proc 7f0371da0e 重构目录结构 1 năm trước cách đây
pre_proc 59bc15e004 Merge remote-tracking branch 'origin/master' 1 năm trước cách đây
test 7f0371da0e 重构目录结构 1 năm trước cách đây
.gitignore a74ea08ca1 add .gitignore 1 năm trước cách đây
README.md c2e5c36f79 Initial commit 1 năm trước cách đây
requirements.txt 3ed288b60c 更新依赖 1 năm trước cách đây
setup.py 9e7f7550de 配置打包参数 1 năm trước cách đây

README.md

pdf_toolbox

pdf 解析基础函数

pdf是否是文字类型/扫描类型的区分

cat s3_pdf_path.example.pdf | parallel --colsep ' ' -j 10 "python pdf_meta_scan.py --s3-pdf-path {2} --s3-profile {1} >> {/}.jsonl"

find dir/to/jsonl/ -type f -name "*.jsonl" | parallel -j 10 "python pdf_classfy_by_type.py --json_file {} >> {/}.jsonl"

# 如果单独运行脚本,合并到code-clean之后需要运行,参考如下:
python -m pdf_meta_scan --s3-pdf-path "D:\pdf_files\内容排序测试_pdf\p3_图文混排 5.pdf" --s3-profile s2

pdf