https://github.com/opendatalab/MinerU.git

myhloli 1059a68b18 Create python-package-conda.yml vor 1 Jahr
.github 1059a68b18 Create python-package-conda.yml vor 1 Jahr
filter c2e5c36f79 Initial commit vor 1 Jahr
layout 3ed288b60c 更新依赖 vor 1 Jahr
libs 3ed288b60c 更新依赖 vor 1 Jahr
para c2e5c36f79 Initial commit vor 1 Jahr
post_proc c2e5c36f79 Initial commit vor 1 Jahr
pre_proc 3ed288b60c 更新依赖 vor 1 Jahr
spark c2e5c36f79 Initial commit vor 1 Jahr
test c2e5c36f79 Initial commit vor 1 Jahr
README.md c2e5c36f79 Initial commit vor 1 Jahr
__init__.py c2e5c36f79 Initial commit vor 1 Jahr
check_inline_formula.py c2e5c36f79 Initial commit vor 1 Jahr
download.py c2e5c36f79 Initial commit vor 1 Jahr
draw_bbox.py c2e5c36f79 Initial commit vor 1 Jahr
mkcontent.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2json_infer.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2md.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_evaluatePdfLayout.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_getNumberOfColumn.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogEquation.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogFigure.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogFooter.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogFootnote.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogFootnoteLine.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogHeader.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogPageNo.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogPara.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogPara_v2.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogTable.py c2e5c36f79 Initial commit vor 1 Jahr
pdf2text_recogTitle.py c2e5c36f79 Initial commit vor 1 Jahr
pdf_parse_by_model.py c2e5c36f79 Initial commit vor 1 Jahr
requirements.txt 3ed288b60c 更新依赖 vor 1 Jahr
s3pdf2md.py c2e5c36f79 Initial commit vor 1 Jahr
vali_bbox_sort.py c2e5c36f79 Initial commit vor 1 Jahr
validation.py c2e5c36f79 Initial commit vor 1 Jahr

README.md

pdf_toolbox

pdf 解析基础函数

pdf是否是文字类型/扫描类型的区分

cat s3_pdf_path.example.pdf | parallel --colsep ' ' -j 10 "python pdf_meta_scan.py --s3-pdf-path {2} --s3-profile {1} >> {/}.jsonl"

find dir/to/jsonl/ -type f -name "*.jsonl" | parallel -j 10 "python pdf_classfy_by_type.py --json_file {} >> {/}.jsonl"

# 如果单独运行脚本,合并到code-clean之后需要运行,参考如下:
python -m pdf_meta_scan --s3-pdf-path "D:\pdf_files\内容排序测试_pdf\p3_图文混排 5.pdf" --s3-profile s2

pdf