THead.md 3.9 KB

1. 测试平台

os: Ubuntu 22.04   
cpu: INTEL x86_64
ppu: ZW810E  
driver: 1.4.0
docker: 26.1.4

2. 环境准备

ppu加速卡支持使用lmdeployvllm进行VLM模型推理加速。请根据实际需求选择安装和使用其中之一:

2.1 使用 Dockerfile 构建镜像 (lmdeploy)

wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/ppu.Dockerfile
docker build --network=host -t mineru:ppu-lmdeploy-latest -f ppu.Dockerfile .

2.2 使用 Dockerfile 构建镜像 (vllm)

wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/ppu.Dockerfile
# 将基础镜像从lmdeploy切换为vllm
sed -i '2s/^/# /' ppu.Dockerfile && sed -i '4s/^# //' ppu.Dockerfile
docker build --network=host -t mineru:ppu-vllm-latest -f ppu.Dockerfile .

3. 启动 Docker 容器

docker run --privileged=true \
  --name mineru_docker \
  --device=/dev/alixpu \
  --device=/dev/alixpu_ctl \
  --ipc=host \
  --network=host \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  --shm-size=500g \
  -v /mnt:/mnt \
  -v /datapool:/datapool \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -e MINERU_MODEL_SOURCE=local \
  -it mineru:ppu-lmdeploy-latest \
  /bin/bash

[!TIP] 请根据实际情况选择使用lmdeployvllm版本的镜像,替换上述命令中的mineru:ppu-lmdeploy-latestmineru:ppu-vllm-latest即可。

执行该命令后,您将进入到Docker容器的交互式终端,您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。 您也可以直接通过替换/bin/bash为服务启动命令来启动MinerU服务,详细说明请参考通过命令启动服务

4. 注意事项

不同环境下,MinerU对ppu加速卡的支持情况如下表所示:

使用场景 容器环境
vllm lmdeploy
命令行工具(mineru) pipeline
vlm-transformers
vlm-<engine_name>-engine
vlm-http-client
fastapi服务(mineru-api) pipeline
vlm-transformers
vlm-<engine_name>-engine
vlm-http-client
gradio界面(mineru-gradio) pipeline
vlm-transformers
vlm-<engine_name>-engine
vlm-http-client
openai-server服务(mineru-openai-server)
数据并行 (--data-parallel-size/--dp)

[!NOTE] 由于npu卡的特殊性,单次服务启动后,可能会在运行过程中切换推理后端(backend)类型(pipeline/vlm)时出现异常,请尽量根据实际需求选择合适的推理后端进行使用。
如在服务中切换推理后端类型遇到报错或异常,请重新启动服务即可。