以下为本指南测试使用的平台信息,供参考:
os: Ubuntu 22.04
cpu: INTEL x86_64
gpu: C500
driver: 2.12.13
docker: 28.1.1
[!NOTE] maca加速卡支持使用
vllm或lmdeploy进行VLM模型推理加速。请根据实际需求选择安装和使用其中之一:
AI分类,软件包类型选择vllm,操作系统选择ubuntuvllm:maca.ai3.1.0.7-torch2.6-py310-ubuntu22.04-amd64镜像,复制拉取命令并在本地终端执行使用 Dockerfile 构建镜像 (vllm)
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/maca.Dockerfile
docker build --network=host -t mineru:maca-vllm-latest -f maca.Dockerfile .
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/maca.Dockerfile
# 将基础镜像从 vllm 切换为 lmdeploy
sed -i '3s/^/# /' maca.Dockerfile && sed -i '5s/^# //' maca.Dockerfile
docker build --network=host -t mineru:maca-lmdeploy-latest -f maca.Dockerfile .
docker run --ipc host \
--cap-add SYS_PTRACE \
--privileged=true \
--device=/dev/mem \
--device=/dev/dri \
--device=/dev/mxcd \
--device=/dev/infiniband \
--group-add video \
--network=host \
--shm-size '100gb' \
--ulimit memlock=-1 \
--security-opt seccomp=unconfined \
--security-opt apparmor=unconfined \
--name mineru_docker \
-v /datapool:/datapool \
-e MINERU_MODEL_SOURCE=local \
-e MINERU_LMDEPLOY_DEVICE=maca \
-it mineru:maca-vllm-latest \
/bin/bash
[!TIP] 请根据实际情况选择使用
vllm或lmdeploy版本的镜像,如需使用lmdeploy,替换上述命令中的mineru:maca-vllm-latest为mineru:maca-lmdeploy-latest即可。
执行该命令后,您将进入到Docker容器的交互式终端,您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。
您也可以直接通过替换/bin/bash为服务启动命令来启动MinerU服务,详细说明请参考通过命令启动服务。
不同环境下,MinerU对maca加速卡的支持情况如下表所示:
| 使用场景 | 容器环境 | ||
|---|---|---|---|
| vllm | lmdeploy | ||
| 命令行工具(mineru) | pipeline | 🟢 | 🟢 |
| vlm-transformers | 🟡 | 🟡 | |
| vlm-<engine_name>-engine | 🟢 | 🟢 | |
| vlm-http-client | 🟢 | 🟢 | |
| fastapi服务(mineru-api) | pipeline | 🟢 | 🟢 |
| vlm-transformers | 🟡 | 🟡 | |
| vlm-<engine_name>-engine | 🟢 | 🟢 | |
| vlm-http-client | 🟢 | 🟢 | |
| gradio界面(mineru-gradio) | pipeline | 🟢 | 🟢 |
| vlm-transformers | 🟡 | 🟡 | |
| vlm-<engine_name>-engine | 🟢 | 🟢 | |
| vlm-http-client | 🟢 | 🟢 | |
| openai-server服务(mineru-openai-server) | 🟢 | 🟢 | |
| 数据并行 (--data-parallel-size/--dp) | 🔴 | 🔴 | |
注:
🟢: 支持,运行较稳定,精度与Nvidia GPU基本一致
🟡: 支持但较不稳定,在某些场景下可能出现异常,或精度存在一定差异
🔴: 不支持,无法运行,或精度存在较大差异
[!TIP] MACA加速卡指定可用加速卡的方式与NVIDIA GPU类似,请参考使用指定GPU设备章节说明。