Browse Source

fix: update Ascend.md and THead.md to correct the order of vllm and lmdeploy for VLM model inference

myhloli 6 days ago
parent
commit
9aa46e9c6c

+ 3 - 2
docker/china/npu.Dockerfile

@@ -1,4 +1,4 @@
-# 基础镜像配置
+# 基础镜像配置 vLLM 或 LMDeploy 推理环境选择其中一个,要求 ARM(AArch64) CPU + Ascend NPU。
 # Base image containing the vLLM inference environment, requiring ARM(AArch64) CPU + Ascend NPU.
 FROM quay.io/ascend/vllm-ascend:v0.11.0rc1
 # Base image containing the LMDeploy inference environment, requiring ARM(AArch64) CPU + Ascend NPU.
@@ -18,7 +18,8 @@ RUN apt-get update && \
     rm -rf /var/lib/apt/lists/*
 
 # Install mineru latest
-RUN python3 -m pip install -U 'mineru[core]' -i https://mirrors.aliyun.com/pypi/simple --break-system-packages && \
+RUN python3 -m pip install -U pip -i https://mirrors.aliyun.com/pypi/simple && \
+    python3 -m pip install -U 'mineru[core]>=2.6.5' -i https://mirrors.aliyun.com/pypi/simple && \
     python3 -m pip cache purge
 
 # Download models and update the configuration file

+ 6 - 5
docker/china/ppu.Dockerfile

@@ -1,7 +1,8 @@
-# Base image containing the LMDeploy inference environment, requiring amd64(x86-64) CPU + t-head PPU.
-FROM crpi-4crprmm5baj1v8iv.cn-hangzhou.personal.cr.aliyuncs.com/lmdeploy_dlinfer/ppu:mineru-ppu
+# 基础镜像配置 vLLM 或 LMDeploy 推理环境选择其中一个,要求 amd64(x86-64) CPU + t-head PPU。
 # Base image containing the vLLM inference environment, requiring amd64(x86-64) CPU + t-head PPU.
-# FROM crpi-vofi3w62lkohhxsp.cn-shanghai.personal.cr.aliyuncs.com/opendatalab-mineru/ppu:ppu-pytorch2.6.0-ubuntu24.04-cuda12.6-vllm0.8.5-py312
+FROM crpi-vofi3w62lkohhxsp.cn-shanghai.personal.cr.aliyuncs.com/opendatalab-mineru/ppu:ppu-pytorch2.6.0-ubuntu24.04-cuda12.6-vllm0.8.5-py312
+# Base image containing the LMDeploy inference environment, requiring amd64(x86-64) CPU + t-head PPU.
+# FROM crpi-4crprmm5baj1v8iv.cn-hangzhou.personal.cr.aliyuncs.com/lmdeploy_dlinfer/ppu:mineru-ppu
 
 # Install libgl for opencv support & Noto fonts for Chinese characters
 RUN apt-get update && \
@@ -15,8 +16,8 @@ RUN apt-get update && \
     rm -rf /var/lib/apt/lists/*
 
 # Install mineru latest
-RUN python3 -m pip install -U 'mineru[core]' -i https://mirrors.aliyun.com/pypi/simple --break-system-packages && \
-    python3 -m pip install numpy==1.26.4 opencv-python==4.11.0.86 huggingface_hub==0.36.0 -i https://mirrors.aliyun.com/pypi/simple --break-system-packages && \
+RUN python3 -m pip install -U pip -i https://mirrors.aliyun.com/pypi/simple && \
+    python3 -m pip install 'mineru[core]>=2.6.5' numpy==1.26.4 opencv-python==4.11.0.86 huggingface_hub==0.36.0 -i https://mirrors.aliyun.com/pypi/simple && \
     python3 -m pip cache purge
 
 # Download models and update the configuration file

+ 2 - 2
docs/zh/usage/acceleration_cards/Ascend.md

@@ -9,7 +9,7 @@ docker: 20.10.12
 
 ## 2. 环境准备
 
-Ascend加速卡支持使用`lmdeploy`或`vllm`进行VLM模型推理加速。请根据实际需求选择安装和使用其中之一:
+Ascend加速卡支持使用`vllm`或`lmdeploy`进行VLM模型推理加速。请根据实际需求选择安装和使用其中之一:
 
 ### 2.1 使用 Dockerfile 构建镜像 (vllm)
 
@@ -55,7 +55,7 @@ docker run -u root --name mineru_docker --privileged=true \
 ```
 
 >[!TIP]
-> 请根据实际情况选择使用`lmdeploy`或`vllm`版本的镜像,替换上述命令中的`mineru:npu-vllm-latest`为`mineru:npu-lmdeploy-latest`即可。
+> 请根据实际情况选择使用`vllm`或`lmdeploy`版本的镜像,如需使用lmdeploy,替换上述命令中的`mineru:npu-vllm-latest`为`mineru:npu-lmdeploy-latest`即可。
 
 执行该命令后,您将进入到Docker容器的交互式终端,您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。
 您也可以直接通过替换`/bin/bash`为服务启动命令来启动MinerU服务,详细说明请参考[通过命令启动服务](https://opendatalab.github.io/MinerU/zh/usage/quick_usage/#apiwebuihttp-clientserver)。

+ 12 - 11
docs/zh/usage/acceleration_cards/THead.md

@@ -9,23 +9,24 @@ docker: 26.1.4
 
 ## 2. 环境准备
 
-ppu加速卡支持使用`lmdeploy`或`vllm`进行VLM模型推理加速。请根据实际需求选择安装和使用其中之一:
+ppu加速卡支持使用`vllm`或`lmdeploy`进行VLM模型推理加速。请根据实际需求选择安装和使用其中之一:
 
-### 2.1 使用 Dockerfile 构建镜像 (lmdeploy
+### 2.1 使用 Dockerfile 构建镜像 (vllm
 
 ```bash
 wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/ppu.Dockerfile
-docker build --network=host -t mineru:ppu-lmdeploy-latest -f ppu.Dockerfile .
-```
+docker build --network=host -t mineru:ppu-vllm-latest -f ppu.Dockerfile .
+``` 
 
-### 2.2 使用 Dockerfile 构建镜像 (vllm)
+### 2.2 使用 Dockerfile 构建镜像 (lmdeploy
 
 ```bash
 wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/china/ppu.Dockerfile
-# 将基础镜像从lmdeploy切换为vllm
-sed -i '2s/^/# /' ppu.Dockerfile && sed -i '4s/^# //' ppu.Dockerfile
-docker build --network=host -t mineru:ppu-vllm-latest -f ppu.Dockerfile .
-``` 
+# 将基础镜像从 vllm 切换为 lmdeploy
+sed -i '3s/^/# /' ppu.Dockerfile && sed -i '5s/^# //' ppu.Dockerfile
+docker build --network=host -t mineru:ppu-lmdeploy-latest -f ppu.Dockerfile .
+```
+
 
 ## 3. 启动 Docker 容器
 
@@ -43,12 +44,12 @@ docker run --privileged=true \
   -v /datapool:/datapool \
   -v /var/run/docker.sock:/var/run/docker.sock \
   -e MINERU_MODEL_SOURCE=local \
-  -it mineru:ppu-lmdeploy-latest \
+  -it mineru:ppu-vllm-latest \
   /bin/bash
 ```
 
 >[!TIP]
-> 请根据实际情况选择使用`lmdeploy`或`vllm`版本的镜像,替换上述命令中的`mineru:ppu-lmdeploy-latest`为`mineru:ppu-vllm-latest`即可。
+> 请根据实际情况选择使用`vllm`或`lmdeploy`版本的镜像,如需使用lmdeploy,替换上述命令中的`mineru:ppu-vllm-latest`为`mineru:ppu-lmdeploy-latest`即可。
 
 执行该命令后,您将进入到Docker容器的交互式终端,您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。
 您也可以直接通过替换`/bin/bash`为服务启动命令来启动MinerU服务,详细说明请参考[通过命令启动服务](https://opendatalab.github.io/MinerU/zh/usage/quick_usage/#apiwebuihttp-clientserver)。