Browse Source

fix: add MINERU_LMDEPLOY_DEVICE environment variable and update Ascend.md with usage scenarios

myhloli 1 week ago
parent
commit
76b1a559f8
1 changed files with 95 additions and 1 deletions
  1. 95 1
      docs/zh/usage/acceleration_cards/Ascend.md

+ 95 - 1
docs/zh/usage/acceleration_cards/Ascend.md

@@ -51,6 +51,7 @@ docker run -u root --name mineru_docker --privileged=true \
     -v /usr/local/dcmi:/usr/local/dcmi \
     -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
     -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
+    -e MINERU_LMDEPLOY_DEVICE=ascend \
     -it mineru:lmdeploy-latest \
     /bin/bash
 ```
@@ -59,4 +60,97 @@ docker run -u root --name mineru_docker --privileged=true \
 > 请根据实际情况选择使用`lmdeploy`或`vllm`版本的镜像,替换上述命令中的`mineru:lmdeploy-latest`为`mineru:vllm-latest`即可。
 
 执行该命令后,您将进入到Docker容器的交互式终端,并映射了一些端口用于可能会使用的服务,您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。
-您也可以直接通过替换`/bin/bash`为服务启动命令来启动MinerU服务,详细说明请参考[通过命令启动服务](https://opendatalab.github.io/MinerU/zh/usage/quick_usage/#apiwebuihttp-clientserver)。
+您也可以直接通过替换`/bin/bash`为服务启动命令来启动MinerU服务,详细说明请参考[通过命令启动服务](https://opendatalab.github.io/MinerU/zh/usage/quick_usage/#apiwebuihttp-clientserver)。
+
+## 4. 注意事项
+
+不同环境下,MinerU对Ascend加速卡的支持情况如下表所示:
+
+<table border="1">
+  <thead>
+    <tr>
+      <th rowspan="2" colspan="2">使用场景</th>
+      <th colspan="2">环境</th>
+    </tr>
+    <tr>
+      <th>vllm</th>
+      <th>lmdeploy</th>
+    </tr>
+  </thead>
+  <tbody>
+    <tr>
+      <td rowspan="4">命令行工具(mineru)</td>
+      <td>pipeline</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-transformers</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-vllm-engine</td>
+      <td>❌</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-http-client</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td rowspan="4">fastapi服务(mineru-api)</td>
+      <td>pipeline</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-transformers</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-vllm-async-engine</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-http-client</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td rowspan="4">gradio界面(mineru-gradio)</td>
+      <td>pipeline</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-transformers</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-vllm-async-engine</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td>vllm-http-client</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td colspan="2">openai-server服务(mineru-openai-server)</td>
+      <td>✅</td>
+      <td>✅</td>
+    </tr>
+    <tr>
+      <td colspan="2">数据并行 (--data-parallel-size/--dp)</td>
+      <td>✅</td>
+      <td>❌</td>
+    </tr>
+  </tbody>
+</table>
+