|
|
@@ -1,8 +1,4 @@
|
|
|
-# 模型预测部署
|
|
|
-
|
|
|
-本文档指引用户如何采用更高性能地方式来部署使用PaddleX训练的模型。使用本文档模型部署方式,会在模型运算过程中,对模型计算图进行优化,同时减少内存操作,相对比普通的paddlepaddle模型加载和预测方式,预测速度平均可提升1倍,具体各模型性能对比见[预测性能对比](#预测性能对比)
|
|
|
-
|
|
|
-## 服务端部署
|
|
|
+# 模型部署导出
|
|
|
|
|
|
### 导出inference模型
|
|
|
|
|
|
@@ -14,43 +10,4 @@
|
|
|
paddlex --export_inference --model_dir=./garbage_epoch_12 --save_dir=./inference_model
|
|
|
```
|
|
|
|
|
|
-### Python部署
|
|
|
-PaddleX已经集成了基于Python的高性能预测接口,在安装PaddleX后,可参照如下代码示例,进行预测。相关的接口文档可参考[paddlex.deploy](apis/deploy.md)
|
|
|
-> 点击下载测试图片 [garbage.bmp](https://bj.bcebos.com/paddlex/datasets/garbage.bmp)
|
|
|
-```
|
|
|
-import paddlex as pdx
|
|
|
-predictorpdx.deploy.create_predictor('./inference_model')
|
|
|
-result = predictor.predict(image='garbage.bmp')
|
|
|
-```
|
|
|
-
|
|
|
-### C++部署
|
|
|
-
|
|
|
-> C++部署方案正在整理中,即将开源...
|
|
|
-
|
|
|
-### 预测性能对比
|
|
|
-
|
|
|
-#### 测试环境
|
|
|
-
|
|
|
-- CUDA 9.0
|
|
|
-- CUDNN 7.5
|
|
|
-- PaddlePaddle 1.71
|
|
|
-- GPU: Tesla P40
|
|
|
-- AnalysisPredictor 指采用Python的高性能预测方式
|
|
|
-- Executor 指采用paddlepaddle普通的python预测方式
|
|
|
-- Batch Size均为1,耗时单位为ms/image,只计算模型运行时间,不包括数据的预处理和后处理
|
|
|
-
|
|
|
-| 模型 | AnalysisPredictor耗时 | Executor耗时 | 输入图像大小 |
|
|
|
-| :---- | :--------------------- | :------------ | :------------ |
|
|
|
-| resnet50 | 4.84 | 7.57 | 224*224 |
|
|
|
-| mobilenet_v2 | 3.27 | 5.76 | 224*224 |
|
|
|
-| unet | 22.51 | 34.60 |513*513 |
|
|
|
-| deeplab_mobile | 63.44 | 358.31 |1025*2049 |
|
|
|
-| yolo_mobilenetv2 | 15.20 | 19.54 | 608*608 |
|
|
|
-| faster_rcnn_r50_fpn_1x | 50.05 | 69.58 |800*1088 |
|
|
|
-| faster_rcnn_r50_1x | 326.11 | 347.22 | 800*1067 |
|
|
|
-| mask_rcnn_r50_fpn_1x | 67.49 | 91.02 | 800*1088 |
|
|
|
-| mask_rcnn_r50_1x | 326.11 | 350.94 | 800*1067 |
|
|
|
-
|
|
|
-## 移动端部署
|
|
|
-
|
|
|
-> Lite模型导出正在集成中,即将开源...
|
|
|
+## 模型C++和Python部署方案预计一周内推出...
|