PPOCR 服务化部署

(English|简体中文)

PaddleOCR提供2种服务部署方式：

基于PaddleHub Serving的部署：代码路径为"./deploy/hubserving"，使用方法参考文档；
基于PaddleServing的部署：代码路径为"./deploy/pdserving"，按照本教程使用。

基于PaddleServing的服务部署

本文档将介绍如何使用PaddleServing 工具部署PP-OCR动态图模型的pipeline在线服务。

相比较于hubserving部署，PaddleServing具备以下优点：

支持客户端和服务端之间高并发和高效通信
支持工业级的服务能力例如模型管理，在线加载，在线A/B测试等
支持多种编程语言开发客户端，例如C++, Python和Java

PaddleServing 支持多种语言部署，本例中提供了python pipeline 和 C++ 两种部署方式，两者的对比如下：

语言	速度	二次开发	是否需要编译
C++	很快	略有难度	单模型预测无需编译，多模型串联需要编译
python	一般	容易	单模型/多模型均无需编译

更多有关PaddleServing服务化部署框架介绍和使用教程参考文档。

AIStudio演示案例可参考基于PaddleServing的OCR服务化部署实战。

环境准备

需要准备PaddleOCR的运行环境和Paddle Serving的运行环境。

准备PaddleOCR的运行环境链接

git clone https://github.com/PaddlePaddle/PaddleOCR

# 进入到工作目录
cd PaddleOCR/deploy/pdserving/

准备PaddleServing的运行环境，步骤如下

# 安装serving，用于启动服务
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.8.3.post102-py3-none-any.whl
pip3 install paddle_serving_server_gpu-0.8.3.post102-py3-none-any.whl
# 如果是cuda10.1环境，可以使用下面的命令安装paddle-serving-server
# wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.8.3.post101-py3-none-any.whl
# pip3 install paddle_serving_server_gpu-0.8.3.post101-py3-none-any.whl

# 安装client，用于向服务发送请求
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_client-0.8.3-cp37-none-any.whl
pip3 install paddle_serving_client-0.8.3-cp37-none-any.whl

# 安装serving-app
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_app-0.8.3-py3-none-any.whl
pip3 install paddle_serving_app-0.8.3-py3-none-any.whl

Note: 如果要安装最新版本的PaddleServing参考链接。

模型转换

使用PaddleServing做服务化部署时，需要将保存的inference模型转换为serving易于部署的模型。

首先，下载PP-OCR的inference模型

# 下载并解压 OCR 文本检测模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tar -O ch_PP-OCRv3_det_infer.tar && tar -xf ch_PP-OCRv3_det_infer.tar
# 下载并解压 OCR 文本识别模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_infer.tar -O ch_PP-OCRv3_rec_infer.tar &&  tar -xf ch_PP-OCRv3_rec_infer.tar

接下来，用安装的paddle_serving_client把下载的inference模型转换成易于server部署的模型格式。

# 转换检测模型
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv3_det_infer/ \
                                         --model_filename inference.pdmodel          \
                                         --params_filename inference.pdiparams       \
                                         --serving_server ./ppocr_det_v3_serving/ \
                                         --serving_client ./ppocr_det_v3_client/

# 转换识别模型
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv3_rec_infer/ \
                                         --model_filename inference.pdmodel          \
                                         --params_filename inference.pdiparams       \
                                         --serving_server ./ppocr_rec_v3_serving/  \
                                         --serving_client ./ppocr_rec_v3_client/

检测模型转换完成后，会在当前文件夹多出ppocr_det_v3_serving 和ppocr_det_v3_client的文件夹，具备如下格式：

|- ppocr_det_v3_serving/
  |- __model__  
  |- __params__
  |- serving_server_conf.prototxt  
  |- serving_server_conf.stream.prototxt

|- ppocr_det_v3_client
  |- serving_client_conf.prototxt  
  |- serving_client_conf.stream.prototxt

识别模型同理。

Paddle Serving pipeline部署

确认工作目录下文件结构：

pdserver目录包含启动pipeline服务和发送预测请求的代码，包括：

__init__.py
config.yml            # 启动服务的配置文件
ocr_reader.py         # OCR模型预处理和后处理的代码实现
pipeline_http_client.py   # 发送pipeline预测请求的脚本
web_service.py        # 启动pipeline服务端的脚本

启动服务可运行如下命令：
```
# 启动服务，运行日志保存在log.txt
python3 web_service.py &>log.txt &
```
成功启动服务后，log.txt中会打印类似如下日志

发送服务请求：

python3 pipeline_http_client.py

成功运行后，模型预测的结果会打印在cmd窗口中，结果示例为：

调整 config.yml 中的并发个数获得最大的QPS, 一般检测和识别的并发数为2：1

det:
    #并发数，is_thread_op=True时，为线程并发；否则为进程并发
    concurrency: 8
    ...
rec:
    #并发数，is_thread_op=True时，为线程并发；否则为进程并发
    concurrency: 4
    ...

有需要的话可以同时发送多个服务请求

预测性能数据会被自动写入 PipelineServingLogs/pipeline.tracer 文件中。

在200张真实图片上测试，把检测长边限制为960。T4 GPU 上 QPS 均值可达到62左右：

2022-05-12 03:56:46,461 ==================== TRACER ======================
2022-05-12 03:56:46,860 Op(det):
2022-05-12 03:56:46,860         in[80.32286641221374 ms]
2022-05-12 03:56:46,860         prep[74.27364885496183 ms]
2022-05-12 03:56:46,860         midp[33.41587786259542 ms]
2022-05-12 03:56:46,860         postp[20.935980916030534 ms]
2022-05-12 03:56:46,860         out[1.551145038167939 ms]
2022-05-12 03:56:46,860         idle[0.3889510617728378]
2022-05-12 03:56:46,860 Op(rec):
2022-05-12 03:56:46,860         in[15.46498846153846 ms]
2022-05-12 03:56:46,861         prep[22.565715384615384 ms]
2022-05-12 03:56:46,861         midp[91.42518076923076 ms]
2022-05-12 03:56:46,861         postp[11.678453846153847 ms]
2022-05-12 03:56:46,861         out[1.1200576923076924 ms]
2022-05-12 03:56:46,861         idle[0.11658723106110291]
2022-05-12 03:56:46,862 DAGExecutor:
2022-05-12 03:56:46,862         Query count[620]
2022-05-12 03:56:46,862         QPS[62.0 q/s]
2022-05-12 03:56:46,862         Succ[0.4193548387096774]
2022-05-12 03:56:46,862         Latency:
2022-05-12 03:56:46,863                 ave[165.54603709677417 ms]
2022-05-12 03:56:46,863                 .50[77.863 ms]
2022-05-12 03:56:46,863                 .60[158.414 ms]
2022-05-12 03:56:46,863                 .70[237.28 ms]
2022-05-12 03:56:46,863                 .80[316.022 ms]
2022-05-12 03:56:46,863                 .90[424.416 ms]
2022-05-12 03:56:46,863                 .95[515.566 ms]
2022-05-12 03:56:46,863                 .99[762.256 ms]
2022-05-12 03:56:46,863 Channel (server worker num[10]):
2022-05-12 03:56:46,864         chl0(In: ['@DAGExecutor'], Out: ['det']) size[0/0]
2022-05-12 03:56:46,864         chl1(In: ['det'], Out: ['rec']) size[2/0]
2022-05-12 03:56:46,865         chl2(In: ['rec'], Out: ['@DAGExecutor']) size[0/0]

Paddle Serving C++ 部署

基于python的服务部署，显然具有二次开发便捷的优势，然而真正落地应用，往往需要追求更优的性能。PaddleServing 也提供了性能更优的C++部署版本。

C++ 服务部署在环境搭建和数据准备阶段与 python 相同，区别在于启动服务和客户端发送请求时不同。

准备 Serving 环境

为了提高预测性能，C++ 服务同样提供了多模型串联服务。与python pipeline服务不同，多模型串联的过程中需要将模型前后处理代码写在服务端，因此需要在本地重新编译生成serving。

首先需要下载Serving代码库, 把OCR文本检测预处理相关代码替换到Serving库中

git clone https://github.com/PaddlePaddle/Serving

cp -rf general_detection_op.cpp Serving/core/general-server/op

具体可参考官方文档：如何编译Serving，注意需要开启 WITH_OPENCV 选项。

完成编译后，注意要安装编译出的三个whl包，并设置SERVING_BIN环境变量。

启动服务可运行如下命令：

一个服务启动两个模型串联，只需要在--model后依次按顺序传入模型文件夹的相对路径，且需要在--op后依次传入自定义C++OP类名称：

```
# 启动服务，运行日志保存在log.txt
python3 -m paddle_serving_server.serve --model ppocr_det_v3_serving ppocr_rec_v3_serving --op GeneralDetectionOp GeneralInferOp --port 9293 &>log.txt &
```
成功启动服务后，log.txt中会打印类似如下日志
![](./imgs/start_server.png)

发送服务请求：

由于需要在C++Server部分进行前后处理，为了加速传入C++Server的仅仅是图片的base64编码的字符串，故需要手动修改 ppocr_det_v3_client/serving_client_conf.prototxt 中 feed_type 字段和 shape 字段，修改成如下内容：
```
 feed_var {
 name: "x"
 alias_name: "x"
 is_lod_tensor: false
 feed_type: 20
 shape: 1
 }
```
启动客户端
```
 python3 ocr_cpp_client.py ppocr_det_v3_client ppocr_rec_v3_client
```
成功运行后，模型预测的结果会打印在cmd窗口中，结果示例为：

在浏览器中输入服务器 ip:端口号，可以看到当前服务的实时QPS。(端口号范围需要是8000-9000)

在200张真实图片上测试，把检测长边限制为960。T4 GPU 上 QPS 峰值可达到51左右,约为pipeline的 2.12 倍。

Windows用户

Windows用户不能使用上述的启动方式，需要使用Web Service，详情参见Windows平台使用Paddle Serving指导

WINDOWS只能使用0.5.0版本的CPU模式

准备阶段：

pip3 install paddle-serving-server==0.5.0
pip3 install paddle-serving-app==0.3.1

启动服务端程序

cd win
python3 ocr_web_server.py gpu(使用gpu方式)
或者
python3 ocr_web_server.py cpu(使用cpu方式)

发送服务请求

python3 ocr_web_client.py

FAQ

Q1：发送请求后没有结果返回或者提示输出解码报错

A1：启动服务和发送请求时不要设置代理，可以在启动服务前和发送请求前关闭代理，关闭代理的命令是：

unset https_proxy
unset http_proxy

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

README_CN.md

README_CN.md

PPOCR 服务化部署

基于PaddleServing的服务部署

目录

环境准备

模型转换

Paddle Serving pipeline部署

Paddle Serving C++ 部署

Windows用户

FAQ

Files

README_CN.md

Latest commit

History

README_CN.md

File metadata and controls

PPOCR 服务化部署

基于PaddleServing的服务部署

目录

环境准备

模型转换

Paddle Serving pipeline部署

Paddle Serving C++ 部署

Windows用户

FAQ