Update doc #1735

TeslaZhao · 2022-03-27T08:08:37Z

Add doc/Offical_Docs/3-0_QuickStart_Int_CN.md
Add doc/Offical_Docs/9-0_Kubernetes_Int_CN.md
Add doc/Offical_Docs/7-0_Python_Pipeline_Int_CN.md
Add doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md
Add doc/Offical_Docs/7-2_Python_Pipeline_Usage_CN.md
Add doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md
Add doc/Offical_Docs/7-4_Python_Pipeline_Optimize_CN.md

ZihanDong · 2022-04-02T05:33:34Z

doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md

@@ -0,0 +1,374 @@
+# Python Pipeline 基础功能
+
+设计一个通用端到端多模型组合框架所面临的挑战有如下4点：


设计部分是否跟基础功能相关？如没有直接联系，建议删除或单独写一个章节

加入设计目的：『为了解决多个深度学习模型组合的复杂问题』

ZihanDong · 2022-04-02T05:40:09Z

doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md

+| local_service_handler |   (object)  |local predictor handler，Op init()入参赋值 或 在Op init()中创建|
+
+
+**三.Channel 设计与实现**


换行问题

ZihanDong · 2022-04-02T05:40:16Z

doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md

+<img src='../images/pipeline_serving-image3.png' height = "500" align="middle"/>
+</div>
+
+**四.二次开发**


换行问题

ZihanDong · 2022-04-02T05:44:16Z

doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md

+提供给开发者的二次开发接口有三种，分别是推理 OP 二次开发接口、RequestOp 二次开发接口和 ResponseOp 二次开发接口。
+
+
+1. 推理 OP 二次开发


推理OP自定义行为

ZihanDong · 2022-04-02T05:45:43Z

doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md

+推理 OP 为开发者提供3个外部函数接口：
+
+|                    变量或接口                    |                             说明                             |
+| :----------------------------------------------: | :----------------------------------------------------------: |


建议把process postprocess 和pre init 拆成四个部分分别描述
1.1 1.2 1.3 1.4

ZihanDong · 2022-04-02T05:50:20Z

doc/Offical_Docs/7-1_Python_Pipeline_Basic_CN.md

+
+需要**注意**的是，在线程版 OP 中，每个 OP 只会调用一次该函数，故加载的资源必须要求是线程安全的。
+
+2. RequestOp 二次开发


request和response的二次开发是不是都针对数据结构的定制化处理？如果是，是否可以单独以此为目标写一个章节？

request response考虑作为进阶功能

ZihanDong · 2022-04-02T05:56:54Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

+
+高阶用法在复杂场景中使用，实现更多自定义能力，包括 DAG 跳过某个OP运行、自定义数据传输结构以及多卡推理等。
+
+## DAG 跳过某个OP运行


如何去实现分支逻辑 + 图说明

ZihanDong · 2022-04-02T05:57:51Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

+  - 推理耗时明显长于前后处理，合并多个请求数据推理一次会提高吞吐和GPU利用率
+  - 要求多个请求数据的 shape 一致
+
+|                  接口                  |                    说明                     |


此处接口是否合适？表格描述的应该是不同模式的实现方式？如果是应该为用户说明

ZihanDong · 2022-04-02T06:01:13Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

+
+### 4.6 单机多卡
+单机多卡推理，M 个 OP 进程与 N 个 GPU 卡绑定，在 `config.yml` 中配置3个参数有关系，首先选择进程模式、并发数即进程数，devices 是 GPU 卡 ID。绑定方法是进程启动时遍历 GPU 卡 ID，例如启动7个 OP 进程 `config.yml` 设置 devices:0,1,2，那么第1，4，7个启动的进程与0卡绑定，第2，4个启动的进程与1卡绑定，3，6进程与卡2绑定。
+- 进程ID: 0  绑定 GPU 卡0


进城模式和并发数，在config中的具体设置方式？

进程还是线程？

XPU的支持
device ID的获取方式

ZihanDong · 2022-04-02T06:07:46Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

+再重新编译 Serving Server。
+
+
+## 自定义 URL


感觉此处描述不够清晰

brpc不能自定义？

ZihanDong · 2022-04-02T06:08:52Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

+
+## 自定义 proto 中 Request 和 Response 结构
+
+当默认 proto 结构不满足业务需求时，同时下面2个文件的 proto 的 Request 和 Response message 结构，保持一致。


此处描述不够清晰

ZihanDong · 2022-04-02T06:11:05Z

doc/Offical_Docs/7-2_Python_Pipeline_Usage_CN.md

@@ -0,0 +1,245 @@
+# Python Pipeline 使用案例


此处为进阶使用的对应案例，是否可以把案例放在最后，同时在案例中体现之前几篇中：

普通功能和进阶使用的方法

优化方法

ZihanDong · 2022-04-02T06:15:27Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

@@ -0,0 +1,96 @@
+# Python Pipeline 高阶用法


是否可以按数据自定义执行自定义通讯自定义类似逻辑来区分功能？
目前普通/高阶用户是否会找不到需要看的章节在哪里

ZihanDong · 2022-04-02T06:16:04Z

doc/Offical_Docs/7-2_Python_Pipeline_Usage_CN.md

+server.run_server()
+```
+
+## 启动服务验证


缺少文字说明

缺少标准输出

ZihanDong · 2022-04-02T06:28:11Z

doc/Offical_Docs/7-2_Python_Pipeline_Usage_CN.md

+```
+
+## 创建config.yaml
+本示例采用了brpc的client连接类型，还可以选择grpc或local_predictor。


grpc的config在哪里会有不一样？在何处有详细说明

ZihanDong · 2022-04-02T06:30:04Z

doc/Offical_Docs/7-2_Python_Pipeline_Usage_CN.md

@@ -0,0 +1,245 @@
+# Python Pipeline 使用案例
+
+Python Pipeline 使用案例部署步骤可分为下载模型、配置、编写代码、推理测试4个步骤。


此处步骤名称没有与下文一致

ZihanDong · 2022-04-02T06:31:42Z

doc/Offical_Docs/7-2_Python_Pipeline_Usage_CN.md

+
+## 编写 Server 代码
+
+代码示例中，重点留意3个自定义Op的preprocess、postprocess处理，以及Combin Op初始化列表input_ops=[bow_op, cnn_op]，设置Combin Op的前置OP列表。


差异化的解释

ZihanDong · 2022-04-02T06:46:14Z

doc/Offical_Docs/7-0_Python_Pipeline_Int_CN.md

+
+Paddle Serving 实现了一套通用的多模型组合服务编程框架 Python Pipeline，不仅解决上述痛点，同时还能大幅提高 GPU 利用率，并易于开发和维护。
+
+通过阅读以下内容掌握 Python Pipeline 框架基础功能、设计方案、使用指南等。


缺少子页面内，主要内容的概括性描述

ZihanDong · 2022-04-02T06:49:29Z

doc/Offical_Docs/7-4_Python_Pipeline_Optimize_CN.md

+    analyst.save_trace(trace_filename)
+```
+
+具体操作：打开 chrome 浏览器，在地址栏输入 `chrome://tracing/` ，跳转至 tracing 页面，点击 load 按钮，打开保存的 `trace` 文件，即可将预测服务的各阶段时间信息可视化。


添加可视化的图示例

ZihanDong · 2022-04-02T06:51:33Z

doc/Offical_Docs/7-4_Python_Pipeline_Optimize_CN.md

+# Python Pipeline 优化指南
+
+
+## 如何通过 Timeline 工具进行优化


需要描述基本步骤，保存导出，分析，进行优化

ZihanDong · 2022-04-02T06:52:15Z

doc/Offical_Docs/7-4_Python_Pipeline_Optimize_CN.md

+## 分析方法
+根据 `pipeline.tracer` 日志中的各个阶段耗时，按以下公式逐步分析出主要耗时在哪个阶段。
+```
+单 OP 耗时：


不同指标的分析

ZihanDong · 2022-04-02T06:52:54Z

doc/Offical_Docs/7-4_Python_Pipeline_Optimize_CN.md

+
+## 优化思路
+
+根据长耗时在不同阶段，采用不同的优化方法.


此处是否添加对应链接直接引导用户到相应文档

ZihanDong · 2022-04-02T08:06:59Z

doc/Offical_Docs/7-3_Python_Pipeline_Senior_CN.md

+- 进程ID: 5  绑定 GPU 卡2
+- 进程ID: 6  绑定 GPU 卡0
+
+`config.yml` 中硬件配置：


补一下三个参数

ZihanDong · 2022-04-02T08:11:37Z

doc/Offical_Docs/7-4_Python_Pipeline_Optimize_CN.md

+
+具体操作：打开 chrome 浏览器，在地址栏输入 `chrome://tracing/` ，跳转至 tracing 页面，点击 load 按钮，打开保存的 `trace` 文件，即可将预测服务的各阶段时间信息可视化。
+
+## 在 Client 端输出 Profile 信息


此处与前面部分均为如何导出profiler信息，应该是第一步的子步骤，需要注明

TeslaZhao added 2 commits March 27, 2022 16:06

Update doc

afc21a3

Update Add new docs & Update docker builder shell

dc512ce

ZihanDong reviewed Apr 2, 2022

View reviewed changes

fix one bad explaination

19dea60

ZihanDong reviewed Apr 2, 2022

View reviewed changes

TeslaZhao added 3 commits April 13, 2022 16:59

Merge branch 'PaddlePaddle:develop' into develop

900bf53

Update docs & OCR examples

2b8393e

Update doc

02d581b

TeslaZhao merged commit ee8b5e2 into PaddlePaddle:develop Apr 18, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Update doc #1735

Update doc #1735

TeslaZhao commented Mar 27, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

TeslaZhao Apr 16, 2022

ZihanDong Apr 2, 2022

TeslaZhao Apr 16, 2022

ZihanDong Apr 2, 2022

TeslaZhao Apr 16, 2022

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

ZihanDong Apr 2, 2022

		@@ -0,0 +1,374 @@
		# Python Pipeline 基础功能

		设计一个通用端到端多模型组合框架所面临的挑战有如下4点：

		\| local_service_handler \| (object) \|local predictor handler，Op init()入参赋值或在Op init()中创建\|


		三.Channel 设计与实现

		提供给开发者的二次开发接口有三种，分别是推理 OP 二次开发接口、RequestOp 二次开发接口和 ResponseOp 二次开发接口。


		1. 推理 OP 二次开发


		需要注意的是，在线程版 OP 中，每个 OP 只会调用一次该函数，故加载的资源必须要求是线程安全的。

		2. RequestOp 二次开发


		高阶用法在复杂场景中使用，实现更多自定义能力，包括 DAG 跳过某个OP运行、自定义数据传输结构以及多卡推理等。

		## DAG 跳过某个OP运行


		## 自定义 proto 中 Request 和 Response 结构

		当默认 proto 结构不满足业务需求时，同时下面2个文件的 proto 的 Request 和 Response message 结构，保持一致。

		@@ -0,0 +1,245 @@
		# Python Pipeline 使用案例

		Python Pipeline 使用案例部署步骤可分为下载模型、配置、编写代码、推理测试4个步骤。


		## 编写 Server 代码

		代码示例中，重点留意3个自定义Op的preprocess、postprocess处理，以及Combin Op初始化列表input_ops=[bow_op, cnn_op]，设置Combin Op的前置OP列表。


		Paddle Serving 实现了一套通用的多模型组合服务编程框架 Python Pipeline，不仅解决上述痛点，同时还能大幅提高 GPU 利用率，并易于开发和维护。

		通过阅读以下内容掌握 Python Pipeline 框架基础功能、设计方案、使用指南等。

		# Python Pipeline 优化指南


		## 如何通过 Timeline 工具进行优化


		## 优化思路

		根据长耗时在不同阶段，采用不同的优化方法.


		具体操作：打开 chrome 浏览器，在地址栏输入 `chrome://tracing/` ，跳转至 tracing 页面，点击 load 按钮，打开保存的 `trace` 文件，即可将预测服务的各阶段时间信息可视化。

		## 在 Client 端输出 Profile 信息

Update doc #1735

Update doc #1735

Conversation

TeslaZhao commented Mar 27, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ZihanDong Apr 2, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

TeslaZhao commented Mar 27, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading

ZihanDong Apr 2, 2022 •

edited

Loading