PULC_image_orientation.md

PULC 图像方向分类模型

目录

• 1. 模型和应用场景介绍
• 2. 模型快速体验
  • 2.1 安装 paddlepaddle
  • 2.2 安装 paddleclas
  • 2.3 预测
• 3. 模型训练、评估和预测
  • 3.1 环境配置
  • 3.2 数据准备
    • 3.2.1 数据集来源
    • 3.2.2 数据集获取
  • 3.3 模型训练
  • 3.4 模型评估
  • 3.5 模型预测
• 4. 模型压缩
  • 4.1 SKL-UGI 知识蒸馏
    • 4.1.1 教师模型训练
    • 4.1.2 蒸馏训练
• 5. 超参搜索
• 6. 模型推理部署
  • 6.1 推理模型准备
    • 6.1.1 基于训练得到的权重导出 inference 模型
    • 6.1.2 直接下载 inference 模型
  • 6.2 基于 Python 预测引擎推理
    • 6.2.1 预测单张图片
    • 6.2.2 基于文件夹的批量预测
  • 6.3 基于 C++ 预测引擎推理
  • 6.4 服务化部署
  • 6.5 端侧部署
  • 6.6 Paddle2ONNX 模型转换与预测

1. 模型和应用场景介绍

该案例提供了用户使用 PaddleClas 的超轻量图像分类方案（PULC，Practical Ultra Lightweight image Classification）快速构建轻量级、高精度、可落地的图像方向分类模型（），该模型能够广泛应用于多种视觉任务中。下表列出了图像方向分类模型的相关指标。

模型	精度（%）	延时（ms）	存储（M）	策略

| PPLCNet_x1_0 | 89.99 | 2.16 | 7.1 | 使用SSLD预训练模型 |

备注：

• 关于PP-LCNet的介绍可以参考PP-LCNet介绍，相关论文可以查阅PP-LCNet paper。

2. 模型快速体验

2.1 安装 paddlepaddle

• 您的机器安装的是 CUDA9 或 CUDA10，请运行以下命令安装

python3 -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple

• 您的机器是CPU，请运行以下命令安装

python3 -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

更多的版本需求，请参照飞桨官网安装文档中的说明进行操作。

2.2 安装 paddleclas

使用如下命令快速安装 paddleclas

pip3 install paddleclas

2.3 预测

点击这里下载 demo 数据并解压，然后在终端中切换到相应目录。

• 使用命令行快速预测

paddleclas --model_name=image_orientation --infer_imgs=pulc_demo_imgs/image_orientation/1.jpg

结果如下：

>>> result
class_ids: [1], scores: [0.9346007], label_names: ['90°'], filename: pulc_demo_imgs/image_orientation/1.jpg
Predict complete!

备注： 更换其他预测的数据时，只需要改变 --infer_imgs=xx 中的字段即可，支持传入整个文件夹。

• 在 Python 代码中预测

import paddleclas
model = paddleclas.PaddleClas(model_name="image_orientation")
result = model.predict(input_data="pulc_demo_imgs/image_orientation/1.jpg")
print(next(result))

备注：model.predict() 为可迭代对象（generator），因此需要使用 next() 函数或 for 循环对其迭代调用。每次调用将以 batch_size 为单位进行一次预测，并返回预测结果, 默认 batch_size 为 1，如果需要更改 batch_size，实例化模型时，需要指定 batch_size，如 model = paddleclas.PaddleClas(model_name="image_orientation", batch_size=2), 使用默认的代码返回结果示例如下：

>>> result
[{'class_ids': [1], 'scores': [0.9346007], 'label_names': ['90°'], 'filename': 'pulc_demo_imgs/image_orientation/1.jpg'}]

3. 模型训练、评估和预测

敬请期待。

4. 模型压缩

敬请期待。

6. 模型推理部署

6.1 推理模型准备

Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端，提供高性能的推理能力。相比于直接基于预训练模型进行预测，Paddle Inference可使用MKLDNN、CUDNN、TensorRT 进行预测加速，从而实现更优的推理性能。更多关于Paddle Inference推理引擎的介绍，可以参考Paddle Inference官网教程。

当使用 Paddle Inference 推理时，加载的模型类型为 inference 模型。本案例提供了两种获得 inference 模型的方法，如果希望得到和文档相同的结果，请选择直接下载 inference 模型的方式。

6.1.1 基于训练得到的权重导出 inference 模型

此处，我们提供了将权重和模型转换的脚本，执行该脚本可以得到对应的 inference 模型：

python3 tools/export_model.py \
    -c ./ppcls/configs/PULC/image_orientation/PPLCNet_x1_0.yaml \
    -o Global.pretrained_model=output/DistillationModel/best_model_student \
    -o Global.save_inference_dir=deploy/models/PPLCNet_x1_0_image_orientation_infer

执行完该脚本后会在deploy/models/下生成PPLCNet_x1_0_image_orientation_infer文件夹，models 文件夹下应有如下文件结构：

├── PPLCNet_x1_0_image_orientation_infer
│   ├── inference.pdiparams
│   ├── inference.pdiparams.info
│   └── inference.pdmodel

备注： 此处的最佳权重是经过知识蒸馏后的权重路径，如果没有执行知识蒸馏的步骤，最佳模型保存在output/PPLCNet_x1_0/best_model.pdparams中。

6.1.2 直接下载 inference 模型

6.1.1 小节提供了导出 inference 模型的方法，此处也提供了该场景可以下载的 inference 模型，可以直接下载体验。

cd deploy/models
# 下载inference 模型并解压
wget https://paddleclas.bj.bcebos.com/models/PULC/inference/image_orientation_infer.tar && tar -xf image_orientation_infer.tar

解压完毕后，models 文件夹下应有如下文件结构：

├── image_orientation_infer
│   ├── inference.pdiparams
│   ├── inference.pdiparams.info
│   └── inference.pdmodel

6.2 基于 Python 预测引擎推理

6.2.1 预测单张图像

返回 deploy 目录：

cd ../

运行下面的命令，对图像 ./images/PULC/image_orientation/1.jpg 进行含文字图像方向分类。

# 使用下面的命令使用 GPU 进行预测
python3.7 python/predict_cls.py -c configs/PULC/image_orientation/inference_image_orientation.yaml
# 使用下面的命令使用 CPU 进行预测
python3.7 python/predict_cls.py -c configs/PULC/image_orientation/inference_image_orientation.yaml -o Global.use_gpu=False

输出结果如下。

1.jpg:  class id(s): [1], score(s): [0.93], label_name(s): ['90°']

其中，输出为top1的预测结果，0° 表示该图未旋转，90° 表示该图方向为逆时针90度，180° 表示该图文本方向为逆时针180度，270° 表示该图文本方向为逆时针270度。

6.2.2 基于文件夹的批量预测

如果希望预测文件夹内的图像，可以直接修改配置文件中的 Global.infer_imgs 字段，也可以通过下面的 -o 参数修改对应的配置。

# 使用下面的命令使用 GPU 进行预测，如果希望使用 CPU 预测，可以在命令后面添加 -o Global.use_gpu=False
python3.7 python/predict_cls.py -c configs/PULC/image_orientation/inference_image_orientation.yaml -o Global.infer_imgs="./images/PULC/image_orientation/"

终端中会输出该文件夹内所有图像的分类结果，如下所示。

0.jpg:  class id(s): [0], score(s): [0.93], label_name(s): ['0°']
1.jpg:  class id(s): [1], score(s): [0.93], label_name(s): ['90°']
2.jpg:  class id(s): [2], score(s): [0.92], label_name(s): ['180°']
3.jpg:  class id(s): [3], score(s): [0.92], label_name(s): ['270°']

6.3 基于 C++ 预测引擎推理

PaddleClas 提供了基于 C++ 预测引擎推理的示例，您可以参考服务器端 C++ 预测来完成相应的推理部署。如果您使用的是 Windows 平台，可以参考基于 Visual Studio 2019 Community CMake 编译指南完成相应的预测库编译和模型预测工作。

6.4 服务化部署

Paddle Serving 提供高性能、灵活易用的工业级在线推理服务。Paddle Serving 支持 RESTful、gRPC、bRPC 等多种协议，提供多种异构硬件和多种操作系统环境下推理解决方案。更多关于Paddle Serving 的介绍，可以参考Paddle Serving 代码仓库。

PaddleClas 提供了基于 Paddle Serving 来完成模型服务化部署的示例，您可以参考模型服务化部署来完成相应的部署工作。

6.5 端侧部署

Paddle Lite 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位于支持包括移动端、嵌入式以及服务器端在内的多硬件平台。更多关于 Paddle Lite 的介绍，可以参考Paddle Lite 代码仓库。

PaddleClas 提供了基于 Paddle Lite 来完成模型端侧部署的示例，您可以参考端侧部署来完成相应的部署工作。

6.6 Paddle2ONNX 模型转换与预测

Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。更多关于 Paddle2ONNX 的介绍，可以参考Paddle2ONNX 代码仓库。

PaddleClas 提供了基于 Paddle2ONNX 来完成 inference 模型转换 ONNX 模型并作推理预测的示例，您可以参考Paddle2ONNX 模型转换与预测来完成相应的部署工作。