MAC 部署快速案例失败

[yqsoooo]

macOS 11.4 M1
docker desktop m1版本dmg
Docker Engine v20.10.8

docker pull registry.baidubce.com/paddlepaddle/serving:0.6.2-devel
docker run -p 9292:9292 --name test -dit registry.baidubce.com/paddlepaddle/serving:0.6.2-devel bash
docker exec -it test bash
git clone https://github.com/PaddlePaddle/Serving0.6.2

cd Serving
pip3 install -r python/requirements.txt

pip3 install paddle-serving-client==0.6.2 -i 阿里源
pip3 install paddle-serving-server==0.6.2 # CPU -i 阿里源
pip3 install paddle-serving-app==0.6.2 -i 阿里源

python3 -m paddle_serving_server.serve --model uci_housing_model --thread 10 --port 9292 --name uci

client:
curl -H "Content-Type:application/json" -X POST -d '{"feed":[{"x": [0.0137, -0.1136, 0.2553, -0.0692, 0.0582, -0.0727, -0.1583, -0.0584, 0.6283, 0.4919, 0.1856, 0.0795, -0.0332]}], "fetch":["price"]}' http://127.0.0.1:9292/uci/prediction

[github-actions]

Message that will be displayed on users' first issue

[yqsoooo]

搞了一天了 没有任何一个样例是跑成功的 ， 参考帮助文档和issue 挺痛苦的。 参照其他的issue从0.60升到0.6.2 还是没有解决。

[yqsoooo]

再举一个栗子，resnet_v2_50_imagenet_model的examples

server:

client
/home/Serving/python/examples/resnet_v2_50 python3 resnet50_v2_tutorial.py

[yqsoooo]

后续希望基于PaddleServing自定义训练集ppyolov2的部署一个httpServer

部署环境是 centos7 Tesla V100 NVIDIA-SMI 418.67 Driver Version: 418.67 CUDA Version: 10.1
经过今天的学习 感觉还要了解docker_nvidia 之类的东西 但目前没有看到相关的examples 和文档 ,有点绝望啊

模型已经准备好了

[TeslaZhao]

您好，感谢使用paddle Serving，很抱歉给您带来困扰。看您帖的报错信息，server的报错信息是illegal instruction，这是v0.6版本遇到的系统错误，升级到V0.6.2版本可以解决。 您先使用pip3 list | grep paddle令检查一下当前版本，确认是v0.6.2的版本。当前您使用CPU推理，确认一下您的CPU版本和型号。

[yqsoooo]

您好，感谢使用桨服务，很抱歉给您带来的支持。看您帖的报错信息，服务器的信息是非法指令，这是v0.6版本遇到的系统错误，可以升级到V0.6.2版本解决。您先使用pip3 list | grep paddle令检查一下当前版本，确认是v0.6.2的版本。当前您使用CPU型号，确认一下您的CPU版本和版本。

是0.6.2啊

[TeslaZhao]

cat /proc/cpuinfo | grep -i avx

运行上面命令，查看cpu是否支持avx

[yqsoooo]

cat /proc/cpuinfo
processor : 0
BogoMIPS : 48.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 asimddp sha512 asimdfhm dit uscat ilrcpc flagm sb paca pacg dcpodp flagm2 frint
CPU implementer : 0x00
CPU architecture: 8
CPU variant : 0x0
CPU part : 0x000
CPU revision : 0

processor : 1
BogoMIPS : 48.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 asimddp sha512 asimdfhm dit uscat ilrcpc flagm sb paca pacg dcpodp flagm2 frint
CPU implementer : 0x00
CPU architecture: 8
CPU variant : 0x0
CPU part : 0x000
CPU revision : 0

processor : 2
BogoMIPS : 48.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 asimddp sha512 asimdfhm dit uscat ilrcpc flagm sb paca pacg dcpodp flagm2 frint
CPU implementer : 0x00
CPU architecture: 8
CPU variant : 0x0
CPU part : 0x000
CPU revision : 0

processor : 3
BogoMIPS : 48.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 asimddp sha512 asimdfhm dit uscat ilrcpc flagm sb paca pacg dcpodp flagm2 frint
CPU implementer : 0x00
CPU architecture: 8
CPU variant : 0x0
CPU part : 0x000
CPU revision : 0

[yqsoooo]

cat /proc/cpuinfo | grep -i avx

运行上面命令，查看cpu是否支持avx

[TeslaZhao]

运行python3，import paddle会出现错误吗（Illegal instruction）？

如果没有错误的话，您安装的是哪个paddle版本？

[yqsoooo]

运行python3，import paddle会出现错误吗（Illegal instruction）？

如果没有错误的话，您安装的是哪个paddle版本？

有点不太明白您的意思，我是使用的docker 0.6.2 cpu版本的官方镜像
执行了 pip3 install -r python/requirement.txt
我的理解是脚本自动安装了所需要的paddle版本

上面的pip3 list | grep paddle 截图 也有说明
paddle的版本是2.1.2

[TeslaZhao]

λ yq01-inf-hic /home/work python3.7
Python 3.7.0 (default, Feb 19 2021, 08:02:08)
[GCC 8.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import paddle

[yqsoooo]

[yqsoooo]

λ yq01-inf-hic /home/work python3.7
Python 3.7.0 (default, Feb 19 2021, 08:02:08)
[GCC 8.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.

import paddle
@TeslaZhao
为啥我的mac本机是可以 import paddle 不报错的
使用docker 官方镜像registry.baidubce.com/paddlepaddle/serving:0.6.2-devel
就提示不支持avx指令集了呢 还有就是我该怎么解决呢

如果是小白问题 请见谅

[TeslaZhao]

请问，安装的paddle包是哪个，包名是包含avx，还是no_avx?

可能是安装包的版本和avx不一致

[yqsoooo]

请问，安装的paddle包是哪个，包名是包含avx，还是no_avx?

可能是安装包的版本和avx不一致

我是使用的 官方镜像registry.baidubce.com/paddlepaddle/serving:0.6.2-devel
里面自动安装了 paddle 2.1.2
通过你上面的提示，我昨天进入容器，卸载了paddle，重新安装一些noavx的paddle包 但是都是安装失败

然后我按照paddle中快速安装脚本的https://fast-install.bj.bcebos.com/fast_install.sh 到下载whl的步骤 报错，

wget err: http://paddle-wheel.bj.bcebos.com/paddlepaddle-cpu-mkl/paddlepaddle-paddlepaddle-cp36-cp36m-linux_x86_64.whl

这个whl链接是404

[TeslaZhao]

https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html

关于Paddle安装的是以下2个版本中的一个吗？我测试是可以下载的，如果您安装不是这两个版本请使用下这两个版本。
1）manylinux_cpu_noavx_openblas_gcc8.2
2）manylinux_cpu_noavx_openblas_gcc5.4

还有2个问题：
1）您使用的mac机器和型号是什么？
2）您在试一下docker pull paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev，再运行cat /proc/cpuinfo | grep -i avx

[yqsoooo]

https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html

关于Paddle安装的是以下2个版本中的一个吗？我测试是可以下载的，如果您安装不是这两个版本请使用下这两个版本。
1）manylinux_cpu_noavx_openblas_gcc8.2
2）manylinux_cpu_noavx_openblas_gcc5.4

还有2个问题：
1）您使用的mac机器和型号是什么？
MacBook Pro (13-inch, M1, 2020)

2）您在试一下docker pull paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev，再运行cat /proc/cpuinfo | grep -i avx

执行步骤如下
结果：容器启动失败
docker pull paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev

/bin/sh: 1: source: not found

[yqsoooo]

https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html
关于Paddle安装的是以下2个版本中的一个吗？我测试是可以下载的，如果您安装不是这两个版本请使用下这两个版本。
1）manylinux_cpu_noavx_openblas_gcc8.2
2）manylinux_cpu_noavx_openblas_gcc5.4
还有2个问题：
1）您使用的mac机器和型号是什么？
MacBook Pro (13-inch, M1, 2020)

2）您在试一下docker pull paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev，再运行cat /proc/cpuinfo | grep -i avx

执行步骤如下
结果：容器启动失败
docker pull paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev

/bin/sh: 1: source: not found

[TeslaZhao]

在paddle Serving的容器中，安装以下2个版本测试可以吗？
1）manylinux_cpu_noavx_openblas_gcc8.2
2）manylinux_cpu_noavx_openblas_gcc5.4

[yqsoooo]

首先感谢您的耐心回复，让我重新燃气了希望 可能我的答复比较菜鸟，望谅解。

1）manylinux_cpu_noavx_openblas_gcc8.2
2）manylinux_cpu_noavx_openblas_gcc5.4
这两个不应该是c++ / c的版本么 我使用的pyThon预测不是应该安装whl的压缩包吗？
如何装呢 是不是去下载页下完后 https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html
pip3 install -r paddle_inference.tgz

[TeslaZhao]

不是的，这两个版本是C++ 的inference代码，里面有libpaddle_inference.so和libpaddle_inference.a。需要写C++代码引入库。这个操作有点复杂。如果您是新手不建议直接使用预测库。

我找到2个noavx的paddle whl包。您试着安装一下（选择其一就好）
python -m pip download paddlepaddle-gpu==2.1.2 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/noavx/stable.html --no-index --no-deps

python -m pip download paddlepaddle-gpu==2.1.2.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/noavx/stable.html --no-index --no-deps

[yqsoooo]

不是的，这两个版本是C++ 的inference代码，里面有libpaddle_inference.so和libpaddle_inference.a。需要写C++代码引入库。这个操作有点复杂。如果您是新手不建议直接使用预测库。

我找到2个noavx的paddle whl包。您试着安装一下（选择其一就好）
python -m pip download paddlepaddle-gpu==2.1.2 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/noavx/stable.html --no-index --no-deps

python -m pip download paddlepaddle-gpu==2.1.2.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/noavx/stable.html --no-index --no-deps

按照您的安装指令 安装失败
Could not find a version that satisfies the requirement paddlepaddle-gpu==2.1.2 (from versions: )

[yqsoooo]

坐等

[TeslaZhao]

您好，您安装paddle的docker&paddle 包，运行python，验证paddle镜像使用可以正常使用。步骤：

1. nvidia-docker pull registry.baidubce.com/paddlepaddle/paddle:2.1.3-gpu-cuda10.2-cudnn7

2. nvidia-docker run --name paddle -it -v $PWD:/paddle registry.baidubce.com/paddlepaddle/paddle:2.1.3-gpu-cuda10.2-cudnn7 /bin/bash

3. docker exec -it -u root paddle bash

4. pip3.7 list | grep paddle #检查是否有paddle，如果没有，运行 python3.7 -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple

5. python3.7

6. import paddle #验证是否有报错。

[bingo789]

期望你能解决，我也是同样的电脑，试用下paddleclas,paddledetection,serving，快速demo都跑不起来，不知跟m1芯片有没关系

[yandongxu]

非M1芯片 Mac 版本的 docker 报同样的错误
/bin/sh: 1: source: not foun

[yqsoooo]

期望你能解决，我也是同样的电脑，试用下paddleclas,paddledetection,serving，快速demo都跑不起来，不知跟m1芯片有没关系

没有解决 准备放弃转生产机器了。

[TeslaZhao]

从图片上看，cpu型号是arm64的。

我查阅了paddle 相关issue，可以参考此方案安装。
PaddlePaddle/Paddle#32377 (comment)

[felixhjh]

非M1芯片 Mac 版本的 docker 报同样的错误 /bin/sh: 1: source: not foun

你试一下docker restart paddle，然后docker exec -it -u root paddle bash