关于推理速度

[anymyb]

作者你好，首先感谢带来非常优秀的工作！
该项工作在理论计算量（flops）上有着非常明显的加速，但是在测试中发现，切块，判断，多分支推理的pipline实际消耗的推理时间似乎并没有优势，甚至更耗时。

1. 切块用for循环效率最低
2. 尝试过reshape图像[n,1,32,32]进GPU，送入网络直接获得全部分类序列，分组推理再合并，但实际耗时依旧达不到单分支的速度。

不知道作者是否有相关的优化经验可以交流下，万分感谢！

[Xiangtaokong]

抱歉，我也没有相关优化经验。
可能应该建立一个缓冲池子多张图一起处理之类的，或者在一张图内做好资源的分配。这个工作主要是从研究角度提供这个思路，给出的代码是算法的原型，具体应用和优化方式按需而定。

[anymyb]

好的，感谢大佬回复！