Seeed SenseCraft Model Assistant 是一个专注于为嵌入式设备提供最先进的人工智能算法的开源项目。它旨在帮助开发人员和制造商轻松部署各种人工智能模型到低成本硬件上,如微控制器和单板计算机(SBCs)。
*在功耗低于 0.3 瓦的微控制器上的真实部署示例。
SenseCraft 模型助手提供了一个用户友好的平台,方便用户使用收集的数据进行训练,并通过训练过程中生成的可视化结果更好地了解算法的性能。
SenseCraft 模型助手专注于边缘端人工智能算法研究,算法模型可以部署在微处理器上,类似于 ESP32、一些 Arduino 开发板,甚至在嵌入式 SBCs(如 Raspberry Pi )上。
TensorFlow Lite 主要用于微控制器,而 ONNX 主要用于嵌入式Linux设备。还有一些特殊格式,如 TensorRT、OpenVINO,这些格式已经得到 OpenMMLab 的良好支持。SenseCraft 模型助手添加了 TFLite 模型导出功能,可直接转换为 TensorRT 和 UF2 格式,并可拖放到设备上进行部署。
我们已经从 OpenMMLab 优化了出色的算法,针对实际场景进行了改进,并使实现更加用户友好,实现了更快、更准确的推理。目前我们支持以下算法方向:
在现实世界中,异常数据通常难以识别,即使能够识别出来,也需要很高的成本。异常检测算法以低成本的方式收集正常数据,认为任何超出正常数据范围的数据都是异常的。
我们提供了许多计算机视觉算法,例如目标检测、图像分类、图像分割和姿态估计。但是,这些算法无法在低成本硬件上运行。SenseCraft 模型助手优化了这些计算机视觉算法,实现了较好的运行速度和准确性。
SenseCraft 模型助手为特定的生产环境提供了定制化场景,例如模拟仪器、传统数字仪表和音频分类的识别。我们将继续在未来添加更多的指定场景算法。
SSCMA 一直致力于为用户提供最先进的人工智能算法,以获得最佳性能和准确性。我们根据社区反馈不断更新和优化算法,以满足用户的实际需求。以下是一些最新的更新内容:
我们正在为嵌入式设备开发最新的 YOLO-World和 MobileNetV4 算法。同时,我们也正在重新设计 SSCMA,减少其依赖项,使其更加轻量级和易于使用。请密切关注最新的更新。
通过 SSCMA-Micro,现在您可以在微控制器上部署最新的 YOLOv8、YOLOv8 Pose 和 Nvidia TAO Models。我们还添加了 ByteTrack 算法,以在低成本硬件上实现实时物体跟踪。
我们实现了一个轻量级的目标检测算法,称为 Swift YOLO,它专为在计算能力有限的低成本硬件上运行而设计。可视化工具、模型训练和导出命令行界面现已重构。
仪表是我们日常生活和工业生产中常见的仪器,例如模拟仪表、数字仪表等。SSCMA 提供了可以用来识别各种仪表读数的仪表识别算法。
SSCMA 旨在为嵌入式设备提供最佳性能和准确性,以下是最新算法的一些基准测试结果:
*注意: 基准测试主要包括 2 种架构,每种架构有 3 种不同大小 (输入尺寸 [192, 224, 320]
,参数量可能有更多不同) 的模型,用图中点的大小表示。基准测试还包括量化模型,所有延迟都是在 NVIDIA A100上测量的。
SSCMA 提供了完整的工具链,让用户可以轻松地在低成本硬件上部署 AI 模型,包括:
- SSCMA-Model-Zoo SSCMA 模型库为您提供了一系列针对不同应用场景的预训练模型。
- SSCMA-Micro 一个跨平台的框架,用于在微控制器设备上部署和应用 SSCMA 模型。
- Seeed-Arduino-SSCMA 支持 SSCMA-Micro 固件的 Arduino 库。
- SSCMA-Web-Toolkit 一个基于 Web 的工具,用于更新设备固件、SSCMA 模型和参数。
- Python-SSCMA 用于与微控制器进行交互的 Python 库,使用 SSCMA-Micro,并用于更高级别的深度学习应用。
SSCMA 是许多开发人员和贡献者的共同努力,感谢以下项目和组织对 SSCMA 的实现提供了参考和贡献:
本项目在 Apache 2.0 开源许可证 下发布。