在Toradex模块上通过Hailo加速边缘AI工控嵌入式系统技术的反复探索
边缘计算机视觉的未来：探索Toradex模块上的工控嵌入式系统技术与Hailo AI加速器的无缝结合
在现代智能设备日益增长的需求下，机器学习和计算机视觉任务被逐渐推向了边缘设备。尽管在这些设备上运行AI模型带来挑战，但其优势显而易见：
减少延迟：通过本地处理数据，避免等待数据传输到云端或中央处理器。
增强隐私保护：敏感数据保留在设备内部，符合严格隐私法规要求。
节省带宽成本：减少对集中式服务器发送大量数据的需求。
提升可靠性：系统能够独立运作，无需网络连接。
然而，在选择外部AI加速器时，我们需要考虑它们如何帮助解决这些问题。Toradex提供了一系列计算机模块（SoM），其中一些集成了专为边缘推理设计的神经网络处理单元（NPU）。但Hailo-8、EdgeX、MemryX及Google Coral等外部AI加速器提供了更高灵活性的解决方案，以应对不断变化的AI工作负载。
通过将AI处理与SoC供应商软件解耦，这些外部加速器使得跨多种硬件平台运行相同代码成为可能。这一解耦特性允许开发者轻松迁移应用程序，从而缩短产品上市时间。
Hailo是一家专注于提供先进机器学习应用于边缘端运行的人工智能处理器制造商，其产品广泛适用于智慧城市、汽车、制造业、农业和零售等领域。我们使用Hailo-8 M.2模块测试了多款Toradex模块，该模块配备26TOPS算力以及PCIe Gen-3.0 4通道M-key接口，可插入多种Toradex载板中实现实时深度神经网络推理。
为了充分利用Toradex生态系统，我们可以释放预处理和后处理任务，将完整的人工智能解决方案支持大部分机器学习工作流程。此外，TAPPAS代码库包含应用示例，而Model Zoo不仅提供模型基准测试结果，还包括预训练模型。对于模型训练，有部分预训练模型附带再训练环境。而编译器和运行库，如Hailo Dataflow编译器，以及pyHailoRT 和GStreamer 插件，都支持此类工作流程。此外，由于性能评估至关重要，我们还可以使用监控性能功能提前识别任何问题，并确保系统可靠性。此外，OTA更新也能轻松更新量产设备，使整个过程更加高效。
最后，由于硬件配置系列不同，对应不同的载板支持，也需要根据具体情况进行调整。在实际操作中，我们将从源码构建Torizon OS，并添加必要依赖项，然后硬件设置并安装新镜像，以便最终成功运行示例。