在没有嵌入式处理器供应商提供的合适工具和软件的支持下，设计高效边缘人工智能(AI)系统，同时加快产品上市时间，这项工作将不可避免地漫长而无聊。一系列挑战包括选择合适的深度学习模型、培训和优化性能和精度目标，以及学习使用嵌入式边缘处理器部署模型的特殊工具。

南皇电子专注于整合中国优质电子TI代理商国内领先的现货资源，提供合理的行业价格、战略备货、快速交付控制TI芯片供应商，轻松满足您的需求TI芯片采购需求.（http://www.litesemi.com/）

从模型选择到处理器部署，TI相关工具、软件和服务可以免费为您提供深度神经网络(DNN)护送开发过程的每一步。让我们了解如何选择模型，随时随地训练模型，无缝部署，而不使用手动工具或手动编程TI从而实现硬件加速推理。

图1 边缘AI应用的开发过程

第一步：选择模型

边缘AI系统开发的首要任务是选择合适的DNN模型应考虑系统的性能、精度和功耗目标。GitHub上的TI边缘AI Model Zoo等待工具可以帮助您加速此过程。

Model Zoo广泛汇集了TensorFlow、PyTorch和MXNet框架中常用的开源深度学习模型。这些模型可以在公共数据集上进行预训练和优化TI适用于边缘AI在处理器上高效运行。TI开源社区中的新模型将定期使用TI设计模型正确Model Zoo更新，为您提供优化性能和精度的广泛模型选择。

Model Zoo数百个模型，TI模型选择工具()可以帮助您通过查看和比较性能统计数据(如推理吞吐量、延迟、精度和双倍数据速率带宽)快速比较和找到适合您的数据，而无需编写任何代码AI任务模型。

图2 TI 模型选择工具

第二步：训练和优化模型

选择模型后，下一步是TI训练或优化处理器，以获得优异的性能和精度。您可以随时随地用我们的软件架构和开发环境训练模型。

从TI Model Zoo在选择模型时，您可以在自定义数据集上快速传输和训练模型，而无需长时间从头开始训练或使用手动工具。训练脚本、框架扩展和定量感知训练工具TI中国可以帮你优化自己DNN模型。

第三步：评估模型性能

在开发边缘AI模型性能需要在实际硬件中进行评估。

TI您可以提供灵活的软件架构和开发环境TensorFlow Lite、ONNX RunTime或TVM和支持Neo AI DLR的SageMaker Neo运行环境引擎选择行业标准的习惯Python或C 应用编程界面(API)，只需编写几行代码，就可以随时随地训练自己的模型，编译和部署模型TI硬件上。在这些行业通用运行环境引擎的后端，我们TI深度学习(TIDL)模型编译和运行环境工具可以让您针对TI硬件编译模型将编译图或子图部署到深度学习硬件加速器上，在没有任何手动工具的情况下实现优异的处理器推理性能。

在编译步骤中，培训后的量化工具可以自动将浮点模型转换为指定模型。该工具可以通过配置文件来量化分级混合精度（8位和16位），从而足够灵活地调整模型编译，以获得优异的性能和精度。

不同常用模型的操作方法不同。同样位于GitHub上的TI边缘AI基准工具可帮助您为TI Model Zoo模型无缝匹配DNN模型功能，作为自定义模型的参考。

评估TI有两种方型有两种性能方法：TDA4VM入门套件评估模块(EVM)或TI Edge AI Cloud，后者是支持远程访问的免费在线服务TDA4VM EVM，评估深度学习推理性能。在不同任务和任务和运行时引擎组合的示例脚本，可以在五分钟内使用TI编程、部署和运行硬件加速推理，同时收集基准测试数据。

第四步：部署边缘AI应用程序

您可以使用开源Linux和行业行业API将模型部署到TI硬件。然而，在硬件加速器上部署深度学习模型只是冰山一角的一个难题。

为了帮助您快速构建高效的边缘AI应用，TI采用了GStreamer框架。在主机的帮助下Arm运行在核心上GStreamer对于插件，您可以自动将计算密集型任务的端到端信号链算密集型任务的端到端信号链。

图2显示了边缘的适用性AI的Linux Processor SDK软件栈和组件。

图3 适用于边缘AI的Linux Processor SDK组件

结语

如果您不熟悉或担心本文中提到的工具，请放松，因为即使您想要开发和部署AI模型或构建AI没有必要成为应用AI专家。TI Edge AI Academy能够帮助您在自学、课堂环境中通过测验学习AI基础知识，深入了解AI系统和软件编程。实验室提供了设Hello World” AI具有摄像头捕获和显示功能的端到端高级应用程序可以根据自己的节奏顺利开发AI应用。