音频处理SoC在500 μW以下运行AI

中联恒升线路板 · 发表于 2021-4-2 11:47:38

DSP Group作为其最新超低功耗音频处理SoC SmartVoice DBM10的一部分，首次推出了用于AI加速的新硬件IP，即nNetLite神经处理单元（NPU）。
音频处理SoC旨在用于功率预算为毫瓦的应用，这些应用仍然需要高级功能，例如唤醒词/语音命令检测，声音检测和回声消除。在典型的音频处理模型上执行神经网络推理时，DBM10的功率预算为400-500 μW，低于通常为始终开启的功能（例如智能手机和IoT设备中的唤醒词检测）指定的最重要的1mW预算。
DSP Group首席执行官Ofer Elyakim在一份声明中说：“我们对DBM10带给现有和新的客户和合作伙伴感到非常兴奋。” “我们的团队一直致力于在边缘上充分利用可用的处理能力和内存来实现低功耗AI和ML，包括开发我们自己的正在申请专利的重量压缩方案，同时还要强调易于部署。”
新的NPU
DSP集团的新的nNetLite神经处理单元（NPU）IP在内部开发，是一种超低功耗处理器，能够支持卷积神经网络（CNN）以及其他架构，包括递归神经网络（RNN）和长期短期支持内存（LSTM）网络。它是为边缘优化的神经网络（如Hello Edge）而设计的，关键字发现网络旨在在微控制器等小型设备上运行。根据DSP Group的说法，在nNetLite上运行的Hello Edge消耗nNetLite的大约1％的计算能力。
nNetLite的编译器支持所有神经网络框架（TensoRFlow Lite或ONNX / NNEF格式）中的模型。它使用专有的模型大小优化和压缩技术，包括量化（1-16位），训练后模型修剪和正在申请专利的无损熵压缩算法。结果是，可以将高达数十兆字节的神经网络模型移植到小型设备上，而不会显着降低精度。
双核设计
音频处理SoC是双核设计，在神经网络处理器的旁边具有DSP，从而可以根据需要在两个核之间分配算法。如今，大多数语音算法都包含一个执行特征提取的软件模块-也就是说，它可以在数据中查找特征，这些特征可通过减少所涉及的变量数同时简化准确地描述数据的过程来简化进一步的处理。特征提取通常由DSP执行，并将结果输入到在NPU上运行的神经网络中。

DBM10的双核设计具有DSP和神经处理单元（NPU）（图片：DSP Group）nNetLite可以同时针对多个输入传感器的信息运行神经网络-可能来自麦克风，加速计和传导骨骼的麦克风。传感器数据可以在传递给NPU之前由DSP进行汇总。
作为DSP Group SmartVoice产品线的一部分，DBM10已经建立了由第三方算法提供商提供的成熟生态系统。据DSP Group称，其中一些供应商已经开始在nNetLite上运行其算法和神经网络，而第1层客户已经开始使用它进行设计。