树莓派默默发力AI，你怎么看？

嵌入式专栏 · 发表于昨天 11:45

关注+星标公众号，不错过精彩内容

ql1uocimwto640104280709.jpg

付斌｜作者
来源 | 电子工程世界

全民AI时代，世界似乎陷入了一种状态，如果产品不沾点AI，都不好意思拿出来宣传一番。现在我们正处在AI的第四次浪潮之中，相比前几次浪潮，无论从智能化上来讲，还是从商业化来讲，AI都更加成熟了。树莓派作为重要的嵌入式产品，也在默默发力，在最近不断合作推出AI套件产品，为创客提供更强大的AI能力。

3lzgshvplkz640104280809.png

与索尼推出AI摄像头

x5wq31fkxx3640104280909.png

去年，索尼半导体解决方案公司（SSS, Sony Semiconductor Solutions）宣布对树莓派进行战略投资，并为其提供AI技术支持。彼时，索尼就表示，将会把图像传感器融入到树莓派之中。
最近两天，产品终于正式亮相，索尼半导体（SSS）和Raspberry Pi宣布推出一款内置AI处理器的新型 AI 相机。该相机与所有Raspberry Pi计算机兼容，并围绕索尼的IMX500智能视觉传感器构建。
IMX500具有内置的AI摄像头功能，可卸载Raspberry Pi的AI功能，也就是说有自己的计算资源，不会占用树莓派的资源，也不用单门配一个GPU。IMX500可以捕获图像并进行AI处理，然后再将数据发送到主机。该传感器采用堆叠式配置，具有片上SRAM和数字信号处理（DSP）引擎。

y0spmqtvtlb640104281010.png

AI摄像头的主要参数包括：

4056 x 3040 分辨率（约12.3 MP）

7.857毫米对角线，宽高比为1/2.3

1080p视频，最高240 fps

AI处理视频帧率达到30 fps

片上AI处理、ISP和HDR视频

Tensor input大小从64 x 48到640 x 480（int8或uint8）

8.4 MB固件、网络权重文件和工作内存

摄像头尺寸25 mm × 24 mm × 11.9 mm

libcamera和Picamera2库以及rpicam-apps应用程序套件已经提供对Tensor元数据的软件支持。支持一直是Raspberry Pi的强项之一，这款相机也不例外。与其他Pi硬件一样，AI相机附带了大量的设置和应用文档。任何Raspberry Pi用户只需一个 Linux 命令行操作即可完成安装。使用包含的示例可以立即开始设置后操作。除此之外，Pi AI 相机与索尼的 AITRIOS AI 传感开发平台兼容。

umoz03i4coh640104281111.png

与Hailo推出AI套件

前阵子，树莓派与Hailo基于合作开发了AI套件Raspberry Pi AI Kit。它将本地、高性能、高能效的推理集成到各种应用程序中，同时支持x86和Arm架构，价格为70美元。
可能有的人会说， Raspberry Pi 3本身就已经可以应用在AI中了，不过它主要基于云端的AI，而最新的AI套件与Raspberry Pi 5可以在边缘独立运行较小的模型和优化的AI大模型。
Raspberry Pi AI套件包括M.2 HAT+和13TOPS性能的Hailo-8L AI加速模块。HAT指的是硬件附加在顶部，也就是把这个套件拧在另一块板子上。
M.2 HAT+本质上是一个PCIe到NVMe的转换器，它允许用户将M.2外设（如NVMe固态硬盘以及其他PCIe外设）连接到树莓派5的PCIe接口上。这对于连接提供更高读写速度和更大容量的NVMe SSD尤为重要。

peowimijrzy640104281211.png

13TOPS在边缘领域已经非常强了，毕竟RISC-V Linux 笔记本电脑仅提供 2TOPS的边缘AI算力。而Hailo这家以色列的一家初创边缘AI公司，曾经将Hailo-8与英伟达的Jetson Nano和 Xavier NX的性能进行了比较，并且取得了不小的优势。
Hailo首席技术官Avi Baum表示，Hailo-8L每处理3 TOPS约消耗1瓦功率，最高约5瓦。对于典型的嵌入式工作负载（如实时处理60 FPS视频），只需要1～2瓦。

u0xun1vtixk640104281311.png

Raspberry Pi AI Kit主要功能包括：

每秒13万亿次运算（TOPS）的推理性能

以8Gbps运行的单通道PCIe3.0接口

与Raspberry Pi图像软件子系统完全集成

与第一方或第三方相机的兼容性

加速器硬件的高效调度：在单个摄像头上运行多个神经网络，或同时运行两个摄像头的单个/多个神经网络对AI套件，Hailo给出了六大应用潜力：

物体检测：这一突破性技术赋予了人工智能程序通过机器学习精准识别图像中各类物体并自动分类的能力。物体检测作为人工智能辨识不同主体的核心手段，它能够解析物体的图像内容、精准定位其在画面中的坐标，并能快速匹配与之相同标签的物体特征；

图像分割与增强：人工智能通过图像分割技术，将像素群划分为更小的、更易于管理的区域。这一过程不仅有助于物体检测，还能通过每次专注于一个区域来加速图像处理。图像分割对于图像增强至关重要。

姿态预测：为了全面理解图像的构成，人工智能程序不仅需要能够识别图像中的内容，还需要能够识别物体的位置。这正是姿态预测发挥作用的地方。姿态预测对于机器学习程序收集图像和视频数据至关重要，同时，在生成新图像和视频时，生成式人工智能软件也可能会用到这一技术。

面部检测与识别：对于人工智能系统而言，更为艰巨的任务在于应对人类面部表情的千变万化，它须具备识别并准确标注这些不同情绪表达的能力。树莓派人工智能套件所搭载的这项面部识别技术，可用于安全软件、娱乐、社交媒体等多个领域，还能强化图像生成技术。例如，在移除图像中的某些物体后，该技术能够智能填充背景，确保图像的完整性和自然度。

深度估测：深度估测技术通过精准度量图像内部像素间的距离，科学计算出物体与镜头间的实际距离。最新的人工智能技术则能独辟蹊径，自主构建独特的视觉视角，实现更为精准与高效的深度估测。

语义分割：语义分割作为计算机视觉领域的一项关键任务，通过精细地为图像中的像素组分配标签，实现了对复杂场景中不同物体的准确辨识与理解。

工程师怎么看

目前来说，可以说树莓派已经提供了两种AI选择，不过两者稍有区别：AI套件的理论性能高于AI摄像头，可以支持更广泛的模型，但只Raspberry Pi 5兼容；AI摄像头更紧凑，总成本更低，与所有型号Raspberry Pi兼容。
工程师认为，可以说树莓派开始正儿八经的做AI开发了，加上树莓派5的售价也没那么离谱了，如果搭配AI套件能够在千元以内，千以内13TOPS算力已经非常足够了；如果不是树莓派5，并且正在进行需要图像分类的项目，那么AI摄像头绝对值得考虑，特别是它的易用性。
不过，对于树莓派来说，RK3588依然是一座大山，这种情况下，在性价比上就要和RK3588的各种派掰掰手腕了。
参考文献
[1]AAC：https://www.allaboutcircuits.com/news/raspberry-pi-teams-up-with-sony-to-launch-ai-camera/
[2]Raspberry Pi：https://www.raspberrypi.com/news/raspberry-pi-ai-kit-available-now-at-70/
[3]树莓派开发者：https://mp.weixin.qq.com/s/fhSQYBPL7gnnVH6idVmafw
[4]Hailo：https://mp.weixin.qq.com/s/UliD2gLwi_6mn0zctc5gDQ
声明：本文素材来源网络，版权归原作者所有。如涉及作品版权问题，请与我联系删除。
------------ END ------------

bdunawrrvf2640104281411.gif