树莓派新品 Raspberry Pi AI Camera 现已上市，可直接购买！
发布日期：2024-10-11 07:29:13
浏览次数： 1576
来源：树莓派开发者
人们几乎从我们开始制造Raspberry Pi产品以来，就一直在用它们构建人工智能项目。随着我们发布越来越强大的设备，我们能够原生支持的应用范围也在增加；但在任何一代产品中，总会有一些工作负载需要外部加速器，比如我们在六月份推出的Raspberry Pi AI套件。AI套件是一个非常强大的硬件，每秒能够执行十三万亿次操作。但它只与Raspberry Pi 5兼容，并且需要一个单独的摄像头模块来捕获视觉数据。因此，我们非常激动地宣布我们的摄像头产品线新增了一个成员：Raspberry Pi AI摄像头。AI摄像头围绕索尼IMX500图像传感器构建，集成了AI加速器。它能够以低功耗和低延迟运行各种流行的神经网络模型，让你的Raspberry Pi处理器可以自由地执行其他任务。
Raspberry Pi AI摄像头的关键特性包括：- 传感器模式：4056×3040分辨率，每秒10帧；2028×1520分辨率，每秒30帧AI摄像头可以连接到所有Raspberry Pi型号，包括Raspberry Pi Zero，使用我们的常规摄像头带状电缆。使用索尼的一系列AI工具，现有的使用TensorFlow或PyTorch等框架的神经网络模型可以转换为在AI摄像头上高效运行。或者，可以设计新模型以利用AI加速器的特定能力。要利用集成的AI加速器，我们首先必须上传一个模型。在旧的Raspberry Pi设备上，这个过程使用I2C协议，而在Raspberry Pi 5上，我们可以使用更快的定制双线协议。链路的摄像头端由板载RP2040微控制器管理；附加的16MB闪存设备缓存最近使用的模型，允许我们在许多情况下跳过上传步骤。一旦传感器开始流式传输，IMX500就像Raspberry Pi Camera Module 3上的传感器一样，作为一个标准的Bayer图像传感器运行。集成的图像信号处理器（ISP）在传感器帧上执行基本的图像处理步骤（主要是Bayer到RGB的转换和裁剪/缩放），并将处理后的帧直接输入到AI加速器。一旦神经网络模型处理完帧，其输出会与Bayer帧一起通过CSI-2摄像头总线传输到主机Raspberry Pi。与Raspberry Pi libcamera集成AI摄像头的一个关键优势是它与我们的Raspberry Pi相机软件堆栈无缝集成。在内部，libcamera使用我们自己的ISP处理Bayer帧，就像它对任何传感器一样。我们还解析神经网络结果以生成_输出张量_，并将其与处理过的Bayer帧同步。这两个都会在libcamera的请求完成步骤中返回给应用程序。Raspberry Pi相机框架——Picamera2和rpicam-apps，以及任何基于libcamera的应用程序——都可以检索输出张量，与传感器帧正确同步。这里有一个在rpicam-apps下运行的对象检测神经网络模型（MobileNet SSD）的示例，它在1080p视频上以30fps的速度进行推理。这个演示使用了rpicam-apps中的后处理框架，从输出张量生成对象边界框并在图像上绘制它们。这个阶段的实现不超过300行代码。使用Python和Picamera2构建的等效应用程序需要更少的代码行数。
下面另一个示例显示了一个姿态估计神经网络模型（PoseNet）在1080p视频上以30fps的速度进行推理。尽管这些示例是使用Raspberry Pi 4录制的，但它们在Raspberry Pi Zero上也具有相同的推理性能！
与索尼一起，我们在模型库中发布了一些为AI摄像头优化的流行视觉神经网络模型，以及使用Picamera2的视觉示例脚本。你应该购买Raspberry Pi AI套件还是Raspberry Pi AI摄像头？AI套件的理论性能高于AI摄像头，并且可以支持更广泛的模型，但只与Raspberry Pi 5兼容。AI摄像头更紧凑，总成本更低，并且与所有型号的Raspberry Pi兼容。最终，这两种产品都为常见模型提供了出色的加速性能，并且都已优化，可以与我们的相机软件堆栈无缝协作。查看我们的入门指南。在那里，你将找到安装AI摄像头硬件、设置软件环境以及运行我们模型库中的示例和神经网络的说明。https://www.raspberrypi.com/documentation/accessories/ai-camera.htmlhttps://github.com/raspberrypi/imx500-models索尼的AITRIOS开发者网站有更多的关于IMX500传感器的技术资源，特别是IMX500转换器和IMX500封装文档，这对于想要在AI摄像头上运行自定义训练网络的用户非常有用。
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
粤ICP备17114055号
支持私有云部署
