Dotada de un potente sensor y con acelerador de IA integrado, la AI Camera para SBC Raspberry Pi dispone de la capacidad de ejecutar una amplia variedad de modelos de redes neuronales con bajo consumo y latencia, liberando el procesador de la Raspberry Pi para otras tareas.
Raspberry Pi ha anunciado la incorporación de la AI Camera para SBC de su misma marca a su línea de productos. Este dispositivo se basa en el sensor de visión inteligente de Sony IMX500 de 12 Mpx, que integra un acelerador de IA capaz de ejecutar diversos modelos de redes neuronales de forma nativa.
La presente cámara ofrece modos de sensor que permiten capturar imágenes a resoluciones de 4056×3040 píxeles a 10 fps y 2028×1520 píxeles a 30 fps.
Con un tamaño de celda de 1,55 µm x 1,55 µm y un campo de visión de 78 grados con enfoque manual ajustable, garantiza una calidad de imagen superior para aplicaciones avanzadas.
Este dispositivo se conecta a todos los modelos de Raspberry Pi, incluyendo la Raspberry Pi Zero, utilizando los cables de cinta de cámara habituales.
Gracias al uso del conjunto de herramientas de IA de Sony, es posible convertir modelos de redes neuronales existentes en marcos como TensorFlow o PyTorch para que funcionen eficientemente en la cámara.
También es posible diseñar nuevos modelos que aprovechen las capacidades específicas del acelerador de IA.
Para utilizar el acelerador de IA integrado, primero se debe cargar un modelo. En modelos de Raspberry Pi más antiguos, este proceso utiliza el protocolo I2C, mientras que en la Raspberry Pi 5 se emplea un protocolo personalizado de dos hilos mucho más rápido.
El extremo de la cámara en el enlace es gestionado por un microcontrolador RP2040 a bordo; un dispositivo flash de 16 MB adjunto almacena en caché los modelos usados recientemente, permitiendo omitir el paso de carga en muchos casos.
Integración con Raspberry Pi libcamera
Una vez que el sensor comienza a transmitir, el IMX500 opera como un sensor de imagen Bayer estándar, similar al del Módulo de Cámara 3 de la misma Raspberry Pi. Un Procesador de Señal de Imagen (ISP) integrado realiza pasos básicos de procesamiento de imagen en el fotograma del sensor, como la conversión de Bayer a RGB y el recorte/reescalado, y alimenta el fotograma procesado directamente al acelerador de IA.
Después de que el modelo de red neuronal procesa el fotograma, su salida se transfiere a la Raspberry Pi anfitriona junto con el fotograma Bayer a través del bus de cámara CSI-2.
Una de las principales ventajas de esta cámara para aplicaciones de IA consiste en su integración perfecta con la pila de software de cámara de Raspberry Pi, la libcamera.
Internamente, esta procesa el fotograma Bayer utilizando el ISP propio del SBC Raspberry Pi como lo haría con cualquier sensor.
Además, analiza los resultados de la red neuronal para generar un tensor de salida, y lo sincroniza con el fotograma Bayer procesado. Ambos se devuelven a la aplicación durante el paso de finalización de la solicitud de libcamera.
Aplicaciones y ejemplos
Los marcos de cámara de Raspberry Pi, como Picamera2 y rpicam-apps, y cualquier aplicación basada en libcamera, pueden recuperar el tensor de salida, correctamente sincronizado con el fotograma del sensor.
Por ejemplo, un modelo de red neuronal de detección de objetos como MobileNet SSD puede ejecutarse bajo rpicam-apps y realizar inferencia en un vídeo de 1080p a 30 fps. Este dispositivo también permite ejecutar modelos como PoseNet para estimación de poses en vídeo de 1080p a 30 fps.
En colaboración con Sony, se han lanzado varios modelos populares de redes neuronales visuales optimizados para la presente cámara en su zoo de modelos, junto con scripts de ejemplo de visualización utilizando Picamera2.
Finalmente, en el “Servicio al lector de NTDhoy” puedes solicitar más información sobre la AI Camera para Raspberry Pi.
