Inspección de infraestructuras críticas mediante drones inteligentes

Como parte del proyecto de investigación, financiado por el Ministerio Federal austriaco de Acción por el Clima, Medio Ambiente, Energía, Movilidad, Innovación y Tecnología (BMK), el dron debe reconocer de forma autónoma qué es un poste eléctrico y qué es un aislante del mismo. Volará alrededor del aislante a una distancia de tres metros y tomará fotografías. "La localización precisa es importante para poder comparar también las grabaciones de las cámaras", explica Thomas Georg Jantos, estudiante de doctorado y miembro del grupo de investigación Control of Networked Systems de la Universidad de Klagenfurt. El requisito previo para ello es que la navegación relativa a objetos sea capaz de extraer la denominada información semántica sobre los objetos en cuestión a partir de los datos sensoriales brutos captados por la cámara. La información semántica hace «comprensibles» los datos brutos, en este caso las imágenes de la cámara, y permite no sólo captar el entorno, sino también identificar y localizar correctamente los objetos relevantes.

En este caso, significa que un píxel de la imagen no sólo se entiende como un valor de color independiente (por ejemplo, un valor RGB), sino también como parte de un objeto, por ejemplo, un aislante. A diferencia del GNNS (Global Navigation Satellite Systems) clásico, este enfoque no sólo proporciona una posición en el espacio, sino también una posición relativa y una orientación precisas del objeto que se va a inspeccionar (por ejemplo. "El dron se encuentra a 1,5 m a la izquierda del aislante superior").

El requisito clave es que el procesamiento de imágenes y la interpretación de datos no tengan latencia, para que el dron pueda adaptar su navegación e interacción a las condiciones y requisitos específicos de la tarea de inspección en tiempo real.

Información semántica mediante el procesamiento inteligente de imágenes

El reconocimiento de objetos, la clasificación de objetos y la estimación de la pose de los objetos se realizan mediante inteligencia artificial en el procesamiento de imágenes. "A diferencia de los enfoques de inspección basados en GNSS mediante drones, nuestra IA, con su información semántica, permite inspeccionar la infraestructura a inspeccionar desde determinados ángulos reproducibles", explica Thomas Jantos. "Además, el enfoque elegido no sufre los problemas habituales del GNSS, como la multitrayectoria y las sombras causadas por grandes infraestructuras o valles, que pueden provocar la degradación de la señal y, por tanto, riesgos para la seguridad."

¿Cuánta IA cabe en un pequeño quadcopter?

La configuración de hardware consiste en una plataforma TWINs Science Copter equipada con un piloto automático Pixhawk PX4, un NVIDIA Jetson Orin AGX 64GB DevKit como ordenador de a bordo y una cámara industrial USB3 Vision de IDS. "El reto es introducir la inteligencia artificial en los helicópteros pequeños. Los ordenadores del dron siguen siendo demasiado lentos en comparación con los utilizados para entrenar a la IA. Tras las primeras pruebas realizadas con éxito, esto sigue siendo objeto de investigación en la actualidad", afirma Thomas Jantos, describiendo el problema de seguir optimizando el modelo de IA de alto rendimiento para su uso en el ordenador de a bordo.  

La cámara, en cambio, proporciona datos básicos perfectos de inmediato, como demuestran las pruebas realizadas en la sala de drones de la propia universidad. A la hora de elegir un modelo de cámara adecuado, no se trataba sólo de cumplir los requisitos en cuanto a velocidad, tamaño, clase de protección y, por último, pero no por ello menos importante, precio. "Las capacidades de la cámara son esenciales para el innovador algoritmo de navegación basado en inteligencia artificial del sistema de inspección", afirma Thomas Jantos. Optó por el modelo U3-3276LE C-HQ, una cámara para proyectos de la familia uEye LE que ahorra espacio y es rentable. El sensor Sony Pregius IMX265 integrado es probablemente el mejor sensor de imagen CMOS de la clase de 3 MP y permite una resolución de 3,19 megapíxeles (2064 x 1544 px) con una frecuencia de imagen de hasta 58,0 fps. El obturador global integrado de 1/1,8", que no produce imágenes "distorsionadas" en estos tiempos de exposición tan cortos en comparación con un obturador rotativo, es decisivo para el rendimiento del sensor. "Para garantizar un vuelo de inspección seguro y robusto, es esencial que la calidad de imagen y la frecuencia de imagen sean altas", subraya Thomas Jantos. Como cámara de navegación, la uEye LE proporciona a la IA integrada los completos datos de imagen que el ordenador de a bordo necesita para calcular la posición relativa y la orientación respecto al objeto a inspeccionar. A partir de esta información, el dron es capaz de corregir su postura en tiempo real.

La cámara IDS se conecta al ordenador de a bordo a través de una interfaz USB3. "Con la ayuda del SDK IDS peak, podemos integrar la cámara y sus funcionalidades muy fácilmente en el ROS (Robot Operating System) y, por tanto, en nuestro dron", explica Thomas Jantos. Además, IDS peak permite un procesamiento eficaz de las imágenes en bruto y un ajuste sencillo de los parámetros de grabación, como la exposición automática, el balance automático de blancos, la ganancia automática y la reducción de la resolución de imagen.

Para garantizar un alto nivel de autonomía, control, gestión de la misión, supervisión de la seguridad y registro de datos, los investigadores utilizan la pila CNS Flight Stack disponible en la fuente en el ordenador de a bordo. El CNS Flight Stack incluye módulos de software para navegación, fusión de sensores y algoritmos de control y permite la ejecución autónoma de misiones reproducibles y personalizables. "La modularidad de la pila de vuelo CNS y las interfaces ROS nos permiten integrar a la perfección nuestros sensores y el 'estimador de estado' basado en IA para la detección de posición en toda la pila y realizar así vuelos autónomos de UAV". La funcionalidad de nuestro enfoque se está analizando y desarrollando con el ejemplo de un vuelo de inspección alrededor de un pilón eléctrico en la sala de drones de la Universidad de Klagenfurt", explica Thomas Jantos.

Información sobre CNS Flight Stack
Información sobre la sala de drones

Alineación precisa y autónoma mediante fusión de sensores

Las señales de control de alta frecuencia del dron son generadas por la IMU (Unidad de Medición Inercial). La fusión de sensores con datos de cámara, LIDAR o GNSS (Sistema Global de Navegación por Satélite) permite la navegación y estabilización del dron en tiempo real, por ejemplo para correcciones de posición o alineación precisa con objetos de inspección. En el dron de la Universidad de Klagenfurt, la IMU del PX4 se utiliza como modelo dinámico en un EKF (filtro de Kalman ampliado). El EKF calcula dónde debería estar ahora el dron basándose en la última posición, velocidad y actitud conocidas. A continuación, se registran nuevos datos (por ejemplo, de la IMU, el GNSS o la cámara) a una frecuencia de hasta 200 Hz.

La cámara captura imágenes en bruto a 50 fps en un tamaño de imagen de 1280 x 960px. "Esta es la máxima frecuencia de imágenes que podemos alcanzar con nuestro modelo de IA en el ordenador de a bordo del dron", explica Thomas Jantos. Cuando se inicia la cámara, se realiza una vez el ajuste automático del balance de blancos y de la ganancia, mientras que el control automático de la exposición permanece desactivado. El EKF compara la predicción y la medición y corrige la estimación en consecuencia. Esto garantiza que el dron permanezca estable y pueda mantener su posición de forma independiente con gran precisión.

Perspectiva

"En lo que respecta a la investigación en el campo de los robots móviles, las cámaras industriales son necesarias para diversas aplicaciones y algoritmos. Es importante que estas cámaras sean robustas, compactas, ligeras, rápidas y tengan una alta resolución. El preprocesamiento en el dispositivo (por ejemplo, el «binning») también es muy importante, ya que ahorra tiempo y recursos informáticos valiosos en el robot móvil", subraya Thomas Jantos. Con las características correspondientes, las cámaras IDS están ayudando a establecer un nuevo estándar en la inspección autónoma de infraestructuras críticas en este prometedor enfoque de investigación, que aumenta significativamente la seguridad, la eficiencia y la calidad de los datos.