"Game changer" IDS NXT
Entrevistamos a un ingeniero sobre un sistema de procesamiento de imágenes basado en inteligencia artificial fácil de usar y comprender
"Yo soy ingeniero, no desarrollador de software, y ahora puedo decir que he dado forma a un sistema de procesamiento de imágenes basado en IA", afirma Marco Ullrich, de la Universidad de Kempten en Alemania. Como asistente de investigación del Instituto de Tecnologías de la Producción e Informática, Marco Ullrich supervisó a un grupo de estudiantes de máster que buscaba desarrollar un robot capaz de jugar al "molino" con inteligencia artificial.
El análisis de imágenes se realizó con IDS NXT, el sistema integral de IDS para el uso de cámaras inteligentes. En esta entrevista podrá conocer en profundidad cuáles eran los retos, cómo fue la experiencia y qué solución final encontraron.
¿Qué perseguía el grupo exactamente con este proyecto?
El objetivo del proyecto era desarrollar robots capaces de jugar al juego de mesa del "molino" desde lugares diferentes. Debían enfrentarse una célula robotizada de Kempten con una de Salzburgo. Para ello, utilizamos un sistema de procesamiento de imágenes diseñado para detectar cambios en el tablero. La cámara IDS era un componente esencial del sistema.
¿A qué retos se enfrentó el equipo durante el proyecto?
De entrada, tuvimos que sustituir la cámara Raspberry Pi existente por una cámara industrial. También tuvimos que elegir un algoritmo de procesamiento de imágenes adecuado, así como determinar la iluminación y el lugar de instalación de la cámara. Además, buscábamos un método que nos permitiera rectificar la imagen para una HMI (interfaz de usuario). Necesitábamos una vista de arriba a abajo, pero habíamos instalado la cámara en un ángulo determinado. En definitiva, integrar la cámara en el sistema robótico existente fue bastante complejo.
¿Qué debía hacer exactamente el sistema de procesamiento de imágenes en la aplicación?
La tarea del sistema de procesamiento de imágenes consistía en detectar de forma fiable y segura cualquier cambio que se produjera en el tablero. Como somos ingenieros y no desarrolladores de software, también buscábamos un sistema que fuera fácil de usar y manejar. La cámara tenía que ser moderna e innovadora y estar preparada para funcionar en entornos industriales. También queríamos que el procesamiento de imágenes se llevara a cabo con ayuda de inteligencia artificial. Sin embargo, como nuestro grupo objetivo no está necesariamente formado por expertos en IA, teníamos que asegurarnos de que esta IA fuera también fácil de comprender y de usar.
¿Qué criterios fueron decisivos para la elección del sistema IDS NXT?
El sistema IDS NXT era ideal para nuestro proyecto porque cumplía todos nuestros requisitos. El primer factor, y el más importante, fue que IDS está desarrollando un enfoque destinado a poner la inteligencia artificial al alcance de todos los públicos. Su objetivo es configurar la IA de forma que sea accesible y fácil de usar también para usuarios sin conocimientos de programación, como nosotros, que somos ingenieros y no desarrolladores de software. Además, con el sistema de IDS no necesitábamos hardware adicional para el procesamiento de imágenes, lo cual facilitaba al máximo la integración de la cámara en el sistema existente.
Todo se ejecuta en la propia cámara, por lo que no se requieren unidades de procesamiento adicionales.
Queremos ofrecer a nuestros clientes la mejor experiencia de usuario en el mercado de la visión artificial. Por eso nos concentramos en maximizar la facilidad de uso según nuestro lema "It's so easy". ¿Puedes explicarnos por qué el sistema IDS NXT es tan fácil de usar?
Como ya he mencionado, soy ingeniero y no desarrollador de software. Sin embargo, el sistema IDS NXT me permitió trabajar con inteligencia artificial y con redes neuronales. Todo se ejecuta en la propia cámara, por lo que no se requieren unidades de procesamiento adicionales. Esto facilitó enormemente la integración del sistema en la arquitectura existente.
¿Puedes decirnos algo sobre la interfaz a través de la cual la cámara IDS se comunica con el entorno de proyecto?
En su día exploramos varias opciones para comunicarnos con la cámara IDS, incluida la interfaz REP y el software Cockpit. Al final, sin embargo, nos decidimos por el protocolo OPC UA, puesto que es el método de comunicación estándar que utiliza nuestro sistema. Conectamos la cámara a nuestro PLC mediante un cable Ethernet a través de un switch.
¿Qué os ha parecido el sistema de apps de las cámaras IDS NXT? ¿Funciona bien?
Probamos dos apps de visión artificial: "Classifier" y "Object Detector". Con ambas aplicaciones de procesamiento de imágenes y las imágenes suficientes, logramos tasas de éxito cercanas al 100 %. La app Object Detector presentó un porcentaje de aciertos ligeramente inferior y era un poco más compleja que la Classifier, pero no lo veo necesariamente como algo negativo. En general, este sistema de apps es muy intuitivo, sobre todo si no eres programador y no estás familiarizado con los algoritmos de IA.
Una de las conclusiones a las que llegasteis fue que un mejor análisis previo del caso y de los requisitos asociados habría permitido ahorrar tiempo de desarrollo o habría llevado a utilizar otros métodos desde el principio. ¿Por qué llegasteis a esta conclusión? ¿Es tan diferente trabajar con sistemas de procesamiento de imágenes basados en IA?
En nuestro caso en concreto, esta conclusión no tuvo nada que ver con la IA. La razón por la que hoy haríamos las cosas de otra manera es que no dimos la suficiente importancia a la definición del enfoque más adecuado o a la forma correcta de iniciar el proyecto. Un sistema de procesamiento de imágenes es mucho más que una cámara y un algoritmo. No somos expertos y, por tanto, no sabíamos lo importante que es estudiar minuciosamente cuál es la posición más adecuada de la cámara, la iluminación y muchos otros factores que influyen significativamente en el rendimiento global del sistema.
En nuestro caso, la posición de la cámara fue una tarea compleja, ya que el sistema de cámaras utilizado anteriormente estaba montado directamente sobre el tablero de juego. La cámara IDS tuvo que instalarse en un ángulo determinado por diversas razones, lo que planteó muchos problemas.
¿Utilizar el sistema de visión artificial de IDS con evaluación de imágenes por IA supuso un valor añadido o una ventaja a la hora de detectar las fichas de juego y controlar el proceso?
Por nuestra experiencia, sí. Cabe señalar que antes de la cámara IDS utilizábamos una cámara Raspberry Pi con procesamiento de imágenes configurado en Python, lo cual limitaba las posibilidades de uso. La ventaja determinante de la cámara IDS era, por tanto, la facilidad de integración y de uso que ofrecía sin necesidad de poseer amplios conocimientos de un lenguaje de programación.
En su momento mencionaste que hubiera resultado útil para la aplicación disponer de funciones adicionales de lectura de códigos y evaluación de imágenes multinivel. Pues tengo que darte una buena noticia: el sistema IDS NXT incorpora ahora ambas funciones gracias al editor basado en bloques. ¿Plantearíais hoy el proyecto de forma diferente sabiendo que contáis con estas dos herramientas?
La verdad es que es una excelente noticia, puesto que la incorporación de estas dos funciones fue una demanda de los propios estudiantes. Es impresionante ver cómo IDS ha recogido esta propuesta con tanta rapidez. Y sí, por supuesto, si volviéramos a planificar hoy el proyecto lo haríamos de otra manera, porque muchas cosas han cambiado.
Actualmente estamos trabajando en la integración de esta misma cámara de IDS en nuestras instalaciones de Sonthofen. Y la idea es probar las nuevas funciones y prestaciones. Además, nos encantaría seguir trabajando con el equipo de IDS en temas y proyectos interesantes de cara al futuro.
Hemos llegado al final de esta entrevista. Marco, gracias por compartir con nosotros tus valiosos puntos de vista y vuestros planes de futuro. Esperamos seguir trabajando con vosotros y os deseamos mucho éxito en vuestro trabajo.
Más información
Si quiere saber más sobre este y otros temas, encontrará esta entrevista y otros vídeos sobre cámaras y tecnologías de procesamiento de imágenes en IDS Vision Channel o YouTube.