EyeBot – Vision Guided Robot
Pick & place con inteligencia artificial sin PC de soporte
La inteligencia artificial es rápida y estable y trabaja sin pausa rozando la perfección. Esto significa que, para realizar tareas de forma continuada que requieren un nivel de calidad y productividad constante y uniforme, la IA supera en muchos aspectos a los humanos. En el ámbito de la visión artificial, estas cualidades unidas a las de la robótica permiten configurar los procesos de manera mucho más eficaz y rentable. El caso de uso "Vision Guided Robot" muestra cómo se pueden automatizar de manera inteligente las tareas típicas de pick & place con un robot y una cámara de visión embebida con IA sin necesidad, siquiera, de usar un PC.
Para garantizar un "agarre inteligente" hay que integrar y sincronizar a la perfección diferentes disciplinas. Por ejemplo, para que un robot pueda clasificar productos de diferente tamaño, forma, composición o incluso calidad, no sólo es necesario que sepa "agarrar" los objetos, sino que previamente deberá haberlos identificado, analizado y localizado. Con los sistemas de procesamiento de imágenes basados en reglas, y sobre todo cuando se trata de lotes pequeños, esta tarea no es solo costosa a nivel de tiempo sino a menudo también inviable desde el punto de vista económico. Sin embargo, en combinación con la inferencia basada en IA, hoy en día es posible entrenar a los robots industriales para que desarrollen las habilidades necesarias y el conocimiento de producto propio de un operario cualificado. Y para ello, no hace falta reinventar la rueda: basta con sincronizar los productos adecuados para conformar un "sistema de visión robótica inteligente" capaz de trabajar eficazmente de forma interdisciplinaria.
Caso de uso EyeBot
En una línea de producción, los objetos se encuentran esparcidos aleatoriamente en una cinta transportadora. Los objetos se tienen que identificar, seleccionar e introducir, por ejemplo, en distintas cajas o colocarse en la posición correcta para derivarse a una unidad de procesamiento o análisis posterior. La empresa de software urobots GmbH ha desarrollado una solución basada en PC para el reconocimiento de objetos y el control de robots. Su modelo de IA entrenado es capaz de determinar la posición y la orientación del objeto a través de las imágenes que suministra la cámara y de transmitir, a partir de estos datos, las coordenadas de agarre pertinentes al robot. El objetivo era portar esta solución al sistema de visión embebida basado en IA de IDS Imaging Development Systems GmbH, para lo cual urobots partió de dos premisas fundamentales:
- Cualquier usuario, sin necesidad de tener conocimientos expertos en IA, tenía que poder adaptar fácilmente el sistema a sus necesidades particulares de aplicación. Esto debía incluir, por ejemplo, cambios en la producción, como la iluminación, el aspecto de los objetos o incluso la incorporación de nuevos tipos de objeto.
- El sistema debía funcionar sin necesidad de utilizar un PC de soporte con el fin de ahorrar peso, espacio y dinero, y para ello debía establecerse una comunicación directa entre los distintos componentes.
El sistema de cámara inferencial IDS NXT Experience Kit cumplía a la perfección estas dos premisas.
Alexey Pavlov (director ejecutivo de urobots GmbH) explica:
"Todo el procesamiento de imágenes se ejecuta en la cámara, que se comunica directamente con el robot a través de Ethernet. Esto se consigue mediante una app de visión artificial desarrollada con IDS NXT Vision App Creator, que utiliza el núcleo de IA de la cámara IDS NXT. La app permite a la cámara localizar e identificar en la información gráfica objetos (2D) previamente entrenados. Esto permite al robot, por ejemplo, agarrar herramientas dispuestas sobre una superficie plana y colocarlas en la posición correcta en el lugar previsto. El sistema sin PC ahorra costes, espacio y energía, lo cual permite configurar aplicaciones de picking ágiles y económicas."
Detección de posición y comunicación directa con la máquina
Una red neuronal entrenada identifica todos los objetos de la imagen y detecta su posición y orientación. Gracias a la IA, esta tarea no solo se puede ejecutar de forma altamente fiable con objetos estables que siempre presentan el mismo aspecto, sino también cuando hay mucha variación natural, como es el caso de los alimentos, las plantas u otros objetos flexibles. La empresa urobots GmbH utilizó su propio know-how y software para entrenar la red para el cliente y la convirtió al formato adecuado —un formato optimizado similar al de una "lista concatenada"— para, finalmente, cargarla en la cámara IDS NXT. Portar la red neuronal entrenada a la cámara inferencial fue muy fácil con la herramienta IDS NXT ferry de IDS. A partir de cada capa de la red neuronal convolucional (CNN) se genera un descriptor de nodo que describe con precisión cada capa. El resultado final es una lista completa concatenada de la CNN en formato binario. Un acelerador de CNN especialmente desarrollado para la cámara sobre la base de un núcleo FPGA puede ejecutar de forma óptima este formato universal de CNN.
La aplicación de visión artificial desarrollada por urobots calcula las posiciones óptimas de agarre a partir de los datos registrados durante el reconocimiento. Sin embargo, determinar el qué, dónde y cómo no resolvía la tarea de agarre por completo, dado que era necesario garantizar una comunicación directa entre la cámara IDS NXT y el robot, un requisito no menor porque es aquí donde, a menudo, se decide cuánto tiempo, dinero y trabajo hay que invertir en una solución. Urobots utilizó IDS NXT Vision App Creator para implementar en la app de visión artificial de la cámara un protocolo de red basado en XMLRPC que transmitiera directamente al robot las instrucciones de trabajo. La aplicación final de visión artificial es capaz de detectar objetos en alrededor de 200 ms con una precisión posicional de +/- 2 grados.
Una inteligencia que permite incluso prescindir de ordenador
La inteligencia artificial no es lo único que hace de esta aplicación un caso tan inteligente. El hecho de que el sistema sea capaz de trabajar sin un PC de soporte —porque la cámara no solo suministra imágenes, sino que también las procesa— presenta otras dos ventajas fundamentales. Por un lado, prescindir del ordenador de apoyo y de toda la infraestructura asociada permite reducir sustancialmente los costes de inversión y de mantenimiento de la instalación. Además, muchas veces también es importante que las decisiones de proceso se puedan tomar directamente in situ, es decir, "a tiempo", para que los procesos posteriores puedan ejecutarse más rápidamente y sin latencias, lo que en algunos casos permite aumentar la velocidad de ciclo.
La segunda ventaja fundamental está relacionada con los costes de desarrollo. La visión basada en IA y el entrenamiento de una red neuronal funciona de una manera completamente diferente al clásico procesamiento de imágenes basado en reglas, con lo que también cambia el enfoque a la hora de abordar las tareas de procesamiento. La calidad de los resultados ya no es el producto de un código de programa desarrollado manualmente por expertos en procesamiento de imágenes y desarrollo de aplicaciones. Dicho de otro modo, si una tarea puede resolverse con inteligencia artificial, IDS NXT Experience Kit nos permite ahorrarnos el coste y el tiempo que suponen dichos expertos porque con su amplio entorno de software de fácil manejo cualquier grupo de usuarios puede entrenar una red neuronal, diseñar la app de visión artificial correspondiente y ejecutarla en la cámara.
El caso de uso EyeBot demuestra de qué forma se puede convertir una aplicación de visión artificial basada en PC en un sistema de visión embebida basado en IA que no precisa dicho PC para funcionar. La posibilidad de ampliar el sistema a través del concepto de app de visión artificial, de desarrollar aplicaciones para distintos grupos de usuarios y de obtener un soporte unificado de fabricante son otras de las muchas ventajas que ofrece este pequeño sistema embebido. Con EyeBot las competencias están claramente repartidas: el usuario puede concentrarse en su producto mientras IDS y urobots se ocupan de entrenar y ejecutar la IA para el procesamiento de imágenes y de controlar al robot. A estas dos ventajas cabe añadir todavía una más: la posibilidad de adaptar fácilmente la app de visión artificial a otros objetos, otros modelos de robot y, por tanto, a muchas otras aplicaciones similares gracias a la comunicación basada en Ethernet y a la plataforma abierta IDS NXT.
Más información
- Visite el sitio web del producto para obtener más información sobre la plataforma de visión embebida IDS NXT basada en IA.
- Para saber más sobre cómo iniciarse fácilmente en la tecnología del aprendizaje profundo con la solución integral de cámara inferencial IDS NXT Experience Kit, lea el artículo técnico "IA para todos".
- En el artículo técnico "Sostenibilidad con edge intelligence" se explican las ventajas del deep ocean core como solución FPGA en una plataforma de cámara.