Un robot que juega a «piedra, papel, tijeras» - Parte 3/3

Montaje final: Cuando los componentes se convierten en un sistema

En los sistemas interactivos de este tipo, el mayor reto rara vez está en los componentes individuales, sino casi siempre en su interacción. También en este caso, la cámara, la lógica y el brazo robótico funcionaron de forma fiable por separado: La cámara IDS NXT reconoció con precisión las señales manuales, la lógica de decisión reaccionó según las reglas y el robot ejecutó el movimiento correspondiente. Pero reunir todos estos componentes fue todo un reto, sobre todo en lo que respecta a la precisión de los tiempos, la transmisión de señales y la sincronización. «Lo que suena bien en teoría, a menudo es diferente en la práctica», se dio cuenta rápidamente Sebastian Trella. «Sin embargo, gracias a la arquitectura abierta y la buena integración de la plataforma IDS NXT, se pudo superar este reto. Mediante pruebas específicas y un perfeccionamiento iterativo, el prototipo se convirtió en un juego funcional».

Ajuste fino: El reconocimiento de gestos se refuerza

La fiabilidad del reconocimiento de gestos depende en gran medida de los datos de entrenamiento y de las condiciones ambientales, una experiencia que Sebastian Trella ya realizó en la fase inicial: «Al principio, entrené los modelos solo con mis propias manos. Al hacerlo, no tuve en cuenta el caso de ‘no haber manos en la imagen’. Por supuesto, esto dio lugar a evaluaciones erróneas». Sin embargo, con la ayuda de la plataforma de formación IDS lighthouse, el modelo se pudo ampliar sin problemas. Se han añadido nuevas imágenes, incluidas las manos de otras personas ante distintos fondos y en condiciones de iluminación cambiantes. También se incorporaron a la formación detalles como los distintos tonos de piel y el uso de anillos. Esta diversificación específica de los datos de entrenamiento mejoró significativamente el rendimiento del reconocimiento: la IA reaccionaba ahora de forma estable y fiable, independientemente de quién jugara o en qué entorno. Al mismo tiempo, los conocimientos de Trella sobre el manejo general de las redes neuronales y sus requisitos prácticos durante el entrenamiento crecían a cada paso.

Realización: ¿Cómo juega el robot?

Las decisiones del robot son aleatorias: no hace faroles no aprende de partidas anteriores. Pero eso es precisamente lo que hace que el juego sea tan encantador: El hombre contra la máquina, a la misma altura. La ronda de juego se desarrolla en cinco fases:

1. Captura de la mano humana por la cámara
2. Evaluación del gesto mediante imágenes basadas en IA (piedra, papel, tijeras)
3. Comunicación y movimiento de robots
4. Determinar el resultado (robot gana, humano gana, empate)
5. Comunicación y movimiento de robots

Todo el juego se controla directamente a través de una app de visión artificial en la cámara inteligente IDS NXT, sin necesidad de un PC adicional. Reconoce el gesto del jugador, lo evalúa mediante inteligencia artificial y envía una señal IO digital al robot para que reaccione. Para que el juego sea justo, el gesto del robot no se ve influido por la acción del jugador, sino que se determina de forma neutral y aleatoria. Mientras la cámara analiza el gesto del jugador, el robot espera su señal de inicio. Sólo entonces muestra también su gesto. A continuación, la cámara analiza el resultado del partido y envía la decisión final, que el robot muestra.

La coordinación de los tiempos de espera y las transmisiones de señales fue un reto clave. Aunque la app de visión artificial puede analizar el gesto del jugador en fracciones de segundo, el robot no puede reaccionar a la misma velocidad. Por tanto, la visualización y la evaluación simultáneas de los gestos no podían realizarse de este modo. Sin embargo, el tiempo de respuesta se ha reducido considerablemente gracias a la optimización específica de los procesos. «Ahora el juego es más dinámico y fluido. La IA reconoce la mano del jugador en la imagen de la cámara y evalúa directamente el gesto mostrado. Esto funciona con tanta fiabilidad que ya no es necesario volver a mostrarlo en un monitor. El robot se encarga ahora por completo de mostrar la información del juego, lo que acelera considerablemente el flujo general del juego», explica Trella.

Perspectiva: ¿Qué queda por hacer y qué viene después?

La gran fiabilidad del reconocimiento de gestos abre perspectivas apasionantes. «Un posible desarrollo posterior sería el control sin contacto de máquinas, por ejemplo mediante simples señales manuales en un entorno industrial», reflexiona Sebastian Trella y añade : «Por supuesto, aún quedan algunas preguntas sin respuesta tras la finalización del proyecto. Por ejemplo: ¿Cómo se puede hacer que la comunicación entre el robot y la cámara sea aún más ‘elegante’, tal vez mediante algún tipo de diálogo con interfaces como RS-232, REST u OPC-UA? ¿No sería una mano robótica móvil el siguiente paso lógico para lograr una experiencia de juego aún más realista?»

Aunque el proyecto «Piedra, papel, tijeras» está llegando a su fin, Sebastian Trella ya está planeando nuevas ideas para la interacción hombre-máquina con ayuda de la IA. Y es que Si un robot ya puede jugar hoy con un humano (utilizando IA), ¿qué más puede hacer?