Un robot que juega a "piedra, papel, tijeras" - Parte 1/3
Detección de gestos con una cámara inteligente
Sebastian Trella es un apasionado de la tecnología y la robótica. En su blog siempre está relatando nuevos retos e ideas. Sin embargo, apenas ha trabajado con procesamiento de imágenes. El robot LEGO® MINDSTORMS® de un colega, capaz de distinguir los gestos de una mano con varios sensores diferentes, le dio una de estas ideas: conseguir que el robot "viera" por sí mismo. Y es que el gesto en cuestión tenía que hacerse en un punto muy concreto delante del robot para que este lo pudiera reconocer de forma fiable. Esto requería varios sensores, lo cual restaba flexibilidad al sistema y también un punto de diversión. Fue entonces cuando se empezó a plantear si un sistema de procesamiento de imágenes podría resolver esta tarea de forma más "espontánea".
De la idea a la acción
Cuando buscaba la cámara más adecuada, Trella se topó con IDS NXT, un sistema integral para el procesamiento de imágenes inteligente. Cumplía todos los requisitos y, gracias a la inteligencia artificial, podía hacer muchas más cosas aparte del mero reconocimiento de gestos. Esto despertó el interés de Trella. Sobre todo el hecho de que la evaluación de las imágenes y la entrega de los resultados se realizaran directamente en la cámara o a través de ella, sin necesidad de utilizar un PC. El IDS NXT Experience Kit también incluía todos los componentes necesarios para empezar a utilizar la aplicación de inmediato sin necesidad de tener conocimientos previos sobre inteligencia artificial.
Fue así como Trella empezó a desarrollar un robot que en el futuro fuera capaz de jugar a "piedra, papel, tijeras" de forma similar a un humano. Para ello, el jugador humano realizaría el gesto elegido (piedra, papel o tijeras) delante de la cámara, momento en el cual el adversario virtual ya habría determinado aleatoriamente el gesto a realizar. Tras la evaluación de la jugada en tiempo real se dictaminaría el ganador.
El primer paso: reconocimiento de gestos mediante procesamiento de imágenes
Pero para llegar a ese punto todavía eran necesarios algunos pasos intermedios, entre otros, el reconocimiento de gestos mediante procesamiento de imágenes, un territorio nuevo para este aficionado a la robótica. Sin embargo, con la ayuda de IDS lighthouse —un AI Vision Studio basado en la nube— familiarizarse con esta tecnología fue más fácil de lo esperado. Porque aquí es donde las ideas se transforman en aplicaciones integrales. IDS lighthouse permite entrenar redes neuronales mediante imágenes de la aplicación y el conocimiento necesario del producto —en este caso, los tres gestos desde diferentes perspectivas— y empaquetarlas en un flujo de trabajo adecuado.
"Familiarizarme con el sistema fue extremadamente fácil y solo tuve que utilizar el asistente paso a paso de IDS lighthouse después de realizar cientos de fotografías de mis manos haciendo gestos de piedra, papel o tijeras desde diferentes ángulos y con distintos fondos. La primera IA entrenada fue capaz de reconocer de inmediato los gestos de forma fiable", explica Sebastian Trella. El sistema funciona tanto para zurdos como para diestros, con un porcentaje de reconocimiento cercano al 95 % y probabilidades definidas para las etiquetas "Piedra", "Papel", "Tijeras" o "Nada". Un resultado más que satisfactorio. Pero, ¿qué hacer con los datos obtenidos a partir de las imágenes?
Procesamiento de datos
Para procesar los gestos reconocidos, Trella apuesta por una aplicación de visión artificial desarrollada específicamente para el juego en cuestión. De esta forma, la imagen capturada del gesto respectivo se transfiere a la app después de ser evaluada por la IA. La app "conoce" las reglas del juego y puede así decidir cuál es el gesto ganador y, por tanto, qué jugador ha ganado la partida. En la primera fase de desarrollo, la aplicación también simulará al adversario. Posteriormente se completarán otras fases para conseguir que el robot sea capaz de jugar a "piedra, papel, tijeras" de forma similar a un humano.
¿Un mero pasatiempo?
Si bien es cierto que este proyectó nació como un simple pasatiempo, ¿hasta dónde podría llegar? ¿Podría convertirse en una máquina recreativa? ¿O incluso en un intérprete de lenguaje de signos basado en inteligencia artificial?
Continuará...