Comunicación IDS NXT
Integración de cámaras IDS NXT en sus sistemas de automatización de la producción
Con IDS NXT hemos creado una plataforma para una nueva generación de sistemas de visión artificial para aplicaciones industriales, que pueden utilizarse, por ejemplo, como potentes sensores de visión artificial en la automatización de la producción. En combinación con IDS NXT Experience Kit, además, el entorno de aprendizaje profundo resulta especialmente sencillo. Esta solución todo en uno incorpora todo lo necesario para transformar las cámaras IDS NXT en cámaras inferenciales muy potentes donde poder ejecutar directamente redes neuronales individuales (lo que se conoce como "edge computing"). Pasar de la captura y gestión de imágenes a una cámara inferencial plenamente operativa —con entrenamiento de la IA incluido— es ahora muy fácil. Pero, ¿a través de qué interfaces se integra la cámara inferencial en el entorno propio?
En este Consejo técnico abordamos en profundidad las posibilidades de comunicación que ofrecen las cámaras IDS NXT y le explicamos de manera sencilla cómo puede utilizar los resultados de inferencia en su entorno.
Interfaces IDS NXT
En calidad de sistemas de visión embebida compactos, las cámaras IDS NXT realizan las tareas de procesamiento de imágenes directamente en el "edge" (extremo), por lo que pueden generar resultados sin necesidad de usar ordenadores adicionales. Esto significa que se pueden utilizar como sensores de visión artificial autónomos. En cuanto a los requisitos de acceso e intercambio de datos con sistemas externos, las cámaras IDS funcionan diferente de las cámaras industriales estándar, las cuales se limitan a suministrar imágenes al ordenador para que este las procese con el programa oportuno. Las cámaras IDS NXT incorporan interfaces que posibilitan una integración fácil y flexible en escenarios basados en el Internet de las cosas (IoT).
IDS NXT cockpit
IDS NXT cockpit ofrece acceso a todos los ajustes y funciones relevantes de las cámaras industriales IDS NXT a través de su interfaz REST.
Permite además instalar y configurar aplicaciones de visión artificial.
No importa con qué interfaz trabaje luego usted: con IDS NXT cockpit dispondrá de una interfaz gráfica de usuario de fácil manejo para instalar con toda comodidad aplicaciones de cámara y configurar los parámetros runtime.
IO y RS-232
Aunque estemos en la era de la Industria 4.0, las entradas y salidas digitales y las interfaces serie basadas en UART — con los buses de campo asociados— siguen ofreciendo múltiples ventajas con respecto a sus sucesores. Incluso para verificaciones de piezas complejas y controles basados en imagen suelen ser suficientes los (aparentemente sencillos) resultados IO y NIO para controlar los productos en líneas de producción grandes y modernas. No hay ninguna interfaz que sea más fácil y más barata de implementar que las salidas y entradas digitales. Lo mismo es aplicable a la comunicación serial con RS-232. Se trata de una interfaz ampliamente utilizada por muchos fabricantes y usuarios, que cuenta además con la oferta de accesorios de eficacia probada más amplia de su clase. Es por ello que la interfaz RS-232 se encuentra todavía hoy entre los estándares de comunicación industrial utilizados.
Dotadas de interfaces IO y RS-232, las cámaras IDS NXT complementan las instalaciones existentes con soluciones de visión embebida muy potentes y compactas que no alteran la infraestructura existente.
Interfaz IDS NXT REST
A través de un servicio web REST (Representational State Transfer) las cámaras IDS NXT proporcionan una interfaz abierta estandarizada para la comunicación máquina a máquina, que además facilita enormemente la conexión en red y la modificación y consulta de parámetros y resultados de la cámara. El servicio web REST se basa en el protocolo HTTP y, por lo tanto, está disponible en la mayoría de redes.
Los métodos estándar HTTP como GET, POST, PUT, PATCH, etc. se utilizan como interfaz unificada. De este modo la interfaz IDS NXT REST no solo se puede utilizar con cualquier plataforma, sino que además es una solución muy versátil para los clientes más diversos (ordenador, teléfono móvil, tableta) gracias a la amplia difusión de los métodos HTTP. Mientras que para las aplicaciones C++ se requiere un entorno de desarrollo completamente configurado, las API REST(ful) de dispositivos compatibles con web pueden utilizarse sin software ni pasarelas adicionales. Esto no solo permite empezar a funcionar rápidamente, sino también empaquetar fácilmente en scripts tareas de configuración muy complejas.
Para la comunicación genérica con sensores de visión artificial autónomos, REST se puede utilizar tanto en entornos IoT (Internet de las cosas) como en entornos IIoT (Internet industrial de las cosas) de forma más sencilla y con menos recursos implicados que con una interfaz basada en ordenador, como GenICam. Por ello, para las cámaras IDS NXT la interfaz REST no es solo la interfaz runtime para la transferencia de datos y resultados, sino también la interfaz para la configuración (p. ej. IDS NXT cockpit) de la cámara, sus aplicaciones y sus interfaces (IO, RS232).
¿Por qué REST?
- Sin estado
La comunicación sin estado implica que todos los mensajes cliente-servidor son autocontenidos y que cada mensaje contiene toda la información necesaria sobre el estado actual de la aplicación. Esto significa que entre ejecución y ejecución el servicio REST no tiene que almacenar nada y que, por tanto, no es necesario administrar la sesión en el servidor, lo cual permite escalar el servicio web en la red como se desee. Por todo ello, REST es ideal para entornos IoT. - Unificado e independiente de plataforma
Con REST, los sistemas ofrecen una interfaz abierta y estandarizada que se basa en tecnología web y que posibilita un conexión en red muy sencilla. Todos los dispositivos (I)IoT conectados pueden intercambiar datos y resultados sin conversiones de protocolo ni pasarelas. - Fácil y con bajo consumo de recursos
La estructuración, la transmisión y, si procede, el procesamiento de resultados de llamadas sencillas a la API REST requieren, en la mayoría de los casos, muy poca capacidad de cálculo. Por otro lado, gracias a la amplia utilización de los métodos estándar HTTP, los requisitos técnicos necesarios para la comunicación REST están presentes sin software adicional en la mayoría de dispositivos compatibles con web. - Independiente del lugar
Los clientes y el servidor pueden operarse por separado ("sistema distribuido"). Incluso si están hospedados en distintos servidores, la comunicación a través de REST es posible.
- Compatible con IIoT
La facilidad de acceso y transferencia de datos es parte esencial del Internet industrial de las cosas (IIoT). Gracias a su flexibilidad y a la capacidad de aprovechar ampliamente los recursos existentes, REST puede simplificar los procesos de automatización industrial. La comunicación transversal entre aplicaciones y dispositivos permite integrar de forma fácil y rápida muchos sistemas y equipos. La compatibilidad web es, en este sentido, una puerta abierta a la implementación de estrategias de integración más amplias. El desarrollo y el progreso de la industria se ve favorecido por la apertura a nuevos sistemas y tecnologías.
El servicio web IDS NXT REST incluye las siguientes características:
- El servicio web REST permanece siempre activo durante el funcionamiento ordinario.
- La seguridad de acceso está implementada a través de la autenticación básica HTTP. Esto significa que cada petición requiere para la autenticación los datos de usuario de un usuario autorizado, los cuales se transmiten codificados en Base64.
- Las respuestas se transmiten en formato JSON o XML.
Documentación
Encontrará la documentación de la interfaz IDS NXT RESTe información sobre el inicio de sesión para cámaras IDS NXT (Documentación de IDS NXT cockpit, capítulo 3.3 "Iniciar sesión en el dispositivo") en la sección de descargas de la página web de IDS correspondiente a su modelo de cámara IDS NXT.
Comunicación IDS NXT a través de I/O y RS-232
Para transmitir resultados del procesamiento de imágenes de la cámara a través de las salidas y entradas digitales o de la interfaz serie, solo tiene que ejecutar las dos apps de visión artificial de IDS NXT "GPIO Gateway" y "RS-232 Gateway" en IDS NXT cockpit y definir la app que tiene que emitir resultados específicos. No es necesario programar nada: todos los ajustes se pueden realizar desde la interfaz IDS NXT cockpit.
A modo de ejemplo, puede configurar las salidas digitales de manera que cada una esté activa durante un tiempo determinado cada vez que la inteligencia artificial (IA) de la cámara (CNN Manager con "ImageNet1000") clasifique determinados objetos (p. ej. "Bien" o "Mal"). También puede comunicar la clase de objeto detectada y la probabilidad de la inferencia como valores de resultado a través de la conexión serial.
Documentación
Encontrará una descripción detallada de las dos apps de visión artificial y su configuración en la página web de IDS, en la sección de descargas de su modelo de cámara IDS NXT.
Descargar documentación "GPIO Gateway" (EN) Descargar documentación "RS-232 Gateway" (EN)
Comunicación IDS NXT REST
La gran ventaja de REST para los desarrolladores radica en su compatibilidad web y, por tanto, en la facilidad de manejo de las herramientas necesarias. Por ello, queremos proporcionarle algunos ejemplos de cómo puede utilizar fácilmente los métodos HTTP GET, POST, PUT y DELETE para recuperar datos de una cámara IDS NXT.
Tenga en cuenta que este Consejo técnico no está pensado como un manual de uso exhaustivo de la API REST, sino como una serie de recomendaciones para que pueda empezar a usarla de forma fácil y rápida. El "resto" es cosa suya.
Para poder comprender los ejemplos que le facilitamos, necesitará una cámara IDS NXT con acceso a través de un ordenador con Windows en la misma red. Para no consultar solo parámetros "tontos", haremos que la cámara haga cosas que tengan sentido. Utilizaremos la IA de la cámara y el CNN preinstalado "KritzelNN". La IA de la cámara reconocerá dibujos de personas, perros, gatos y cámaras. A través de la API REST preguntaremos qué reconoce de un dibujo hecho por nosotros mismos.
Escenario de prueba "Veo algo que tú no ves":
- Red con una cámara IDS NXT rio o rome y un PC con Windows
- La app de visión artificial "CNN Manager" se ejecuta con la red neuronal preinstalada "KritzelNN".
- Varios dibujos de una persona, una cámara, un gato o un perro.
Documentación
Encontrará documentación sobre cómo utilizar CNN Manager, incluidas las URL REST necesarias, y cómo ejecutar "KritzelNet" en la sección de descargas de su modelo de cámara IDS NXT en la página web de IDS. Descargar documentación "CNN Manager" (EN)
Llamada a REST con "cURL" (línea de comandos)
cURL es una herramienta de línea de comandos para la transferencia de datos a través de URLs, que puede ejecutar fácilmente en el símbolo del sistema (o cmd.exe). Para solicitar el resultado de inferencia (KritzelNN) de la última imagen de la cámara enviamos una solicitud 'GET' con el recurso deseado ‚/vapps/cnnmanager/resultsources/last'.
Imagen de la cámara: 
C:\Users\ids>curl -sX GET http://192.168.2.102/vapps/cnnmanager/resultsources/last --user admin:ids
{
"inference": {
"Top1": "person",
"Top2": "camera",
"Top3": "cat",
"Top4": "dog"
},
"inference_propability": {
"Top1": "0.99",
"Top2": "0.01",
"Top3": "0.00",
"Top4": "0.00"
},
"inferencetime": {
"Content": "43"
}
}Si quiere filtrar los datos de respuesta JSON puede utilizar una herramienta adicional, como por ejemplo 'jq'. El procesador JSON de línea de comandos es ligero y flexible y no precisa dependencias adicionales. Para obtener únicamente el resultado de inferencia Top1 y su probabilidad, amplíe la solicitud como sigue:| jq ".inference.Top1, .inference_propability.Top1, .inferencetime.Content"
C:\Users\ids>curl -sX GET http://192.168.2.102/vapps/cnnmanager/resultsources/last --user admin:ids | jq ".inference.Top1, .inference_propability.Top1"
"person"
"0.95"A continuación, coloque para probar diferentes dibujos delante de la lente de la cámara y solicite el resultado de inferencia correspondiente.
Llamada a REST en el navegador
Directamente a través de la línea de dirección
La solicitud de inferencia se puede realizar también muy fácilmente a través del navegador web (p. ej. Firefox o Google Chrome). Introduzca para ello la siguiente URL en la línea de dirección:http://admin:ids@192.168.188.21/vapps/cnnmanager/resultsources/lastLas credenciales del usuario se transfieren en la cabecera de autorización HTTP estándar.
Desafortunadamente, por motivos de seguridad no todos los navegadores (p. ej. IE) soportan hoy credenciales introducidas en la URL.
Con plugins de navegador
Plugins de navegador API REST
Hay asimismo disponibles una serie de plugins de navegador —muy buenos y con interfaces gráficas de usuario muy intuitivas— que le pueden ser muy útiles a la hora de practicar llamadas REST.
Aquí probamos nuestra solicitud de resultado de inferencia con el navegador Google Chrome y la extensión "YuiAPI".
Llamada a REST en cliente especial
Los clientes especiales como, por ejemplo, "Postman" son con diferencia la forma más cómoda de comunicarse con un servicio web REST. Gracias a una intuitiva interfaz gráfica de usuario y a numerosas funciones de ayuda como códigos de estado, tiempos de respuesta, reconocimiento automático del habla y resaltado de sintaxis y enlaces cuando se crean llamadas a REST, incluso las personas sin conocimientos previos podrán entrar fácilmente en el mundo REST. El análisis y filtrado de datos de respuesta es también muy fácil. Otra de las ventajas que ofrece es la posibilidad de importar descripciones API completas o de crearlas uno mismo utilizando alguna de las especificaciones API conocidas, como RAML, WADL o OpenAPI.
Postman es un entorno de desarrollo visual para la comunicación con el servicio web REST de las cámaras IDS NXT. Postman no solo permite crear peticiones a REST, sino también clasificarlas y guardarlas en "colecciones" para volverlas a utilizar en otro momento.
Los datos que utiliza a menudo pueden estar disponibles en forma de prácticas variables. La función más importante de Postman es, sin embargo, la generación de códigos. Con tan solo pulsar un botón, el cliente le proporciona a partir de las llamadas REST probadas y guardadas snippets de código para muchos de los lenguajes de programación más habituales y otros clientes, como cURL, C, C#, Python, Java o Swift.
Los snippets de código de Postman le proporcionan una buena base para integrar cámaras IDS NXT en aplicaciones programadas por usted.
Integración de API REST en aplicaciones programadas
Aunque las cámaras IDS NXT no incluyen ningún paquete de desarrollo de software para, por ejemplo, aplicaciones C++, esto no significa que no sea posible una integración programada de la cámara. En la mayoría de los lenguajes de programación se pueden utilizar conexiones REST o HTTP sin necesidad de software adicional por parte del fabricante. Por eso un cliente REST como Postman puede proporcionarle snippets de código plenamente operativos para su empleo directo.
Tomando como ejemplo el resultado de nuestra cámara IA le mostramos cómo programar la llamada REST en Python.
Llamada REST con Python
import http.client
import mimetypes
conn = http.client.HTTPSConnection("192.168.188.21")
payload = ''
headers = {
'Authorization': 'Basic YWRtaW46aWRz'
}
conn.request("GET", "/vapps/cnnmanager/resultsources/last", payload, headers)
res = conn.getresponse()
data = res.read()
# output camera response
print(data.decode("utf-8"))El lenguaje de programación Python se utiliza ampliamente en el Internet de las cosas (IoT). Por ello nos gustaría explicarle con más detalle cómo integrar nuestras cámaras IDS NXT en un sistema de automatización de la producción usando Python.
Desarrollo interactivo con Python
Con el Consejo técnico le proporcionamos otros snippets de código Python en un paquete de software, que muestran el manejo básico de las cámaras IDS NXT y sus interfaces. Los notebooks Jupyter que contiene le permiten practicar en una aplicación de código abierto los ejemplos Python y el intercambio de datos con su cámara IDS NXT para facilitar su comprensión.
1. Conectar y obtener imagen (connect_and_get_image.ipynb)
En el primer ejemplo le explicamos cómo se utiliza el comando GET para obtener autorización y recuperar una imagen de su cámara IDS NXT.
2. Cambiar el tiempo de exposición (change_exposure.ipynb)
El segundo ejemplo muestra cómo consultar y modificar parámetros de la cámara. En este caso cambiaremos el valor del tiempo de exposición con ayuda del comando PATCH.
3. Activar captura de imagen (trigger_image_acquisition.ipynb)
En el tercer ejemplo le mostramos cómo activar la captura de imagen con ayuda del comando POST para recuperar el contenido de imagen de una escena cambiada.
4. Configurar la pasarela IO (set_gpio_gateway.ipynb)
En el cuarto ejemplo le explicamos cómo activar las salidas digitales de la cámara en función de los resultados de la app de visión artificial CNN Manager.
Ejemplos de código Python Descargar los ejemplos de código Python como notebooks Jupyter
En el anexo "Talking to the IDS NXT with Python" le explicamos cómo utilizar los notebooks de Jupyter y cómo poner en práctica los ejemplos.
Resumen
A través de las entradas y salidas digitales, de RS-232 y de un servicio web REST, las cámaras IDS NXT ofrecen interfaces estándar que permiten un uso y una integración muy flexibles. Los dispositivos de visión embebida que realizan tareas de procesamiento de imágenes de forma autónoma sin un PC host, no necesitan tampoco un PC para comunicarse con estaciones remotas. La interfaz sin estado REST permite la conexión con cualquier dispositivo compatible con web, lo cual significa que las cámaras están perfectamente preparadas para integrarse en estructuras de red IoT. Con clientes REST adecuados (como por ejemplo Postman) se pueden crear además —con tan solo pulsar un botón— wrappers de software para muchos de los lenguajes de programación más habituales.
Las herramientas e interfaces que incorpora la plataforma de cámara inferencial IDS NXT hacen que su integración en instalaciones ya existentes con tecnología probada sea igual de sencilla que en instalaciones futuras con estructuras IoT compatibles con web. Para más información sobre IDS NXT y su integración, visite la Knowledge Base de nuestra página web o póngase en contacto con nuestros consultores de sistemas.
Consejo: Vídeo webinario IDS NXT
En nuestro webinario "Integración de IDS NXT en la automatización de la producción" le mostraremos de forma práctica cómo funciona la comunicación a través de las interfaces de las cámaras IDS NXT con ayuda de códigos Python de ejemplo y notebooks Jupyter.
Seguir leyendo el Consejo técnico: Integración de cámaras IDS NXT en sistemas de automatización de la producción mediante OPC UA
Siguiendo con el tema "Comunicación IDS NXT OPC UA", se abordan las nuevas posibilidades de comunicación de las cámaras IDS NXT mediante su servidor integrado OPC UA. Sirviéndonos de un flujo de trabajo de ejemplo de IA, le mostramos cómo puede activar los ajustes guardados de la cámara, iniciar una tarea de inferencia y consultar los resultados a través de un OPC UA Client. Esto le permitirá integrar de forma aún más fácil las cámaras IDS NXT en instalaciones industriales basadas en OPC UA.