Archivo de la etiqueta: Open Data

Integración Node-RED con Otros Servicios

Integración con MQTT

Para integrar Node-RED con servicios MQTT existen los nodos de MQTT de publish y suscribe.

Más información: http://www.steves-internet-guide.com/configuring-the-mqtt-publish-node/

MQTT Recipes:

Integración con API REST

Para integrar Node-Red con APIs que utilizan el protocolo HTTP demos usar las HTTP requests de Node-RED. HTTP recipes en Node-RED: https://cookbook.nodered.org/http/

Nodo HTTP request: https://flows.nodered.org/node/node-red-contrib-http-request

NOTA: antes de usar el nodo de HTTP request para acceder a una API pública buscar en https://flows.nodered.org/ si ya de ha publicado el nod que lo haga. Por ejemplo https://flows.nodered.org/node/node-red-node-openweathermap

HTTP requests

HTTP request para novatos: http://www.steves-internet-guide.com/node-red-http-request-node-beginners/

El nodo de solicitud http se mejoró enormemente en Node-RED versión 0.20 con la adición de los modos de autenticación Bearer y Digest. Además, se agregó una nueva opción para permitir la creación de una cadena de consulta de msg.payload.

El nodo de solicitud HTTP opcionalmente puede codificar automáticamente msg.payload como parámetros de cadena de consulta para una solicitud GET.

Por ejemplo:

Ejemplo Básico 

Ejemplo sencillo de recopilación de datos regularmente de una web de terremotos https://earthquake.usgs.gov/, convertir los datos y generar una alerta si el terremoto tiene un valor mayor o igual que 7.

Obtengo los terremotos significativos de los últimos 30 días: https://earthquake.usgs.gov/earthquakes/map/#%7B%22feed%22%3A%2230day_sig%22%2C%22search%22%3Anull%2C%22listFormat%22%3A%22default%22%2C%22sort%22%3A%22newest%22%2C%22basemap%22%3A%22terrain%22%2C%22autoUpdate%22%3Atrue%2C%22restrictListToMap%22%3Afalse%2C%22timeZone%22%3A%22utc%22%2C%22mapposition%22%3A%5B%5B-78.49055166160312%2C74.8828125%5D%2C%5B78.42019327591201%2C325.1953125%5D%5D%2C%22overlays%22%3A%7B%22plates%22%3Atrue%7D%2C%22viewModes%22%3A%7B%22map%22%3Atrue%2C%22list%22%3Atrue%2C%22settings%22%3Afalse%2C%22help%22%3Afalse%7D%7D

Tutorial: https://nodered.org/docs/tutorials/second-flow 

Ejemplo AEMET

Ejemplo más complejo donde se deben realizar varios pasos para obtener los datos de la AEMET.

Ejemplos: https://github.com/jecrespo/Curso-Node-RED/tree/master/01-REQUEST%20API%20REST

Ejemplo de integración con API de lectores 2N

Es posible integrar Node-RED con los lectores de tarjetas de 2N. Card readers AccessUnit: https://www.2n.cz/en_GB/products/ip-access-control

Manual API: https://wiki.2n.cz/hip/hapi/latest/en

Si quiero abrir remotamente el switch mediante Node-RED, me conecto a las APIs:

Usa digest authentication:

Envío de Emails

Nodo para envío de emails: https://flows.nodered.org/node/node-red-node-email

npm: https://www.npmjs.com/package/node-red-node-email

Si está accediendo a GMail, es posible que necesites habilitar una contraseña de aplicación o habilitar un acceso menos seguro a través de la configuración de su cuenta de Google.

Si inicias directamente no deja hacerlo google porque: https://support.google.com/accounts/answer/6010255?p=lsa_blocked&hl=es&visit_id=637210948261881071-1978480038&rd=1

Para resolverlo:

Solucionar problemas si no puedes loguearte con tu cuenta de gmail: https://support.google.com/mail/answer/7126229?visit_id=637210978957705918-3645915622&rd=2#cantsignin

Input: Repetidamente recibe correos electrónicos de un servidor IMAP o POP3 y los reenvía como mensajes si aún no los ha visto. El asunto se carga en msg.topic y msg.payload es el cuerpo del texto sin formato. Si hay texto / html, se devuelve en msg.html. msg.from y msg.date también se establecen si los necesita.

Además, msg.header contiene el objeto de encabezado completo que incluye a, cc y otras propiedades potencialmente útiles.

Output: Envía msg.payload como un correo electrónico, con un asunto de msg.topic. El destinatario predeterminado del mensaje se puede configurar en el nodo; si se deja en blanco, se debe configurar con la propiedad msg.to del mensaje entrante.

Opcionalmente, puede anular la dirección de correo electrónico desde configurando msg.from, de lo contrario, el nodo utilizará la configuración de ID de usuario desde la conexión del servidor.

El payload puede tener formato html. Si payload es un búfer binario, se convertirá en un archivo adjunto. El nombre del archivo debe establecerse usando msg.filename. Opcionalmente, se puede agregar msg.description para el texto del cuerpo.

Alternativamente, puede proporcionar msg.attachments que deben contener una matriz de uno o más archivos adjuntos en formato nodemailer.

Estos nodos utilizan el módulo npm imap y nodemailer.

Ejemplos:

Otros relativos a email:

Envio SMS

Mandar SMSs usando el servicio de Twilio: https://www.twilio.com/

Pricing: https://www.twilio.com/pricing

Free account: https://www.twilio.com/docs/usage/tutorials/how-to-use-your-free-trial-account

Trial de Twilio: https://support.twilio.com/hc/en-us/articles/223136107-How-does-Twilio-s-Free-Trial-work-

Limitaciones de la cuenta gratuita: https://support.twilio.com/hc/en-us/articles/360036052753-Twilio-Free-Trial-Limitations

TwiML: https://www.twilio.com/docs/voice/twiml

Nodo: https://flows.nodered.org/node/node-red-node-twilio

Envía un mensaje SMS o realiza una llamada de voz utilizando el servicio Twilio. El nodo de salida Twilio está configurado para enviar SMS o hacer llamadas, dependiendo de la opción seleccionada ingrese el número de teléfono o número de teléfono y una URL para crear el archivo de respuesta TWiML.

msg.payload se usa como el cuerpo del mensaje. El nodo se puede configurar con el número al que enviar el mensaje. Alternativamente, si el número se deja en blanco, se puede configurar usando msg.topic. La carga útil también puede ser la URL para crear el archivo de respuesta TWiML.

Debe tener una cuenta con Twilio para usar este nodo.

Aquí hay un ejemplo del uso de este nodo para crear un IVR simple: https://flows.nodered.org/flow/637b5f6128a8d423503f

SMS con Node-RED USANDO UN PINCHO 3G: https://maker.pro/raspberry-pi/tutorial/how-to-make-an-sms-app-for-raspberry-pi-with-node-red

Telegram

Este paquete contiene un receptor y un nodo emisor que actúan como un bot de Telegram. Lo único que se requiere es el token que puede recuperar el bot de telegram @botfather.

Bots en Telgram: https://core.telegram.org/bots

API Telegram: https://core.telegram.org/bots/api

Nodo: https://flows.nodered.org/node/node-red-contrib-telegrambot

Basado en https://github.com/yagop/node-telegram-bot-api

El nodo de entrada recibe mensajes del bot y envía un objeto de mensaje con el siguiente layout:

  • msg.payload contiene los detalles del mensaje
    • chatId: la identificación única del chat. Este valor debe pasarse al nodo de salida al responder al mismo chat.
    • type: el tipo de mensaje recibido: mensaje, foto, audio, ubicación, video, animación, voz, contacto
    • content: contenido del mensaje recibido: cadena o id_archivo, u objeto con datos completos (ubicación, contacto)
  • msg.originalMessage contiene el objeto de mensaje original de la librería https://github.com/yagop/node-telegram-bot-api

El nodo de salida envía el contenido a un chat específico. Un flujo de eco simple se ve así:

Nodo de Configuración

Lo único que se debe ingresar aquí es el token que recibió de @botfather al crear un nuevo bot. El nodo contiene dos propiedades opcionales: users y chatids. Puede ingresar una lista de nombres y/o chatids que estén autorizados para usar este bot.

Receiver Node

Este nodo recibe todos los mensajes de un chat. Simplemente invita al bot a un chat. Puede controlar si el bot recibe todos los mensajes llamando / setprivacy @botfather.

El mensaje original de la biblioteca de nodos subyacente se almacena en msg.originalMessage.

msg.payload contiene los datos más importantes como chatId, tipo y contenido. El contenido depende del tipo de mensaje. Si recibe un mensaje, el contenido es una cadena. Si recibe una ubicación, el contenido es un objeto que contiene latitud y longitud.

La segunda salida se activa cuando se aplica seguridad y el usuario no está autorizado para acceder al bot.

Cuando el nodo receptor recibe datos como videos, documentos, etc., el archivo se descarga automáticamente al disco duro local cuando saveDataDir se configura en el nodo de configuración. El directorio también forma parte de la carga útil del mensaje: msg.payload.path. Además, el mensaje contiene el enlace de descarga directa en la carga útil: msg.payload.weblink

Los siguientes tipos pueden ser recibidos:

  • message – content is text
  • photo – content is the file_id of the photo with the highest resolution (all photos are stored in the photos property of the output object)
  • audio – content is the file_id of the audio file
  • document – content is the file_id of the document
  • sticker – content is the file_id of the sticker
  • animation – content is the file_id of the animation file
  • video – content is the file_id of the video file
  • video_note – content is the file_id of the video note file
  • voice – content is the file_id of the voice file
  • location – content is an object with latitude and longitude
  • venue – content is the venue object
  • contact – content is the contact information object Note that media groups are received not as group, but as separate messages of type photo and video.

Sender Node

Este nodo envía la carga útil al chat. La carga útil debe contener los siguientes campos:

  • msg.payload.chatId – chatId o una matriz de chatIds si desea enviar el mismo mensaje a muchos chats
  • msg.payload.type, p.e. “message”
  • msg.payload.content – su mensaje de texto
  • msg.error – se establece cuando ocurre una excepción

Junto al envío de contenido, el nodo remitente se puede utilizar para enviar comandos directos a la API. msg.payload.type debe establecerse en uno de los siguientes, msg.payload.content contiene los argumentos necesarios, mientras se pasan argumentos adicionales en msg.payload.options:

  • editMessageCaption
  • editMessageText
  • editMessageReplyMarkup
  • deleteMessage
  • editMessageLiveLocation
  • stopMessageLiveLocation
  • callback_query
  • inline_query
  • action
  • leaveChat
  • kickChatMember
  • unbanChatMember
  • restrictChatMember
  • promoteChatMember
  • exportChatInviteLink
  • setChatPhoto
  • deleteChatPhoto
  • setChatTitle
  • setChatDescription
  • pinChatMessage
  • unpinChatMessage
  • getChatAdministrators
  • getChatMembersCount
  • getChat
  • getChatMember

Command Node

El nodo de comando se puede usar para activar un mensaje cuando se recibe un comando específico: p. help.

Tiene dos salidas

  1. se activa cuando se recibe el comando
  2. se activa cuando no se recibe el comando

El segundo es útil cuando quieres usar un teclado. Los comandos generalmente comienzan con /. De acuerdo con la documentación de la API de Telegram, el comando debe emitirse siguiendo el nombre del bot como /foo@YourBot. Esto es importante cuando agrega varios bots diferentes a un solo chat grupal. Para evitar que el bot maneje comandos que no se le envían directamente usando la notación larga, puede establecer el modo “estricto” en las opciones del nodo de comando. En este caso, el bot solo acepta la notación de comando completo en los chats grupales.

Event Node

El nodo recibe eventos del bot como:

  • callback_query de teclados en línea.
  • inline_query
  • edited_message que se activa cuando alguien modifica un mensaje ya enviado.
  • edited_message_text que se activa cuando alguien modifica un mensaje de texto ya enviado.
  • edited_message_caption que se activa cuando alguien modifica un caption ya enviado, p.e. una foto
  • channel_post que se activa cuando el bot es miembro de un canal público (/setprivacy to disabled).
  • edited_channel_post, que se activa cuando alguien modifica un mensaje ya enviado en un canal público.
  • edited_channel_post_text, que se activa cuando alguien modifica un mensaje de texto ya enviado en un canal público.
  • edited_channel_post_caption que se activa cuando alguien altera un caption ya enviado de p.e. una foto en un canal público.

Reply Node

El nodo de respuesta espera una respuesta a un mensaje específico. Debe usarse junto con el nodo emisor.

Ejemplos

Implementar un comando help:

Implementar un teclado:

La respuesta es enviada a la segunda salida que activa el flujo inferior. Los datos se pasan a través de propiedades globales aquí.

Ver más ejemplos en: https://flows.nodered.org/node/node-red-contrib-telegrambot

Twitter

Nodos para usar twitter con Node-RED

Nodo: https://flows.nodered.org/node/node-red-node-twitter

Es necesario darse de alta como developer en Twitter: https://developer.twitter.com/en/apps

Proporciona dos nodos: uno para recibir mensajes y otro para enviar.

Nodo de entrada de Twitter. Se puede usar para buscar:

  • el público o la transmisión de un usuario para tweets que contienen el término de búsqueda configurado
  • todos los tweets de usuarios específicos
  • mensajes directos recibidos por el usuario autenticado

El nodo de salida de Twitter tuitea msg.payload.

Para enviar un mensaje directo (DM), use una carga útil como:

  • D {username} {message}

Consumir streaming data de Twitter: https://developer.twitter.com/en/docs/tutorials/consuming-streaming-data

Open Weather Map

Obtener datos climatológicos: https://openweathermap.org/

Se podría usar la API y hacer una integración similar a la vista en el apartado de API REST, pero en este caso al haber un nodo, se simplifica todo.

Y ver openweathermap y la API: https://openweathermap.org/api

Open Weather Map:

Un nodo de Nodo-RED que obtiene el informe meteorológico y el pronóstico de OpenWeatherMap.

Dos nodos que obtienen el informe meteorológico y el pronóstico de OpenWeatherMap.

Se requiere una clave API para usar estos nodos. Para obtener una clave API, vaya a OpenWeatherMap.

Input Node: Obtiene el clima actual o el pronóstico de 5 días en una ubicación especificada por ciudad y país o latitud y longitud cada 10 minutos, y genera un mensaje si algo ha cambiado.

Query Node: Acepta una entrada para activar la obtención del clima actual, ya sea desde una ciudad y país específicos o latitud y longitud.

Resultados de clima actual:

  • description – a brief verbal description of the current weather for human reading.
  • weather – a very short description of the current weather.
  • icon – the weather icon code for the current conditions.
  • id – the id given to the current weather by OpenWeatherMap
  • tempc – the current ground temperature at that location in Celsius.
  • tempk – the current ground temperature at that location in Kelvin.
  • humidity – the current relative humidity at the location in percent.
  • windspeed – the current wind speed at the location in metres per second.
  • winddirection – the current wind direction at the location in meteorological degrees.
  • location – the name of the location from which the data was sourced.

Pronóstico de 5 días:

  • dt – epoch timestamp
  • pressure – in hPa
  • humidity – in %
  • speed – wind speed in metres per second
  • deg – wind direction in degrees
  • clouds – cloudiness in %
  • temp – an object with various temperatures in degC,
    • day, min, max, night, eve, morn
  • weather – an object with some misc. data,
    • description, icon, main, id

Más información en: https://flows.nodered.org/node/node-red-node-openweathermap

Ejemplos:

IFTTT

Cualquiera puede pensar que node-red es un superconjunto de IFTTT y que todo lo que puede hacer con IFTTT debe poder hacerlo con node-red. Pero en algunos casos nos puede ser útil y más rápido hacerlo con IFTTT.

Tres librerías:

Es necesaria la API key de IFTTT.

Maker Webhooks: https://ifttt.com/maker_webhooks

Me permite hacer llamadas a webhooks que se integran con herramientas de terceros.

Publica msg.payload.value1, 2 y 3 en el canal Maker en IFTTT en el canal especificado.

Creo el evento “nodered” para mandar datos al webhook.

Otra librería más avanzada pero en un estado de desarrollo temprano es: https://flows.nodered.org/node/node-red-contrib-ifttt-broker

Ejemplos:

Servicios IoT

Esta conferencia sobre IoT con Arduino fue expuesta el 1 de abril de 2017 con motivo del Arduino Day. Puedes ver el video de la conferencia completa en http://www.innovarioja.tv/index.php/video/ver/1661


Las plataformas mismas nos pueden ofrecer diferentes clases de servicios para los datos como visualización de datos, descargas, API para obtener los datos, alertas, etc…

Algunos servicios que podemos encontrar:

  • Almacenamiento de datos
  • Gestión de dispositivos
  • Visualización de datos (Visual Analytics)
  • Descarga de datos
  • API REST para interactuar con la plataforma
  • Notificaciones
  • Alertas/Alarmas
  • Reglas
  • SDK
  • Interacción con otras plataformas
  • Análisis de datos (Machine Learning)
  • Open data

Una plataforma nos puede permitir:

  • Automatizar informes de trabajo, cuadros de mando, etc… Los datos recogidos y guardados genera informes automáticamente de forma periódica o en tiempo real (por ejemplo de la producción) y son enviados.
  • Monitorización en Tiempo real de flotas o del estado de una planta
  • Avisos precoces para mantenimientos predictivos.
  • Control remoto de instalaciones.
  • Eficiencia energética.
  • Automatización de procesos.
  • Análisis de datos (data mining, etc…) para aprendizaje automático.
  • Business intelligence (detectar problemas comunes, medir cuellos de botella, etc…) y ayudar en el mantenimiento predictivo.
  • Integrar con el software corporativo. ERP, CRM, GMAO (Gestión del Mantenimiento Asistido por Ordenador), CMMS.

Ejemplos Prácticos

Cronómetro para Charlas

Cronómetro que indica mediante leds los minutos transcurridos y señala mediante colores el tiempo de cada parte programada según sea programada.

Código: https://github.com/jecrespo/Aprendiendo-Arduino/tree/master/Otros/Neopixel_contador

Hardware usado:

Monitorización de Temperatura

Visualización en tiempo real de datos de temperatura en diversos lugares:

Hardware usado:

Envío de mensajes y SMSs en Tiempo Real

Enviar desde Arduino mensajes a una plataforma de visualización de mensajes en tiempo real. Arduino comunica alertas, estados, etc… que sea programado.

Enviar esos mismos mensajes por SMS a un móvil de forma que arduino deja un mensaje pendiente de enviar en la plataforma y otro Arduino remoto se encarga de revisar mensajes pendientes y los envía por SMS.

Hardware usado:

Obtención de datos agroclimáticos (Open Data)

En este ejemplo se van a obtener los datos agroclimáticos ofrecidos por el Servicio de Información Agroclimática de La Rioja (SIAR) para la toma de decisiones locales con un Arduino en función de esos datos. De esta forma podría, por ejemplo, podría programar riegos en un cultivo mediante la apertura de válvulas o puesta en marcha de bombas de regadío sin necesidad de instalar mis propios sensores. Estos además del ahorro económico, supone poder crear un sistema más sencillo y que consuma menos energía al no tener que alimentar los sensores, algo importante en sistemas instalados en el campo donde no hay acceso a la red eléctrica. Por otra se trata de datos de calidad ya validados.

Estos datos también se pueden combinar con los datos locales obtenidos por los sensores de Arduino, ya sea localmente o una una base de datos propia.

Más información sobre los datos publicados: https://seminariomirianandres.unirioja.es//wp-content/uploads/2016/12/si_ma_20161220.pdf

Web del servicio http://apisiar.larioja.org/help. Este servicio se encuentra aún en pruebas y para usarlo es necesario estar registrado.

Características de los datos:

  • Datos cada media hora. 21 parámetros
  • Parámetros climáticos: Tª; HR; Viento; Radiación; Lluvia; Tª suelo; Humectación
  • Datos en tiempo real. Comunicación remota vía GPRS
  • Datos diarios, mensuales

Código: https://github.com/jecrespo/apisiar_arduino

Hardware usado:

De la misma forma podrían obtenerse datos meteorológicos de AEMET (Agencia Estatal de Meteorología).

Datos abiertos AEMET: http://www.aemet.es/es/datos_abiertos

Instrucciones: https://opendata.aemet.es/centrodedescargas/inicio, es necesario solicitar una API KEY y esta tiene una caducidad de 90 días.

Ejemplo en HTTP:

GET /opendata/api/valores/climatologicos/inventarioestaciones/estaciones/?api_key=jyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJqbW9udGVyb2dAYWVtZXQuZXMiLCJqdGkiOiI3NDRiYmVhMy02NDEyLTQxYWMtYmYzOC01MjhlZWJlM2FhMWEiLCJleHAiOjE0NzUwNTg3ODcsImlzcyI6IkFFTUVUIiwiaWF0IjoxNDc0NjI2Nzg3LCJ1c2VySWQiOiI3NDRiYmVhMy02NDEyLTQxYWMtYmYzOC01MjhlZWJlM2FhMWEiLCJyb2xlIjoiIn0.xh3LstTlsP9h5cxz3TLmYF4uJwhOKzA0B6-vH8lPGGw HTTP/1.1
Host: opendata.aemet.es
Cache-Control: no-cache

Códigos de municipio: http://www.ine.es/daco/daco42/codmun/codmunmapa.htm

Documentación: https://opendata.aemet.es/dist/index.html

Arduino Web Client

Conexión a una web

Crear un cliente ethernet que se conecte a una web y escriba los datos recogidos. También guarde los datos en un string.

Probar a conectar a varias páginas web y usa el servicio DNS poniendo la url en lugar de la IP.

Trata de conectarte a la AEMET para ver si sería posible obtener el tiempo de logroño.

AEMET API: http://www.aemet.es/es/datos_abiertos/catalogo (open data)

Tiempo en logroño: http://www.aemet.es/xml/municipios/localidad_26089.xml

Usa la API de http://www.openweathermap.org/ para obtener los datos del tiempo en una ciudad en concreto.

Avanzado: Obtener la temperatura en logroño actualizada por el display LCD sin necesidad de un sensor de temperatura.

Tutorial: webclient con ejemplo de métodos get y post: http://playground.arduino.cc/Code/WebClient

Solución: https://github.com/jecrespo/Aprendiendo-Arduino/tree/master/Ejercicio25-EthernetClient

Un poco de información:

Open data:

NTP básico

Montar un Arduino para que recoja y mantenga la fecha y hora de un servidor NTP y así teniendo un Arduino conectado a Internet no siendo necesario usar un RTC para mantener la fecha y hora en Arduino.

Network Time Protocol (NTP) es un protocolo de Internet para sincronizar los relojes de los sistemas informáticos a través del enrutamiento de paquetes en redes con latencia variable. NTP utiliza UDP como su capa de transporte, usando el puerto 123. Está diseñado para resistir los efectos de la latencia variable.

Servidores NTP: http://www.pool.ntp.org/es/use.html

Este es un ejemplo de cliente web, pero UDP en lugar de TCP.

Conceptos a manejar:

Solución: https://github.com/jecrespo/Aprendiendo-Arduino/tree/master/Ejercicio39-NTP

Al igual que hacemos un cliente web con Arduino podríamos hacer un cliente telnet conectándose al puerto correspondiente. Ver ejemplo en https://www.arduino.cc/en/Tutorial/TelnetClient