Al usar Azure como plataforma de datos moderna, tiene la opción de plataforma como servicio (PaaS) o infraestructura como servicio (IaaS). PaaS proporciona opciones nativas de nube para la ingesta, transformación y almacenamiento de datos. IaaS proporciona un mayor control sobre la infraestructura híbrida, empezando por el tamaño y el tipo de máquinas virtuales (VM) que elige. Con cualquiera de estos enfoques, puede aprovechar una variedad de bases de datos relacionales, NoSQL y en memoria totalmente administradas, soluciones de almacenamiento y ofertas de análisis que abarcan motores de su propiedad y de código abierto. En esta arquitectura de ejemplo se muestran ambos enfoques.
Architecture
Descargue un archivo Visio de esta arquitectura.
Flujo de trabajo
IBM MQ es el middleware que actúa como un vínculo de acoplamiento flexible entre un sistema central o un sistema de rango medio y los servicios de Azure. Los mensajes se reciben y envían según los requisitos de la aplicación para comunicarse con el nivel de aplicación del sistema central.
En un enfoque nativo de nube, Azure Logic Apps usa el conector de MQ para intercambiar mensajes con IBM MQ. La característica Scheduler orquesta el flujo de trabajo de Azure, enviando y recibiendo mensajes a intervalos periódicos de un segundo.
El conector de MQ puede enviar los mensajes que lee directamente al almacenamiento a través de un conector o enviarlos para transformarlos primero. Logic Apps incluye varias opciones para la transformación de datos, como un entorno de ejecución de JavaScript insertado que puede usar para ejecutar fragmentos de código de JavaScript simples para la transformación de datos u operaciones de datos que realizan transformaciones en datos de tabla JSON, CSV y HTML. También puede crear funciones de una sola tarea sin servidor mediante Azure Functions.
Los datos se cargan en el almacenamiento. Azure ofrece varias soluciones administradas de almacenamiento de datos, cada una con funcionalidades y características diferentes.
En un enfoque de IaaS, una máquina virtual ejecuta Microsoft Host Integration Server (HIS) con el adaptador de BizTalk para WebSphere MQ. HIS intercambia mensajes con IBM MQ y expone la orquestación como servicio web a una aplicación .NET personalizada.
Una aplicación .NET conserva los datos mediante cualquier almacén de datos de Azure compatible. Por ejemplo, la aplicación puede enmascarar los datos o usar puntos de conexión privados para la seguridad.
Los datos se cargan en el almacenamiento. Azure ofrece varias soluciones administradas de almacenamiento de datos, cada una con funcionalidades y características diferentes.
Componentes
Azure Logic Apps proporciona herramientas para la orquestación, integración y transformación de datos. Incluye cientos de conectores para acceder a datos locales o en la nube. Asegúrese de probar el rendimiento antes de elegir un conector de almacenamiento de datos.
Scheduler de Logic Apps proporciona desencadenadores para iniciar y ejecutar flujos de trabajo en función del intervalo y la frecuencia de periodicidad que especifique.
El conector de MQ de Logic Apps conecta los flujos de trabajo de Logic Apps a un servidor IBM MQ local o en Azure. Los flujos de trabajo reciben y envían mensajes almacenados en el servidor MQ. También se incluye un cliente de Microsoft MQ para comunicarse con un servidor MQ remoto a través de una red TCP/IP. Puede usar el cliente para conectarse a IBM WebSphere MQ 7.5, MQ 8.0 y MQ 9.0, 9.1 y 9.2.
Host Integration Server (HIS) puede actuar como integrador de mensajes a través del adaptador de WebSphere MQ en Microsoft BizTalk Server. Un adaptador de cliente y servidor intercambia mensajes entre IBM MQ y BizTalk Server. HIS actúa como cliente de escucha de MQ y puede sondear el servidor MQ en busca de mensajes a intervalos especificados.
.NET es una plataforma de desarrollo de código abierto gratuita que se usa en este ejemplo para crear una aplicación para extraer los datos a través de HIS a la capa de almacenamiento de datos. También se puede usar para acceder a los servidores IBM WebSphere MQ directamente a través de Microsoft Client for MQ.
Alternativas
Para la capa de datos, tiene la opción de servicios administrados, incluidos Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB, Azure Database for MariaDB y Azure SQL.
Para la capa de almacenamiento, cree un lago de datos empresarial mediante Azure Data Lake Storage.
Para la capa de datos, cree una plataforma de análisis de macrodatos mediante Azure Synapse Analytics.
Detalles del escenario
Un enfoque popular en escenarios de transformación digital es ver si las aplicaciones y los niveles de middleware existentes se pueden ejecutar tal cual en una configuración híbrida donde Microsoft Azure actúa como plataforma de datos escalable y distribuida. En este ejemplo se describe un enfoque de primero los datos para la integración de middleware que permite que las colas de mensajes (MQ) de IBM que se ejecutan en sistemas centrales o de rango medio funcionen con los servicios de Azure para que pueda encontrar la mejor plataforma de datos para la carga de trabajo.
Al usar Azure como plataforma de datos moderna, tiene la opción de plataforma como servicio (PaaS) o infraestructura como servicio (IaaS). PaaS proporciona opciones nativas de nube para la ingesta, transformación y almacenamiento de datos. IaaS proporciona un mayor control sobre la infraestructura híbrida, empezando por el tamaño y el tipo de máquinas virtuales (VM) que elige. Con cualquiera de estos enfoques, puede aprovechar una variedad de bases de datos relacionales, NoSQL y en memoria totalmente administradas, soluciones de almacenamiento y ofertas de análisis que abarcan motores de su propiedad y de código abierto.
En esta arquitectura de ejemplo se muestran ambos enfoques:
PaaS nativa de nube. Azure Logic Apps intercambia mensajes con IBM MQ a través del conector de MQ. Los conectores adicionales proporcionan acceso rápido a eventos, datos y acciones entre otras aplicaciones, servicios, sistemas, protocolos y plataformas. Logic Apps también incluye herramientas para transformar datos de la cola si necesita modificar el formato, la estructura o los valores de los datos antes de almacenarlos en Azure o enviarlos al nivel de aplicación.
IaaS basada en máquinas virtuales. Al ejecutar Microsoft Host Integration Server (HIS) en una máquina virtual, puede usar un componente de integración de mensajería que se conecta a IBM MQ. Para controlar el proceso de transformación de datos, cree una aplicación .NET para leer y escribir mensajes. La aplicación puede conservar los datos en el almacén de datos de Azure que prefiera. Puede elegir el intervalo de sondeo del servidor MQ.
Posibles casos de uso
Cualquiera de estos enfoques se puede usar para:
Habilitar aplicaciones de acoplamiento flexible que se comunican a través de sistemas de mensajería para usar la plataforma de datos de Azure.
Sincronizar o replicar los datos de forma incremental entre un sistema central o un sistema de rango medio y Azure.
Hacer fluir mensajes de eventos entre sistemas centrales o de rango medio y Azure.
Consideraciones
Una configuración de centro de datos híbrido tiene sentido para las organizaciones que desarrollan sus estrategias en la nube. La conexión a Azure puede ayudar a reducir las brechas del centro de datos, mejorar el rendimiento, mejorar la continuidad empresarial y expandir su alcance globalmente.
Por ejemplo, las aplicaciones locales pueden comunicarse con una plataforma de datos moderna en Azure y empezar a aprovechar el análisis de macrodatos o el aprendizaje automático. Si necesita una solución de almacenamiento rentable, puede replicar datos del sistema central, almacenarlos en Azure y mantener los datos sincronizados. Azure también puede agregar la escala necesaria para admitir el procesamiento de transacciones en línea (OLTP), el lote y los sistemas de ingesta de datos.
Disponibilidad
Los Acuerdos de Nivel de Servicio (SLA) de Azure describen las garantías de tiempo de actividad. Los Acuerdos de Nivel de Servicio para varios componentes pueden variar. Por ejemplo, Azure Logic Apps estará disponible al menos el 99,9 % del tiempo. Las opciones de configuración que elija pueden mejorar el Acuerdo de Nivel de Servicio.
Eficiencia del rendimiento
Asegúrese de probar el rendimiento de la capa de transformación de datos antes de finalizar el enfoque arquitectónico. El rendimiento depende de varios factores, como el tamaño del mensaje de una carga de trabajo, la latencia y los conectores que se usan. Las pruebas le ayudan a encontrar la plataforma de datos de destino más compatible.
Storage
En esta arquitectura de ejemplo, los conectores de Logic Apps se pueden usar para enviar mensajes directamente a Azure Storage y Azure Data Lake Storage. Por ejemplo, Logic Apps incluye el conector de Azure Blob Storage como se muestra en la ilustración siguiente. El conector facilita el almacenamiento de grandes cantidades de datos no estructurados en Azure Blob Storage. Es posible acceder a los datos desde cualquier parte del mundo a través de HTTP o HTTPS. Blob Storage es compatible con Azure Data Lake Storage Gen2, una solución de análisis de macrodatos para la nube. Los datos se cargan en el almacenamiento mediante un servicio de Azure, como la herramienta AzCopy, Azure Data Factory u otra solución que pueda conectarse al almacenamiento.
Descargue un archivo Visio de esta arquitectura.
Las opciones de arquitectura PaaS e IaaS admiten muchos servicios de base de datos administrados populares. Puede cargar datos mediante un cargador personalizado, una solución de proveedor o un servicio administrado como Azure Data Factory. Entre las opciones de bases de datos se incluyen:
Azure SQL Database. Parte de la familia de Azure SQL, Azure SQL Database es el servicio de base de datos relacional inteligente y totalmente administrado creado para la nube. Siempre actualizado, incluye características automatizadas que optimizan el rendimiento, la durabilidad y la escalabilidad, por lo que puede centrarse en la compilación de nuevas aplicaciones.
Azure SQL Managed Instance. Parte de la cartera de servicios de Azure SQL, Azure SQL Managed Instance combina la mayor compatibilidad con el motor de SQL Server y todas las ventajas de una plataforma como servicio totalmente administrada y permanente.
Azure SQL en Azure Virtual Machines. Esta opción rentable, que forma parte de la familia de Azure SQL, está diseñada para la elevación y el desplazamiento de cargas de trabajo de SQL Server a Azure. Combina el rendimiento, la seguridad y el análisis de SQL Server con la flexibilidad y la conectividad híbrida de Azure, con una compatibilidad de código del 100 %. Ahora incluye imágenes de SQL Server 2019.
Azure Database for PostgreSQL. Este servicio de base de datos relacional totalmente administrado se basa en la Community Edition del motor de base de datos de código abierto PostgreSQL. Puede centrarse en la innovación de aplicaciones en lugar de en la administración de bases de datos y escalar fácilmente las cargas de trabajo.
Azure Database for MySQL. Este servicio de base de datos relacional totalmente administrado se basa en la Community Edition del motor de base de datos de código abierto MySQL.
Azure Cosmos DB. Azure Cosmos DB, una base de datos de varios modelos distribuida globalmente, proporciona rendimiento y almacenamiento que se escala de forma elástica e independiente en cualquier número de regiones geográficas. Es un servicio de base de datos NoSQL totalmente administrado que garantiza latencias de milisegundos de un solo dígito en el percentil de 99 en cualquier parte del mundo.
Azure Synapse Analytics. Este servicio de análisis empresarial acelera el tiempo necesario para obtener información de los sistemas de almacenamientos de datos y de macrodatos.
Optimización de costos
En este artículo se describe una amplia gama de servicios de Azure para demostrar las distintas posibilidades y, probablemente, no los usará todos para la integración de MQ.
Use la calculadora de precios de Azure para estimar los costos de los recursos de Azure.
Use los precios de BizTalk para comprender los precios de la solución de HIS.
Colaboradores
Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.
Autor principal:
- Ashish Khandelwal | Administrador principal de arquitectura de ingeniería
Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.
Pasos siguientes
Para más información, envíe un correo electrónico a Ingeniería de datos de Azure - Modernización de sistemas centrales y de rango medio (datasqlninja@microsoft.com).
Lea las guías de Azure Database Migration.