Ao usar o Azure como uma plataforma de dados moderna, você tem a opção de PaaS (plataforma como serviço) ou IaaS (infraestrutura como serviço). A PaaS fornece opções nativas de nuvem para ingestão, transformação e armazenamento de dados. A IaaS oferece maior controle sobre sua infraestrutura híbrida, começando com o tamanho e o tipo de VMs (máquinas virtuais) que você escolhe. Com qualquer abordagem, você pode aproveitar uma variedade de bancos de dados relacionais, NoSQL e na memória totalmente gerenciados, soluções de armazenamento e ofertas de análise que abrangem mecanismos proprietários e de código aberto. Esta arquitetura de exemplo mostra as duas abordagens.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Workflow
IBM MQ é o middleware que atua como um link livremente acoplado entre um sistema mainframe ou midrange e os serviços do Azure. As mensagens são recebidas e enviadas de acordo com os requisitos do aplicativo para se comunicar com a camada de aplicativo de mainframe.
Em uma abordagem nativa de nuvem, os Aplicativos Lógicos do Azure usam o conector MQ para trocar mensagens com o IBM MQ. O recurso Agendador orquestra o fluxo de trabalho do Azure, enviando e recebendo mensagens em intervalos recorrentes de um segundo.
O conector MQ pode enviar as mensagens que lê diretamente para o armazenamento por meio de um conector ou enviá-las para serem transformadas primeiro. Os Aplicativos Lógicos incluem várias opções de transformação de dados, como um runtime de JavaScript embutido que você pode usar para executar trechos de código JavaScript simples para transformação de dados ou operações de dados que executam transformações em dados de tabela JSON, CSV e HTML. Você também pode criar funções sem servidor e de tarefa única usando o Azure Function.
Os dados são carregados no armazenamento. O Azure oferece muitas soluções de armazenamento de dados gerenciados, cada uma fornecendo recursos e funcionalidades diferentes.
Em uma abordagem de IaaS, uma VM executa o HIS (Host Integration Server) da Microsoft com o adaptador BizTalk para WebSphere MQ. O HIS troca mensagens com o IBM MQ e expõe a orquestração como serviço Web para um aplicativo .NET personalizado.
Um aplicativo .NET persiste os dados usando qualquer armazenamento de dados do Azure compatível. Por exemplo, o aplicativo pode mascarar dados ou usar pontos de extremidade privados para segurança.
Os dados são carregados no armazenamento. O Azure oferece muitas soluções de armazenamento de dados gerenciados, cada uma fornecendo recursos e funcionalidades diferentes.
Componentes
Os Aplicativos Lógicos do Azure fornecem ferramentas para orquestração de dados, integração de dados e transformação de dados. Ele inclui centenas de conectores para acessar dados locais ou na nuvem. Teste a taxa de transferência e o desempenho antes de escolher um conector de armazenamento de dados.
O Agendador dos Aplicativos Lógicos fornece gatilhos para iniciar e executar fluxos de trabalho com base no intervalo e na frequência da recorrência especificada.
O conector MQ dos Aplicativos Lógicos conecta os fluxos de trabalho dos Aplicativos Lógicos a um servidor IBM MQ local ou no Azure. Os fluxos de trabalho recebem e enviam mensagens armazenadas no servidor MQ. Um cliente MQ da Microsoft também está incluído para se comunicar com um servidor MQ remoto em uma rede TCP/IP. Você pode usar o cliente para se conectar a IBM WebSphere MQ 7.5, MQ 8.0, MQ 9.0, MQ 9.1 e MQ 9.2.
O HIS (Host Integration Server) pode servir como um integrador de mensagens por meio do adaptador WebSphere MQ no Microsoft BizTalk Server. Um adaptador de cliente e servidor troca mensagens entre o IBM MQ e o BizTalk Server. O HIS também serve como um ouvinte MQ e pode sondar o servidor MQ em busca de mensagens em intervalos que você especifica.
.NET é uma plataforma gratuita de desenvolvimento de código aberto usada neste exemplo para criar um aplicativo para extrair os dados por meio do HIS para a camada de armazenamento de dados. Ele também pode ser usado para acessar servidores IBM WebSphere MQ diretamente por meio do Cliente Microsoft para MQ.
Alternativas
Na camada de dados, você tem a opção de serviços gerenciados, incluindo o Banco de Dados do Azure para PostgreSQL, o Banco de Dados do Azure para MySQL, o Azure Cosmos DB, o Banco de Dados do Azure para MariaDB e o SQL do Azure.
Na camada de armazenamento, crie um data lake corporativo usando o Azure Data Lake Storage.
Na camada de dados, crie uma plataforma de análise de Big Data usando o Azure Synapse Analytics.
Detalhes do cenário
Uma abordagem popular em cenários de transformação digital é ver se os aplicativos existentes e as camadas de middleware podem ser executados como estão em uma instalação híbrida, onde o Microsoft Azure serve como plataforma de dados distribuída e escalonável. Este exemplo descreve uma abordagem inicial de dados para integração de middleware que permite que IBM MQs (filas de mensagens) em execução no mainframe ou nos sistemas midrange funcionem com os serviços do Azure, para que você possa encontrar a melhor plataforma de dados para sua carga de trabalho.
Ao usar o Azure como uma plataforma de dados moderna, você tem a opção de PaaS (plataforma como serviço) ou IaaS (infraestrutura como serviço). A PaaS fornece opções nativas de nuvem para ingestão, transformação e armazenamento de dados. A IaaS oferece maior controle sobre sua infraestrutura híbrida, começando com o tamanho e o tipo de VMs (máquinas virtuais) que você escolhe. Com qualquer abordagem, você pode aproveitar uma variedade de bancos de dados relacionais, NoSQL e na memória totalmente gerenciados, soluções de armazenamento e ofertas de análise que abrangem mecanismos proprietários e de código aberto.
Esta arquitetura de exemplo mostra as duas abordagens:
PaaS nativa da nuvem. Os Aplicativos Lógicos do Azure trocam mensagens com o IBM MQ por meio do conector MQ. Os conectores adicionais fornecem acesso rápido a eventos, dados e ações em outros aplicativos, serviços, sistemas, protocolos e plataformas. Os Aplicativos Lógicos também incluem ferramentas para transformar dados da fila caso você precise modificar o formato, a estrutura ou os valores dos dados antes de armazená-los no Azure ou enviá-los para a camada de aplicativo.
IaaS baseada em VM. Executando o HIS (Host Integration Server) da Microsoft em uma VM, você pode usar um componente de integração de mensagens que se conecta ao IBM MQ. Você controla o processo de transformação de dados criando um aplicativo .NET para ler e escrever mensagens. O aplicativo pode persistir dados no armazenamento de dados do Azure de sua escolha, e você pode escolher o intervalo de sondagem do servidor MQ.
Possíveis casos de uso
Qualquer uma dessas abordagens pode ser usada para:
Habilitar aplicativos menos rígidos que se comunicam por meio de sistemas de mensagens para usar a plataforma de dados do Azure.
Sincronizar ou replicar dados de forma incremental entre um sistema mainframe ou midrange e o Azure.
Fluir mensagens de eventos de fluxo entre sistemas mainframe ou midrange e o Azure.
Considerações
Uma configuração de datacenter híbrido faz sentido para organizações que estão desenvolvendo suas estratégias de nuvem. A conexão com o Azure pode ajudar a preencher as lacunas em seu datacenter, aprimorar o desempenho, melhorar a continuidade dos negócios e expandir seu alcance globalmente.
Por exemplo, os aplicativos locais podem se comunicar com uma plataforma de dados moderna no Azure e começar a aproveitar a análise de Big Data ou o aprendizado de máquina. Se você precisar de uma solução de armazenamento econômica, poderá replicar dados de mainframe, armazená-los no Azure e manter os dados sincronizados. O Azure também pode adicionar a escala necessária para dar suporte ao OLTP (processamento de transações online), ao lote e aos sistemas de ingestão de dados.
Disponibilidade
Os SLAs (contratos de nível de serviço) do Azure descrevem suas garantias de tempo de atividade. Os SLAs para vários componentes podem variar. Por exemplo, os Aplicativos Lógicos do Azure estarão disponíveis pelo menos 99,9 por cento do tempo. As definições de configuração escolhidas podem melhorar o SLA.
Eficiência de desempenho
Certifique-se de testar a taxa de transferência e o desempenho da camada de transformação de dados antes de finalizar sua abordagem arquitetônica. O desempenho depende de vários fatores, incluindo o tamanho da mensagem da carga de trabalho, a latência e os conectores que são usados. O teste ajuda a encontrar a plataforma de dados de destino mais compatível.
Armazenamento
Nesta arquitetura de exemplo, os conectores de Aplicativos Lógicos podem ser usados para enviar mensagens diretamente para o Armazenamento do Azure e o Azure Data Lake Storage. Por exemplo, os Aplicativos Lógicos incluem o conector de Armazenamento de Blobs do Azure, como mostra a figura a seguir. O conector facilita o armazenamento de grandes quantidades de dados não estruturados no Armazenamento de Blobs do Azure. Seus dados se tornam acessíveis de qualquer lugar do mundo por meio de HTTP ou HTTPS. O armazenamento de blobs também dá suporte ao Azure Data Lake Storage Gen2, a solução de análise de Big Data da Microsoft para a nuvem. Os dados são carregados no armazenamento usando um serviço do Azure, como a ferramenta AzCopy, o Azure Data Factory ou outra solução que possa se conectar ao armazenamento.
Baixe um Arquivo Visio dessa arquitetura.
As opções de arquitetura de PaaS e IaaS oferecem suporte a muitos serviços de banco de dados gerenciados populares. Você pode carregar dados usando um carregador personalizado, uma solução de fornecedor ou um serviço gerenciado, como o Azure Data Factory. Estas opções de bancos de dados incluem:
Banco de dados SQL do Azure. Parte da família SQL do Azure, o Banco de Dados SQL do Azure é o serviço de banco de dados inteligente, escalonável e relacional desenvolvido para a nuvem. Sempre atualizado, ele inclui recursos automatizados que otimizam o desempenho, a durabilidade e a escalabilidade, para que você possa se concentrar na criação de novos aplicativos.
Instância Gerenciada de SQL do Azure. Parte do portfólio de serviços de SQL do Azure, a Instância Gerenciada de SQL combina a maior compatibilidade do mecanismo de SQL Server com todos os benefícios de uma PaaS totalmente gerenciada.
SQL do Azure em Máquinas Virtuais do Azure. Parte da família de SQL do Azure, essa opção econômica foi projetada para levantar e deslocar cargas de trabalho de SQL Server para o Azure. Combina o desempenho, a segurança e a análise do SQL Server com a flexibilidade e a conectividade híbrida do Azure, com a compatibilidade de código de 100%. Agora, inclui imagens do SQL Server 2019.
Banco de Dados do Azure para PostgreSQL. Esse serviço de banco de dados relacional totalmente gerenciado é baseado na edição de comunidade do mecanismo de banco de dados PostgreSQL de código aberto. Você pode se concentrar na inovação de aplicativos em vez de no gerenciamento de banco de dados e dimensionar facilmente suas cargas de trabalho.
Banco de Dados do Azure para MySQL. Esse serviço de banco de dados relacional totalmente gerenciado é baseado na edição de comunidade do mecanismo de banco de dados MySQL de código aberto.
Azure Cosmos DB. Um banco de dados de vários modelos globalmente distribuído, o Azure Cosmos DB fornece taxa de transferência e armazenamento que escalam de forma elástica e independente em qualquer número de regiões geográficas. É um serviço de banco de dados NoSQL totalmente gerenciado que garante latências de milissegundos de dígito único no 99º percentil em qualquer lugar do mundo.
Azure Synapse Analytics. Esse serviço de análise empresarial acelera o tempo para obter insights entre data warehouses e sistemas de Big Data.
Otimização de custo
Este artigo descreve uma ampla variedade de Serviços do Azure para demonstrar as várias possibilidades, e você provavelmente não as usará para a integração do MQ.
Use a calculadora de preços do Azure para estimar custos dos recursos do Azure.
Use os preços do BizTalk para entender os preços da solução de HIS.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ashish Khandelwal | Gerente de Arquitetura de Engenharia Principal
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
Para obter mais informações, envie um email para Engenharia de Dados do Azure – Modernização de mainframe & midrange (datasqlninja@microsoft.com).
Consulte os Guias de migração de banco de dados do Azure.