Apache®, Spark e o logotipo flame são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.
Este artigo descreve um plano de modernização completo para fontes de dados de mainframe e midrange.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
O fluxo de dados a seguir descreve um processo para modernizar uma camada de dados de mainframe. Corresponde ao diagrama anterior.
Os sistemas mainframe e midrange armazenam dados em fontes de dados, como sistemas de arquivos (VSAM, flat file, LTFS), bancos de dados relacionais (Db2 para z/OS, Db2 para IBM i, Db2 para Linux UNIX e Windows) ou bancos de dados não relacionais (IMS, ADABAS, IDMS).
O processo de conversão de objetos extrai definições de objeto de objetos de origem. As definições são então convertidas em objetos correspondentes no armazenamento de dados de destino.
- O Assistente de Migração do SQL Server (SSMA) para DB2 migra esquemas e dados de bancos de dados IBM Db2 para bancos de dados do Azure.
- O Managed Data Provider for Host Files converte objetos por:
- Análise de layouts de registro COBOL e RPG, ou copybooks.
- Mapeando os copybooks para objetos C# que os aplicativos .NET usam.
- Ferramentas de terceiros executam a conversão automatizada de objetos em bancos de dados não relacionais, sistemas de arquivos e outros armazenamentos de dados.
Os dados são ingeridos e transformados. Os sistemas mainframe e midrange armazenam seus dados do sistema de arquivos no formato codificado pelo EBCDIC em formatos de arquivo como:
- Arquivos VSAM indexados
- Arquivos GDG não indexados
- Arquivos simples
COBOL, PL/I e copybooks em linguagem assembly definem a estrutura de dados desses arquivos.
a. O FTP transfere conjuntos de dados de mainframe e sistema de arquivos midrange com layouts únicos e campos descompactados em formato binário e copybook correspondente para o Azure.
b. Os dados são convertidos. O conector personalizado do Azure Data Factory é uma solução desenvolvida usando o componente cliente Host File do Host Integration Server para converter conjuntos de dados de mainframe.
O Host Integration Server integra sistemas, programas, mensagens e dados de host IBM existentes com aplicativos do Azure. O Host Integration Server é um componente cliente do Host File que você pode usar para desenvolver uma solução personalizada para conversão de conjunto de dados.
O conector personalizado do Azure Data Factory é baseado na estrutura de código aberto do Spark e é executado no Azure Synapse Analytics. Como outras soluções, ele pode analisar o copybook e converter dados. Gerencie o serviço para conversão de dados usando o conector Azure Logic Apps Parse Host File Content.
c. Os dados do banco de dados relacional são migrados.
Os sistemas de mainframe e midrange da IBM armazenam dados em bancos de dados relacionais como estes:
Esses serviços migram os dados do banco de dados:
- O Data Factory usa um conector DB2 para extrair e integrar dados dos bancos de dados.
- O SQL Server Integration Services lida com várias tarefas ETL de dados.
d. Os dados do banco de dados não relacional são migrados.
Os sistemas de mainframe e midrange da IBM armazenam dados em bancos de dados não relacionais como estes:
- IDMS, um sistema de gerenciamento de banco de dados modelo de rede (DBMS)
- IMS, um modelo hierárquico DBMS
- Adabas
- Datacom
Produtos de terceiros integram dados desses bancos de dados.
Os serviços do Azure, como o Data Factory e o AzCopy , carregam dados em bancos de dados do Azure e no armazenamento de dados do Azure. Você também pode usar soluções de terceiros e soluções de carregamento personalizadas para carregar dados.
O Azure fornece muitas soluções de armazenamento de dados gerenciados:
Os serviços do Azure usam a camada de dados modernizada para computação, análise, armazenamento e rede.
Os aplicativos cliente também usam a camada de dados modernizada.
Componentes
Armazenamento de dados
- O Banco de Dados SQL faz parte da família SQL do Azure. Ele foi criado para a nuvem e oferece todos os benefícios de uma plataforma como serviço totalmente gerenciada e perene. O Banco de Dados SQL também fornece recursos automatizados baseados em IA que otimizam o desempenho e a durabilidade. As opções de computação sem servidor e armazenamento Hyperscale dimensionam automaticamente os recursos sob demanda.
- O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto.
- O Azure Cosmos DB é um banco de dados NoSQL multimodelodistribuído globalmente.
- O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto.
- O Banco de Dados do Azure para MariaDB é um serviço de banco de dados relacional baseado em nuvem. Ele é baseado no mecanismo de banco de dados MariaDB community edition.
- SQL Managed Instance é um serviço de banco de dados em nuvem inteligente e escalável que oferece todos os benefícios de uma plataforma como serviço totalmente gerenciada e perene. A Instância Gerenciada SQL tem quase 100% de compatibilidade com o mecanismo de banco de dados SQL Server Enterprise Edition mais recente. Ele também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança.
- O Armazenamento Azure Data Lake é um repositório de armazenamento que contém grandes quantidades de dados em seu formato nativo bruto. Os armazenamentos de data lake são otimizados para dimensionamento para terabytes e petabytes de dados. Os dados normalmente vêm de várias fontes heterogêneas. Pode ser estruturado, semi-estruturado ou não estruturado.
Computação
- O Data Factory integra dados em diferentes ambientes de rede usando um tempo de execução de integração (IR), que é uma infraestrutura de computação. O Data Factory copia dados entre armazenamentos de dados em nuvem e armazenamentos de dados em redes locais usando IRs auto-hospedados.
- As Máquinas Virtuais do Azure fornecem recursos de computação escalonáveis sob demanda. Uma máquina virtual (VM) do Azure fornece a flexibilidade da virtualização, mas elimina as demandas de manutenção do hardware físico. As VMs do Azure oferecem uma variedade de sistemas operacionais, incluindo Windows e Linux.
Integradores de dados
- O Azure Data Factory é um serviço híbrido de integração de dados. Nesta solução, um conector personalizado do Azure Data Factory usa o componente cliente Host File do Host Integration Server para converter conjuntos de dados de mainframe. Com a configuração mínima, você pode usar um conector personalizado para converter seu conjunto de dados de mainframe da mesma forma que usaria qualquer outro conector do Azure Data Factory.
- AzCopy é um utilitário de linha de comando que move blobs ou arquivos para dentro e para fora de contas de armazenamento.
- O SQL Server Integration Services é uma plataforma para criar soluções de integração e transformação de dados de nível empresarial. Você pode usá-lo para resolver problemas de negócios complexos:
- Copiar ou descarregar ficheiros.
- Carregamento de armazéns de dados.
- Limpeza e mineração de dados.
- Gerenciando objetos e dados do SQL Server.
- As tecnologias e ferramentas do Host Integration Server permitem integrar sistemas, programas, mensagens e dados de host IBM existentes com aplicativos do Azure. O componente cliente Host File fornece flexibilidade para dados que são convertidos de EBCDIC para ASCII. Por exemplo, você pode gerar JSON/XML a partir dos dados convertidos.
- O Azure Synapse reúne integração de dados, armazenamento de dados corporativos e análise de big data. A solução de conversão do Azure Synapse usada nessa arquitetura é baseada no Apache Spark e é um bom candidato para a conversão de carga de trabalho de conjunto de dados de mainframe grande. Ele suporta uma ampla gama de estruturas de dados de mainframe e destinos e requer um esforço mínimo de codificação.
Outras ferramentas
- O Assistente de Migração do SQL Server para DB2 automatiza a migração do DB2 para os serviços de banco de dados da Microsoft. Quando é executada em uma VM, essa ferramenta converte objetos de banco de dados DB2 em objetos de banco de dados do SQL Server e cria esses objetos no SQL Server.
- O Provedor de Dados para Arquivos Host é um componente do Host Integration Server que usa conexões offline, SNA ou TCP/IP.
- Com conexões offline, o Provedor de Dados lê e grava registros em um arquivo binário local.
- Com conexões SNA e TCP/IP, o Provedor de Dados lê e grava registros armazenados em conjuntos de dados remotos z/OS (IBM Z Series Mainframe) ou arquivos físicos i5/OS REMOTOS (SISTEMAS IBM AS/400 e iSeries). Apenas os sistemas i5/OS utilizam TCP/IP.
- Os serviços do Azure fornecem ambientes, ferramentas e processos para desenvolver e dimensionar novos aplicativos na nuvem pública.
Detalhes do cenário
As soluções modernas de armazenamento de dados, como a plataforma de dados do Azure, fornecem melhor escalabilidade e desempenho do que os sistemas de mainframe e midrange. Ao modernizar seus sistemas, você pode aproveitar esses benefícios. No entanto, a atualização da tecnologia, da infraestrutura e das práticas é complexa. O processo envolve uma investigação exaustiva das atividades de negócios e engenharia. O gerenciamento de dados é uma consideração quando você moderniza seus sistemas. Você também precisa examinar a visualização e a integração de dados.
Modernizações bem-sucedidas usam uma estratégia de prioridade aos dados. Ao usar essa abordagem, você se concentra nos dados e não no novo sistema. O gerenciamento de dados não é mais apenas um item na lista de verificação de modernização. Em vez disso, os dados são a peça central. As soluções de dados coordenadas e orientadas para a qualidade substituem as soluções fragmentadas e mal governadas.
Esta solução utiliza componentes da plataforma de dados do Azure numa abordagem data-first. Especificamente, a solução envolve:
- Conversão de objetos. Converter definições de objeto do armazenamento de dados de origem em objetos correspondentes no armazenamento de dados de destino.
- Ingestão de dados. Conectando-se ao armazenamento de dados de origem e extraindo dados.
- Transformação de dados. Transformar dados extraídos em estruturas de armazenamento de dados de destino apropriadas.
- Armazenamento de dados. Carregamento de dados do armazenamento de dados de origem para o armazenamento de dados de destino, inicial e continuamente.
Potenciais casos de utilização
As organizações que usam mainframe e sistemas midrange podem se beneficiar dessa solução, especialmente quando desejam atingir esses objetivos:
- Modernize cargas de trabalho de missão crítica.
- Adquira business intelligence para melhorar as operações e obter uma vantagem competitiva.
- Remova os altos custos e a rigidez associados aos armazenamentos de dados de mainframe e midrange.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework. Quando você usa o cliente Provedor de Dados para Arquivos Host para converter dados, ative o pool de conexões para reduzir o tempo de inicialização da conexão. Ao usar o Data Factory para extrair dados, ajuste o desempenho da atividade de cópia.
Segurança
A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.
- Esteja ciente das diferenças entre identidades de cliente locais e identidades de cliente no Azure. Você precisa compensar quaisquer diferenças.
- Use identidades gerenciadas para fluxos de dados de componente para componente.
- Ao usar o Provedor de Dados para Arquivos Host para converter dados, siga as recomendações em Segurança e proteção de Provedores de Dados para Arquivos Host.
Otimização de custos
A otimização de custos consiste em reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.
- O Assistente de Migração do SQL Server é uma ferramenta gratuita e com suporte que simplifica a migração do banco de dados do DB2 para o SQL Server, o Banco de Dados SQL e a Instância Gerenciada do SQL. O Assistente de Migração do SQL Server automatiza todos os aspetos da migração, incluindo análise de avaliação de migração, conversão de esquema e instrução SQL e migração de dados.
- A solução baseada no Azure Synapse Spark é criada a partir de bibliotecas de código aberto. Elimina o encargo financeiro das ferramentas de conversão de licenciamento.
- Use a calculadora de preços do Azure para estimar o custo de implementação dessa solução.
Eficiência de desempenho
Eficiência de desempenho é a capacidade da sua carga de trabalho para dimensionar para satisfazer as exigências que os utilizadores lhe colocam de forma eficiente. Para obter mais informações, consulte a Visão geral do pilar Eficiência de desempenho.
- Os principais pilares da eficiência de desempenho são o gerenciamento de desempenho, o planejamento de capacidade, a escalabilidade e a escolha de um padrão de desempenho adequado.
- Você pode expandir o IR auto-hospedado associando a instância lógica a várias máquinas locais no modo ativo-ativo.
- O Banco de Dados SQL do Azure oferece a capacidade de dimensionar dinamicamente seus bancos de dados. Em uma camada sem servidor, ele pode dimensionar automaticamente os recursos de computação. O Elastic Pool, que permite que os bancos de dados compartilhem recursos em um pool, só pode ser dimensionado manualmente.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Ashish Khandelwal - Brasil | Gerente Principal de Arquitetura de Engenharia
Outros contribuidores:
- Mick Alberts - Brasil | Redator Técnico
- Nithish Aruldoss - Brasil | Arquiteto de Engenharia
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
Reveja os Guias de Migração da Base de Dados do Azure. Entre em contato com Azure Data Engineering - Mainframe & Midrange Modernization para obter mais informações.
Veja estes artigos:
- Cargas de trabalho IBM no Azure
- Rehospedagem de mainframe em máquinas virtuais do Azure
- Cargas de trabalho de mainframe suportadas no Azure
- Mover a computação de mainframe para o Azure