Esta arquitetura de referência mostra como mover dados de sistemas mainframe e midrange para o Azure. Nela, os dados arquivados são fornecidos e usados apenas no sistema mainframe. O Azure é usado somente como mídia de armazenamento.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Para decidir qual método usar para mover dados entre o sistema mainframe e o armazenamento do Azure, considere a frequência de recuperação de dados e a quantidade de dados. Soluções da Microsoft e de terceiros estão disponíveis:
- Soluções da Microsoft.
- O conector FTP do Azure Data Factory.
- A atividade de cópia do Data Factory, que pode copiar dados para qualquer solução de armazenamento do Azure.
- JCL de mainframe para Blob do Azure usando Java, uma solução personalizada para mover dados do sistema mainframe para o Azure via JCL (Job Control Language). Para obter mais informações, entre em contato com datasqlninja@microsoft.com.
- Soluções de arquivamento de terceiros. Soluções que você pode integrar facilmente a sistemas mainframe e midrange e a serviços do Azure.
Workflow
O conector FTP do Azure Data Factory move dados do sistema mainframe para o Armazenamento de Blobs do Azure. Esta solução requer uma máquina virtual (VM) intermediária na qual esteja instalado um Integration Runtime auto-hospedado.
A atividade de cópia do Data Factory se conecta ao banco de dados Db2 para copiar dados para o armazenamento do Azure. Esta solução também requer uma VM intermediária na qual esteja instalado um Integration Runtime auto-hospedado.
A solução personalizada JCL de mainframe da Microsoft para Blob do Azure usando Java move dados entre o sistema mainframe e o Armazenamento de Blobs e vice-versa. Esta solução é baseada em Java e executada no Unix System Services no mainframe. Você pode obter esta solução entrando em contato com datasqlninja@microsoft.com.
a. Você precisa fazer uma configuração única da solução. Essa configuração envolve obter as chaves de acesso do Armazenamento de Blobs e mover os artefatos necessários para o sistema mainframe.
b. Enviar uma JCL move arquivos de/para o mainframe e o Armazenamento de Blobs.
c. Os arquivos são armazenados em formato binário no Azure. Você pode configurar a solução personalizada para converter EBCDIC em ASCII para tipos de dados simples.
Se preferir, o Azure Data Box pode ajudar você a transferir fisicamente os dados do mainframe para o Azure. Essa opção é apropriada quando há uma grande quantidade de dados que precisa ser migrada e os métodos de transmissão online levam muito tempo. (Por exemplo, se a migração demorar semanas.)
A interação fácil com o ambiente de mainframe ou midrange é propiciada por soluções de arquivamento de terceiros .
Essas soluções interagem com o mainframe e lidam com vários parâmetros dele, como tipos de dados, tipos de registro, tipos de armazenamento e métodos de acesso. Elas atuam como uma ponte entre o Azure e o mainframe. Algumas soluções de terceiros conectam uma unidade de armazenamento ao mainframe e ajudam a transferir dados para o Azure.
Os dados são sincronizados periodicamente e arquivados por meio da solução de arquivamento de terceiros. Depois que os dados ficam disponíveis por meio da solução de terceiros, a solução pode enviá-los facilmente para o Azure usando os conectores disponíveis.
Os dados são armazenados no Azure.
Conforme necessário, os dados são recuperados do Azure de volta para os sistemas mainframe ou midrange.
Componentes
- O armazenamento do Azure fornece armazenamento em nuvem altamente seguro e massivamente escalonável para seus dados, aplicativos e cargas de trabalho. Os Arquivos do Azure fornecem: compartilhamentos de arquivos em nuvem sem servidor, simples e seguros. Esses componentes são usados para sincronização e retenção de dados.
- O Azure Data Factory é um serviço de integração de dados híbrido que você pode usar para criar, agendar e orquestrar fluxos de trabalho de ETL e ELT.
- O Azure Data Box é um dispositivo físico que você pode usar para mover dados locais para o Azure.
Alternativas
Você pode usar o método clássico de mover os dados do sistema mainframe ou midrange via FTP. O Data Factory fornece um conector FTP que você pode usar para arquivar os dados no Azure.
Detalhes do cenário
Sistemas mainframe e midrange geram, processam e armazenam enormes quantidades de dados. Quando esses dados envelhecem, normalmente deixam de ser úteis. No entanto, muitas vezes as regras de conformidade e regulamentação exigem que eles fiquem armazenados por um determinado número de anos, por isso o arquivamento é fundamental. Arquivando esses dados, você pode reduzir custos e otimizar recursos. O arquivamento de dados também ajuda na análise de dados e fornece um histórico dos dados.
Possíveis casos de uso
O arquivamento de dados na nuvem pode ajudar você a:
- Liberar recursos de armazenamento em sistemas mainframe e midrange.
- Otimizar o desempenho de consultas armazenando apenas dados relevantes no sistema ativo.
- Reduzir custos operacionais armazenando dados de um modo mais econômico.
- Usar dados arquivados para análise a fim de criar novas oportunidades e tomar decisões melhores para os negócios.
Recomendações
Dependendo de como você usa os dados, convém convertê-los para ASCII de binário e, depois, carregá-los no Azure. Isso facilita a análise no Azure.
Considerações
- Os tipos de dados complexos no mainframe devem ser processados durante o arquivamento.
- Os especialistas em aplicativos podem identificar quais dados precisam ser arquivados.
- Para determinar o tempo entre as sincronizações, considere fatores como importância para os negócios, necessidades de conformidade e frequência de acesso aos dados.
Soluções de arquivamento de terceiros
Algumas soluções de terceiros estão disponíveis no Azure Marketplace. Cada uma dessas soluções requer uma configuração exclusiva. Configurá-las é uma das principais tarefas da implementação dessa arquitetura.
Armazenamento do Azure
O Azure tem uma variedade de opções para diferentes requisitos técnicos e de aplicativo, como acesso frequente ou pouco frequente e dados estruturados ou não estruturados. Você pode definir várias configurações de ciclo de vida do armazenamento no armazenamento do Azure. Você pode definir as regras para gerenciar o ciclo de vida. Para obter uma visão geral, consulte Configurar uma política de gerenciamento do ciclo de vida.
Recall de dados
O recall de dados arquivados é um aspecto importante das soluções de arquivamento. Poucas soluções de terceiros oferecem uma experiência perfeita de recall de dados arquivados. É tão simples quanto executar um comando local. O agente de terceiros obtém os dados do Azure automaticamente e os ingere de volta no sistema mainframe.
Otimização de custo
Use a Calculadora de preços do Azure para estimar o custo da implantação dessa solução.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Pratim Dasgupta | Arquiteto de Engenharia
Outros colaboradores:
- Mick Alberts | Escritor Técnico
- Ashish Khandelwal | Gerente de Arquitetura de Engenharia Sênior
- Ramanath Nayak | Arquiteto de Engenharia
Próximas etapas
Para obter mais informações, entre em contato com Engenharia de Dados do Azure – Modernização de Mainframe/Midrange.
Confira os seguintes recursos:
- Guias de Migração de Banco de Dados do Azure
- O que é o Azure Data Factory?
- Introdução ao Armazenamento do Azure
- O que Arquivos do Azure?
- O que é o Azure Data Box?
- Explorar os serviços do Armazenamento do Azure