Esta arquitetura de referência mostra como mover dados de sistemas de mainframe e de média gama para o Azure. Nesta arquitetura, os dados arquivados são reparados e utilizados apenas no sistema mainframe. O Azure é utilizado apenas como um suporte de armazenamento.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Para decidir qual o método a utilizar para mover dados entre o sistema mainframe e o armazenamento do Azure, considere a frequência da obtenção de dados e a quantidade de dados. Estão disponíveis soluções da Microsoft e de terceiros:
- Soluções da Microsoft.
- O conector ftp Azure Data Factory.
- A atividade de cópia do Data Factory, que pode copiar dados para qualquer solução de armazenamento do Azure.
- JCL de mainframe para o Blob do Azure com Java, uma solução personalizada para mover dados do sistema mainframe para o Azure através da Linguagem de Controlo de Tarefas (JCL). Para obter mais informações, contacte datasqlninja@microsoft.com.
- Soluções de arquivo de terceiros. Soluções que pode integrar facilmente com sistemas de mainframe, sistemas de média gama e serviços do Azure.
Fluxo de trabalho
O conector ftp Azure Data Factory move os dados do sistema mainframe para o Armazenamento de Blobs do Azure. Esta solução requer uma máquina virtual (VM) intermédia na qual é instalado um runtime de integração autoalojado.
A atividade de cópia do Data Factory liga-se à base de dados Db2 para copiar dados para o armazenamento do Azure. Esta solução também requer uma VM intermédia na qual é instalado um runtime de integração autoalojado.
O JCL do Mainframe da Microsoft para o Blob do Azure com a solução personalizada Java move os dados entre o sistema mainframe e o Armazenamento de Blobs e vice-versa. Esta solução baseia-se em Java e é executada nos Serviços de Sistema Unix no mainframe. Pode obter esta solução ao contactar datasqlninja@microsoft.com.
a. Tem de concluir uma configuração única da solução. Esta configuração envolve obter as chaves de acesso do Armazenamento de Blobs e mover os artefactos necessários para o sistema de mainframe.
b. Uma submissão JCL move ficheiros de e para o mainframe e o Armazenamento de Blobs.
c. Os ficheiros são armazenados em formato binário no Azure. Pode configurar a solução personalizada para converter EBCDIC em ASCII para tipos de dados simples.
Opcionalmente, o Azure Data Box pode ajudá-lo a transferir fisicamente dados do mainframe para o Azure. Esta opção é adequada quando uma grande quantidade de dados tem de ser migrada e os métodos online de transmissão demoram demasiado tempo. (Por exemplo, se a migração demorar semanas.)
A interação fácil com o ambiente mainframe ou midrange é fornecida por soluções de arquivo de terceiros.
Estas soluções interagem com o mainframe e processam vários parâmetros de mainframe, como tipos de dados, tipos de registo, tipos de armazenamento e métodos de acesso. Servem como uma ponte entre o Azure e o mainframe. Algumas soluções de terceiros ligam uma unidade de armazenamento ao mainframe e ajudam a transferir dados para o Azure.
Os dados são sincronizados e arquivados periodicamente através da solução de arquivo de terceiros. Depois de os dados estiverem disponíveis através da solução de terceiros, a solução pode facilmente enviá-lo para o Azure através de conectores disponíveis.
Os dados são armazenados no Azure.
Conforme necessário, os dados são recolhidos do Azure de volta para os sistemas mainframe ou midrange.
Componentes
- O armazenamento do Azure fornece armazenamento em nuvem extremamente dimensionável e altamente seguro para os seus dados, aplicações e cargas de trabalho. Ficheiros do Azure fornece partilhas de ficheiros na cloud simples e seguras sem servidor. Estes componentes são utilizados para sincronização e retenção de dados.
- Azure Data Factory é um serviço de integração de dados híbrido que pode utilizar para criar, agendar e orquestrar os seus fluxos de trabalho ETL e ELT.
- O Azure Data Box é um dispositivo físico que pode utilizar para mover dados no local para o Azure.
Alternativas
Pode utilizar o método clássico de mover os dados para fora do sistema mainframe ou midrange através de FTP. O Data Factory fornece um conector FTP que pode utilizar para arquivar os dados no Azure.
Detalhes do cenário
Os sistemas mainframe e midrange geram, processam e armazenam enormes quantidades de dados. Quando estes dados ficam antigos, normalmente não são úteis. No entanto, por vezes, as regras de conformidade e regulamentação exigem que estes dados sejam armazenados durante um determinado número de anos, pelo que arquivá-lo é fundamental. Ao arquivar estes dados, pode reduzir os custos e otimizar os recursos. O arquivo de dados também ajuda na análise de dados e fornece um histórico dos seus dados.
Potenciais casos de utilização
Arquivar dados na cloud pode ajudá-lo:
- Liberte recursos de armazenamento em sistemas de mainframe e de média gama.
- Otimize o desempenho das consultas ao armazenar apenas dados relevantes no sistema ativo.
- Reduza os custos operacionais ao armazenar dados de uma forma mais económica.
- Utilize dados arquivados para análise para criar novas oportunidades e tomar melhores decisões empresariais.
Recomendações
Consoante a forma como utiliza os dados, poderá querer convertê-lo no ASCII a partir do binário e, em seguida, carregá-lo para o Azure. Fazê-lo facilita a análise no Azure.
Considerações
- Os tipos de dados complexos no mainframe têm de ser processados durante o arquivo.
- Os especialistas no assunto da aplicação podem identificar quais os dados que têm de ser arquivados.
- Para determinar a quantidade de tempo entre sincronizações, considere fatores como a importância da empresa, as necessidades de conformidade e a frequência do acesso aos dados.
Soluções de arquivo de terceiros
Algumas soluções de terceiros estão disponíveis no Azure Marketplace. Cada uma destas soluções requer uma configuração exclusiva. A configuração destas soluções é uma das principais tarefas de implementação desta arquitetura.
Storage do Azure
O Azure tem uma variedade de opções para diferentes requisitos técnicos e de aplicação, como acesso frequente versus pouco frequente e dados estruturados versus não estruturados. Pode configurar várias configurações do ciclo de vida do armazenamento no armazenamento do Azure. Pode definir as regras para gerir o ciclo de vida. Para obter uma descrição geral, veja Configurar uma política de gestão do ciclo de vida.
Recolha de dados
A recolha de dados arquivados é um aspeto importante das soluções de arquivo. Poucas das soluções de terceiros proporcionam uma experiência totalmente integrada para recuperar dados arquivados. É tão simples como executar um comando no local. O agente de terceiros obtém automaticamente os dados do Azure e ingere-os novamente no sistema mainframe.
Otimização de custos
Utilize a calculadora de preços do Azure para estimar o custo da implementação desta solução.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Pratim Dasgupta | Arquiteto de Engenharia
Outros contribuidores:
- Mick Alberts | Escritor Técnico
- Ashish Khandelwal | Gestor de Arquitetos de Engenharia Sénior
- Ramanath Nayak | Arquiteto de Engenharia
Passos seguintes
Para obter mais informações, contacte o Azure Engenheria de Dados – Mainframe/Midrange Modernization.
Veja estes recursos:
- Guias de Migração de Base de Dados do Azure
- O que é Azure Data Factory?
- Introdução ao Armazenamento do Azure
- O que são os Ficheiros do Azure?
- O que é o Azure Data Box?
- Explorar os serviços de Armazenamento do Azure