Idee per le soluzioni
Questo articolo è un'idea di soluzione. Per espandere il contenuto con altre informazioni, ad esempio potenziali casi d'uso, servizi alternativi, considerazioni sull'implementazione o indicazioni sui prezzi, inviare commenti e suggerimenti su GitHub.
Quando si esegue la migrazione di un'applicazione mainframe o midrange locale ad Azure, il trasferimento dei dati è una considerazione primaria. Diversi scenari di modernizzazione richiedono la replica dei file in Azure rapidamente o la gestione della sincronizzazione tra file locali e file di Azure.
Questo articolo descrive diversi processi per il trasferimento di file in Azure, la conversione e la trasformazione dei dati dei file e l'archiviazione dei dati in locale e in Azure.
Architettura
Il diagramma seguente illustra alcune delle opzioni per la replica e la sincronizzazione dei file locali in Azure:
Scaricare un file di Visio di questa architettura.
Flusso di dati
Trasferire file in Azure:
Il modo più semplice per trasferire i file in locale o in Azure consiste nell'usare FTP (File Transfer Protocol). È possibile ospitare un server FTP in una macchina virtuale (VM) di Azure. Un semplice linguaggio JCL (Job Control Language) FTP invia file ad Azure in formato binario, che è essenziale per mantenere i tipi di dati mainframe e midrange e dati binari. È possibile archiviare file trasmessi in dischi locali, archiviazione file di macchine virtuali di Azure o Archiviazione BLOB di Azure.
È anche possibile caricare file locali in Archiviazione BLOB usando strumenti come AzCopy.
Il connettore FTP/SFTP di Azure Data Factory può essere usato anche per trasferire i dati dal sistema mainframe all'Archiviazione BLOB. Questo metodo richiede una macchina virtuale intermedia in cui è installato un runtime di integrazione self-hosted.
È anche possibile trovare strumenti di terze parti in Azure Marketplace per trasferire i file dai mainframe ad Azure.
Orchestrare, convertire e trasformare i dati:
Azure non è in grado di leggere i file della tabella codici IBM Extended Binary Coded Decimal Interchange Code (EBCDIC) nei dischi delle macchine virtuali di Azure o nei Archiviazione BLOB. Per rendere compatibili questi file con Azure, Host Integration Server (HIS) li converte da EBCDIC al formato American Standard Code for Information Interchange (ASCII).
I copybook definiscono la struttura dei dati dei file COBOL, PL/I e del linguaggio assembly. HIS converte questi file in ASCII in base ai layout del copybook.
Prima di trasferire i dati negli archivi dati di Azure, potrebbe essere necessario trasformare i dati o usarli per l'analisi. Data Factory può gestire queste attività ETL (extract-transform-load) ed extract-load-transform (ELT) e archiviare i dati direttamente in Azure Data Lake Archiviazione.
Per le integrazioni di Big Data, Azure Databricks e Azure Synapse Analytics possono eseguire tutte le attività di trasformazione in modo rapido ed efficace usando il motore Apache Spark per eseguire calcoli in memoria.
Archiviare i dati:
È possibile archiviare i dati trasferiti in una delle diverse modalità di archiviazione di Azure persistenti disponibili, a seconda dei requisiti.
Se non è necessaria l'analisi, Azure Data Factory può archiviare i dati direttamente in un'ampia gamma di opzioni di archiviazione, ad esempio Data Lake Archiviazione e BLOB Archiviazione.
Azure ospita diversi database, che rispondono a esigenze diverse:
- I database relazionali includono la famiglia SQL Server e database open source come PostgreSQL e MySQL.
- I database non relazionali includono Azure Cosmos DB, un database NoSQL veloce, multimodello, distribuito a livello globale.
Esaminare analisi e business intelligence:
Microsoft Fabric è una soluzione di analisi all-in-one che l'organizzazione può usare per studiare lo spostamento dei dati, sperimentare con le scienze dei dati ed esaminare analisi in tempo reale e business intelligence. Offre una suite completa di funzionalità, tra cui un data lake, la progettazione dei dati e l'integrazione dei dati.
Componenti
Vari scenari di trasferimento, integrazione e archiviazione dei file usano componenti diversi. Vedere il calcolatore dei prezzi di Azure per stimare i costi per le risorse di Azure.
Rete
Un gateway dati locale è un software bridge che connette i dati locali ai servizi cloud. È possibile installare il gateway in una macchina virtuale locale dedicata.
Integrazione e trasformazione dei dati
provider di dati per File host è un componente di HIS che converte i file della tabella codici EBCDIC in ASCII. Il provider può leggere e scrivere record offline in un file binario locale oppure usare Systems Network Architecture (SNA) o Transmission Control Protocol/TCP/IP (Transmission Control Protocol) per leggere e scrivere record in set di dati mainframe IBM z/OS remoti o i5/OS fisici. I connettori HIS sono disponibili per BizTalk e App per la logica di Azure.
Azure Data Factory è un servizio di integrazione dei dati ibrido che è possibile usare per creare, pianificare e orchestrare flussi di lavoro ETL ed ELT.
Azure Databricks è una piattaforma di analisi basata su Apache Spark ottimizzata per Azure. È possibile usare Databricks per correlare i dati in ingresso e arricchire i dati con altri dati archiviati in Databricks.
Azure Synapse Analytics è un data warehouse cloud veloce e flessibile con un'architettura MPP (Massively Parallel Processing) che è possibile usare per ridimensionare, calcolare e archiviare i dati in modo elastico e indipendente.
Database
database SQL di Azure è un servizio di database cloud relazionale scalabile. database SQL di Azure è sempre sempreverdi e sempre aggiornato, con funzionalità automatizzate e basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione con iperscalabilità ridimensionano automaticamente le risorse su richiesta. Con Vantaggio Azure Hybrid, è possibile usare le licenze di SQL Server locali esistenti nel cloud senza costi aggiuntivi.
Istanza gestita di SQL di Azure combina la compatibilità più ampia del motore di database di SQL Server con tutti i vantaggi di una piattaforma distribuita come servizio (PaaS) completamente gestita e sempreverdi. Con Istanza gestita di SQL, è possibile modernizzare le app esistenti su larga scala con strumenti, competenze e risorse familiari.
SQL Server in Azure Macchine virtuali lift-and-shift dei carichi di lavoro di SQL Server nel cloud per combinare la flessibilità e la connettività ibrida di Azure con prestazioni, sicurezza e analisi di SQL Server. È possibile accedere agli aggiornamenti e alle versioni più recenti di SQL Server con compatibilità del codice al 100%.
Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.
Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.
Azure Cosmos DB è un servizio di database NoSQL completamente gestito e multimodello per la creazione e la modernizzazione di applicazioni scalabili e ad alte prestazioni. Azure Cosmos DB ridimensiona la velocità effettiva e l'archiviazione in modo elastico e indipendente tra aree geografiche e garantisce latenze di millisecondi a cifra singola al 99° percentile ovunque nel mondo.
Altri archivi dati
Blob Archiviazione archivia grandi quantità di dati non strutturati, ad esempio dati di testo o binari, a cui è possibile accedere da qualsiasi posizione tramite HTTP o HTTPS. È possibile usare i Archiviazione BLOB per esporre i dati pubblicamente o per archiviare i dati dell'applicazione privatamente.
Data Lake Archiviazione è un repository di archiviazione che contiene una grande quantità di dati in formato nativo e non elaborato. Data Lake Archiviazione offre scalabilità per carichi di lavoro di analisi dei Big Data con terabyte e petabyte di dati. I dati provengono in genere da più origini eterogenee e possono essere strutturati, semistrutturati o non strutturati.
Potenziali casi d'uso
I casi d'uso di replica e sincronizzazione dei file locali includono:
Dipendenze downstream o upstream, ad esempio se le applicazioni eseguite in un mainframe e le applicazioni eseguite in Azure devono scambiare dati tramite file.
Test paralleli di applicazioni rehosting o ricreate in Azure con applicazioni locali.
Applicazioni locali strettamente associate nei sistemi che non possono essere immediatamente corretti o modernizzati.
Collaboratori
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.
Autori principali:
- Ashish Kndelwal | Principal Engineering Architecture Manager
- Nithish Aruldoss | Architetto di ingegneria
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Per altre informazioni, contattare il team di Microsoft SQL Ingegneria dei dati.
- Guide alla migrazione del database di Azure