솔루션 아이디어
이 문서는 솔루션 아이디어입니다. 잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보로 콘텐츠를 확장하려면 GitHub 피드백을 제공하여 알려주세요.
온-프레미스 기본프레임 또는 미드레인지 애플리케이션을 Azure로 마이그레이션하는 경우 데이터 전송이 주요 고려 사항입니다. 여러 현대화 시나리오에서는 파일을 Azure에 신속하게 복제본(replica) 또는 온-프레미스 파일과 Azure 파일 간의 동기화를 기본 합니다.
이 문서에서는 파일을 Azure로 전송하고, 파일 데이터를 변환 및 변환하고, 온-프레미스 및 Azure에 데이터를 저장하는 몇 가지 프로세스를 설명합니다.
아키텍처
다음 다이어그램에서는 온-프레미스 파일을 Azure에 복제하고 동기화하는 몇 가지 옵션을 보여 줍니다.
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
Azure로 파일 전송:
온-프레미스 또는 Azure로 파일을 전송하는 가장 쉬운 방법은 FTP(파일 전송 프로토콜)를 사용하는 것입니다. Azure VM(가상 머신)에서 FTP 서버를 호스트할 수 있습니다. 간단한 FTP JCL(작업 제어 언어)이 메인프레임과 미드레인지 계산 및 이진 데이터 형식을 유지하는 데 필수적인 이진 형식으로 Azure에 파일을 보냅니다. 전송된 파일을 온-프레미스 디스크, Azure VM 파일 스토리지 또는 Azure Blob Storage에 저장할 수 있습니다.
AzCopy와 같은 도구를 사용하여 온-프레미스 파일을 Blob Storage에 업로드할 수도 있습니다.
Azure Data Factory FTP/SFTP 커넥터를 사용하여 기본frame 시스템에서 Blob Storage로 데이터를 전송할 수도 있습니다. 이 메서드를 사용하려면 SHIR(자체 호스팅 통합 런타임)이 설치된 중간 VM이 필요합니다.
Azure Marketplace에서 기본frame에서 Azure로 파일을 전송하는 타사 도구를 찾을 수도 있습니다.
데이터 오케스트레이션, 변환 및 변형:
Azure는 Azure VM 디스크 또는 Blob Storage에서 IBM EBCDIC(Extended Binary Coded Decimal Interchange Code) 코드 페이지 파일을 읽을 수 없습니다. 이러한 파일을 Azure와 호환되도록 HIS(Host Integration Server)는 EBCDIC에서 ASCII(American Standard Code for Information Interchange) 형식으로 변환합니다.
복사 문서는 COBOL, PL/I 및 어셈블리 언어 파일의 데이터 구조를 정의합니다. HIS는 복사 문서 레이아웃에 따라 이러한 파일을 ASCII로 변환합니다.
Azure 데이터 저장소로 데이터를 전송하기 전에 데이터를 변환하거나 분석에 사용해야 할 수 있습니다. Data Factory는 이러한 ETL(추출-변환-로드) 및 ELT(추출-로드-변환) 작업을 관리하고 Azure Data Lake Storage에 데이터를 직접 저장할 수 있습니다.
빅 데이터 통합의 경우 Azure Databricks 및 Azure Synapse Analytics는 Apache Spark 엔진을 사용하여 메모리 내 계산을 수행하여 모든 변환 작업을 빠르고 효과적으로 수행할 수 있습니다.
데이터 저장:
요구 사항에 따라 전송된 데이터를 사용 가능한 여러 영구 Azure 스토리지 모드 중 하나로 저장할 수 있습니다.
분석이 필요하지 않은 경우 Azure Data Factory는 Data Lake Storage 및 Blob Storage와 같은 광범위한 스토리지 옵션에 데이터를 직접 저장할 수 있습니다.
Azure는 다양한 요구 사항을 해결하는 다양한 데이터베이스를 호스팅합니다.
- 관계형 데이터베이스에는 SQL Server 제품군 및 PostgreSQL 및 MySQL과 같은 오픈 소스 데이터베이스가 포함됩니다.
- 비관계형 데이터베이스에는 빠른 다중 모델, 전역적으로 분산된 NoSQL 데이터베이스인 Azure Cosmos DB가 포함됩니다.
분석 및 비즈니스 인텔리전스 검토:
Microsoft Fabric 은 조직에서 데이터 이동을 연구하고, 데이터 과학을 실험하고, 실시간 분석 및 비즈니스 인텔리전스를 검토하는 데 사용할 수 있는 올인원 분석 솔루션입니다. 데이터 레이크, 데이터 엔지니어링 및 데이터 통합을 비롯한 포괄적인 기능 제품군을 제공합니다.
구성 요소
다양한 파일 전송, 통합 및 스토리지 시나리오는 서로 다른 구성 요소를 사용합니다. Azure 가격 책정 계산기를 참조하여 Azure 리소스에 대한 비용을 예측합니다.
네트워킹
온-프레미스 데이터 게이트웨이는 온-프레미스 데이터를 클라우드 서비스와 연결하는 브리지 소프트웨어입니다. 전용 온-프레미스 VM에 게이트웨이를 설치할 수 있습니다.
데이터 통합 및 변환
호스트 파일용 데이터 공급자는 EBCDIC 코드 페이지 파일을 ASCII로 변환하는 HIS의 구성 요소입니다. 공급자는 로컬 이진 파일에서 오프라인으로 레코드를 읽고 쓰거나, SNA(시스템 네트워크 아키텍처) 또는 TCP/IP(Transmission Control Protocol/Internet Protocol)를 사용하여 원격 IBM z/OS 기본프레임 데이터 세트 또는 i5/OS 물리적 파일에서 레코드를 읽고 쓸 수 있습니다. HIS 커넥터는 BizTalk 및 Azure Logic Apps에 사용할 수 있습니다.
Azure Data Factory 는 ETL 및 ELT 워크플로를 만들고 예약하고 오케스트레이션하는 데 사용할 수 있는 하이브리드 데이터 통합 서비스입니다.
Azure Databricks는 Azure에 최적화된 Apache Spark 기반 분석 플랫폼입니다. Databricks를 사용하여 들어오는 데이터의 상관 관계를 지정하고 Databricks에 저장된 다른 데이터로 보강할 수 있습니다.
Azure Synapse Analytics 는 MPP(대규모 병렬 처리) 아키텍처를 갖춘 빠르고 유연한 클라우드 데이터 웨어하우스로, 데이터를 탄력적이고 독립적으로 확장, 컴퓨팅 및 저장하는 데 사용할 수 있습니다.
데이터베이스
Azure SQL Database는 확장 가능한 관계형 클라우드 데이터베이스 서비스입니다. Azure SQL Database는 성능과 내구성을 최적화하는 AI 기반 및 자동화된 기능을 사용하여 항상 최신 상태입니다. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 필요에 따라 리소스 크기를 자동으로 조정합니다. Azure 하이브리드 혜택을 사용하면 기존 온-프레미스 SQL Server 라이선스를 추가 비용 없이 클라우드에서 사용할 수 있습니다.
Azure SQL Managed Instance 는 가장 광범위한 SQL Server 데이터베이스 엔진 호환성을 완전히 관리되고 PaaS(Evergreen Platform as a Service)의 모든 이점과 결합합니다. SQL Managed Instance를 사용하면 익숙한 도구, 기술 및 리소스를 사용하여 기존 앱을 대규모로 현대화할 수 있습니다.
Azure Virtual Machines 의 SQL Server는 SQL Server 워크로드를 클라우드로 리프트 앤 시프트하여 Azure의 유연성과 하이브리드 연결을 SQL Server 성능, 보안 및 분석과 결합합니다. 100% 코드 호환성을 사용하여 최신 SQL Server 업데이트 및 릴리스에 액세스할 수 있습니다.
Azure Database for PostgreSQL은 오픈 소스 PostgreSQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
Azure Database for MySQL은 오픈 소스 MySQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
Azure Cosmos DB는 확장성 있는 고성능 애플리케이션을 빌드하고 현대화하기 위한 완전 관리형 다중 모델 NoSQL 데이터베이스 서비스입니다. Azure Cosmos DB는 지리적 지역에 걸쳐 처리량 및 스토리지 크기를 탄력적으로 독립적으로 조정하고 전 세계 어디서나 99번째 백분위수 가용성에서 한 자리 밀리초의 대기 시간을 보장합니다.
다른 데이터 저장소
Blob Storage는 HTTP 또는 HTTPS를 통해 어디에서나 액세스할 수 있는 텍스트 또는 이진 데이터 같은 비정형 데이터를 대량으로 저장합니다. Blob Storage를 사용하여 데이터를 공개적으로 노출하거나 애플리케이션 데이터를 비공개로 저장할 수 있습니다.
Data Lake Storage는 대량의 데이터를 네이티브, 원시 형식으로 보관하는 스토리지 리포지토리입니다. Data Lake Storage는 테라바이트 및 페타바이트 데이터로 빅 데이터 분석 워크로드의 크기를 조정합니다. 데이터는 일반적으로 여러 다른 유형의 원본에서 제공되며 구조화, 반구조화 또는 비정형일 수 있습니다.
잠재적인 사용 사례
온-프레미스 파일 복제본(replica)tion 및 동기화 사용 사례는 다음과 같습니다.
다운스트림 또는 업스트림 종속성(예: 기본프레임에서 실행되는 애플리케이션 및 Azure에서 실행되는 애플리케이션이 파일을 통해 데이터를 교환해야 하는 경우).
온-프레미스 애플리케이션을 사용하여 Azure에서 다시 호스팅되거나 다시 엔지니어링된 애플리케이션의 병렬 테스트.
즉시 수정하거나 현대화할 수 없는 시스템에서 긴밀하게 결합된 온-프레미스 애플리케이션.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
주요 작성자:
- Ashish Khandelwal | Principal Engineering Architecture Manager
- Nithish Aruldoss | Engineering Architect
비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인합니다.
다음 단계
- 자세한 내용은 Microsoft SQL 데이터 엔지니어 팀에 문의하세요.
- Azure 데이터베이스 마이그레이션 가이드