Apache®, Spark 및 불꽃 로고는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
이 문서에서는 기본frame 및 미드레인지 데이터 원본에 대한 엔드투엔드 현대화 계획을 설명합니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
다음 데이터 흐름에서는 기본프레임 데이터 계층을 현대화하는 프로세스를 간략하게 설명합니다. 이전 다이어그램에 해당합니다.
메인프레임 및 미드레인지 시스템은 파일 시스템(VSAM, 플랫 파일, LTFS), 관계형 데이터베이스(z/OS의 경우 Db2, IBM i의 경우 Db2, Linux UNIX 및 Windows용 Db2) 또는 비관계형 데이터베이스(IMS, ADABAS, IDMS)와 같은 데이터 원본에 데이터를 저장합니다.
개체 변환 프로세스는 원본 개체에서 개체 정의를 추출합니다. 그런 다음, 정의가 대상 데이터 저장소의 해당 개체로 변환됩니다.
- Db2용 SSMA(SQL Server Migration Assistant )는 IBM Db2 데이터베이스에서 Azure 데이터베이스로 스키마 및 데이터를 마이그레이션합니다.
- 호스트 파일 용 관리되는 데이터 공급자는 다음을 통해 개체를 변환합니다.
- COBOL 및 RPG 레코드 레이아웃 또는 복사 문서 구문 분석.
- .NET 애플리케이션에서 사용하는 C# 개체에 복사 문서를 매핑합니다.
- 타사 도구는 비관계형 데이터베이스, 파일 시스템 및 기타 데이터 저장소에서 자동화된 개체 변환을 수행합니다.
데이터가 수집 및 변환됩니다. 메인프레임 및 미드레인지 시스템은 파일 시스템 데이터를 EBCDIC로 인코딩된 형식으로 다음과 같은 파일 형식으로 저장합니다.
COBOL, PL/I 및 어셈블리 언어 복사 문서는 이러한 파일의 데이터 구조를 정의합니다.
a. FTP는 단일 레이아웃 및 압축 해제된 필드가 있는 기본프레임 및 미드레인지 파일 시스템 데이터 세트를 이진 형식으로 전송하고 해당 copybook을 Azure로 전송합니다.
b. 데이터가 변환됩니다. Azure Data Factory 사용자 지정 커넥터는 호스트 통합 서버의 호스트 파일 클라이언트 구성 요소를 사용하여 기본프레임 데이터 세트를 변환하여 개발한 솔루션입니다.
Host Integration Server 는 기존 IBM 호스트 시스템, 프로그램, 메시지 및 데이터를 Azure 애플리케이션과 통합합니다. Host Integration Server는 데이터 세트 변환을 위한 사용자 지정 솔루션을 개발하는 데 사용할 수 있는 호스트 파일 클라이언트 구성 요소입니다.
Azure Data Factory 사용자 지정 커넥터는 오픈 소스 Spark 프레임워크를 기반으로 하며 Azure Synapse Analytics에서 실행됩니다. 다른 솔루션과 마찬가지로 복사 문서를 구문 분석하고 데이터를 변환할 수 있습니다. Azure Logic Apps 호스트 파일 콘텐츠 구문 분석 커넥터를 사용하여 데이터 변환을 위한 서비스를 관리합니다.
c. 관계형 데이터베이스 데이터가 마이그레이션됩니다.
IBM 기본프레임 및 미드레인지 시스템은 다음과 같은 관계형 데이터베이스에 데이터를 저장합니다.
이러한 서비스는 데이터베이스 데이터를 마이그레이션합니다.
- Data Factory는 Db2 커넥터를 사용하여 데이터베이스에서 데이터를 추출하고 통합합니다.
- SQL Server Integration Services는 다양한 데이터 ETL 작업을 처리합니다.
d. 비관계형 데이터베이스 데이터가 마이그레이션됩니다.
IBM 기본프레임 및 미드레인지 시스템은 다음과 같이 비관계형 데이터베이스에 데이터를 저장합니다.
타사 제품은 이러한 데이터베이스의 데이터를 통합합니다.
Data Factory 및 AzCopy와 같은 Azure 서비스는 Azure 데이터베이스 및 Azure 데이터 스토리지에 데이터를 로드합니다. 타사 솔루션 및 사용자 지정 로드 솔루션을 사용하여 데이터를 로드할 수도 있습니다.
Azure는 다음과 같은 다양한 관리형 데이터 스토리지 솔루션을 제공합니다.
Azure 서비스는 컴퓨팅, 분석, 스토리지 및 네트워킹에 현대화된 데이터 계층을 사용합니다.
또한 클라이언트 애플리케이션은 현대화된 데이터 계층을 사용합니다.
구성 요소
데이터 저장소
- SQL Database는 Azure SQL 제품군의 일부입니다. 클라우드용으로 빌드되었으며 완전 관리형 및 상록 플랫폼의 모든 이점을 서비스로 제공합니다. SQL Database는 성능과 내구성을 최적화하는 AI 기반 자동화 기능도 제공합니다. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 필요에 따라 리소스 크기를 자동으로 조정합니다.
- Azure Database for PostgreSQL은 오픈 소스 PostgreSQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
- Azure Cosmos DB 는 전역적으로 분산된 다중 모델NoSQL 데이터베이스입니다.
- Azure Database for MySQL은 오픈 소스 MySQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
- Azure Database for MariaDB는 클라우드 기반 관계형 데이터베이스 서비스입니다. MariaDB 커뮤니티 버전 데이터베이스 엔진을 기반으로 합니다.
- SQL Managed Instance 는 완전 관리형 및 상록 플랫폼의 모든 이점을 서비스로 제공하는 지능적이고 확장 가능한 클라우드 데이터베이스 서비스입니다. SQL Managed Instance는 최신 SQL Server Enterprise Edition 데이터베이스 엔진과 거의 100% 호환됩니다. 또한 일반적인 보안 문제를 해결하는 네이티브 가상 네트워크 구현을 제공합니다.
- Azure Data Lake Storage 는 기본 원시 형식으로 대량의 데이터를 보유하는 스토리지 리포지토리입니다. 데이터 레이크 저장소는 테라바이트 및 페타바이트 규모의 데이터에 맞게 크기를 조정할 수 있도록 최적화되었습니다. 데이터는 일반적으로 여러 다른 유형의 원본에서 제공됩니다. 구조화되거나, 반구조화되거나, 구조화되지 않을 수 있습니다.
컴퓨팅
- Data Factory는 컴퓨팅 인프라인 IR(통합 런타임 )을 사용하여 여러 네트워크 환경에서 데이터를 통합합니다. Data Factory는 자체 호스팅 RS를 사용하여 온-프레미스 네트워크의 클라우드 데이터 저장소와 데이터 저장소 간에 데이터를 복사합니다.
- Azure Virtual Machines 는 주문형, 확장 가능한 컴퓨팅 리소스를 제공합니다. Azure VM(가상 머신)은 가상화의 유연성을 제공하지만 물리적 하드웨어의 기본 테넌트 요구를 제거합니다. Azure VM은 Windows 및 Linux를 비롯한 다양한 운영 체제를 제공합니다.
데이터 통합자
- Azure Data Factory는 하이브리드 데이터 통합 서비스입니다. 이 솔루션에서 Azure Data Factory 사용자 지정 커넥터는 Host Integration Server의 호스트 파일 클라이언트 구성 요소를 사용하여 기본프레임 데이터 세트를 변환합니다. 최소한의 설정으로 사용자 지정 커넥터를 사용하여 다른 Azure Data Factory 커넥터를 사용하는 것처럼 기본frame 데이터 세트를 변환할 수 있습니다.
- AzCopy는 Blob 또는 파일을 스토리지 계정 내/외부로 이동하는 명령줄 유틸리티입니다.
- SQL Server Integration Services 는 엔터프라이즈 수준 데이터 통합 및 변환 솔루션을 만들기 위한 플랫폼입니다. 다음을 통해 복잡한 비즈니스 문제를 해결하는 데 사용할 수 있습니다.
- 파일 복사 또는 다운로드
- 데이터 웨어하우스 로드
- 데이터 정리 및 마이닝
- SQL Server 개체 및 데이터 관리
- Host Integration Server 기술 및 도구를 사용하면 기존 IBM 호스트 시스템, 프로그램, 메시지 및 데이터를 Azure 애플리케이션과 통합할 수 있습니다. 호스트 파일 클라이언트 구성 요소는 EBCDIC에서 ASCII로 변환되는 데이터에 대한 유연성을 제공합니다. 예를 들어 변환된 데이터에서 JSON/XML을 생성할 수 있습니다.
- Azure Synapse 는 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅 데이터 분석을 함께 제공합니다. 이 아키텍처에 사용되는 Azure Synapse 변환 솔루션은 Apache Spark를 기반으로 하며 대규모 기본frame-dataset 워크로드 변환에 적합한 후보입니다. 다양한 기본프레임 데이터 구조 및 대상을 지원하며 최소한의 코딩 작업이 필요합니다.
기타 도구
- Db2용 SQL Server Migration Assistant는 Db2 에서 Microsoft 데이터베이스 서비스로의 마이그레이션을 자동화합니다. VM에서 실행되는 경우 이 도구는 Db2 데이터베이스 개체를 SQL Server 데이터베이스 개체로 변환하고 SQL Server에서 해당 개체를 만듭니다.
- 호스트 파일용 데이터 공급자는 오프라인, SNA 또는 TCP/IP 연결을 사용하는 호스트 통합 서버의 구성 요소입니다.
- 오프라인 연결을 사용하면 데이터 공급자가 로컬 이진 파일에서 레코드를 읽고 씁니다.
- SNA 및 TCP/IP 연결을 사용하면 데이터 공급자가 원격 z/OS(IBM Z 시리즈 메인프레임) 데이터 세트 또는 원격 i5/OS(IBM AS/400 및 iSeries 시스템) 물리적 파일에 저장된 레코드를 읽고 씁니다. i5/OS 시스템만 TCP/IP를 사용합니다.
- Azure 서비스는 퍼블릭 클라우드에서 새 애플리케이션을 개발하고 크기 조정하기 위한 환경, 도구 및 프로세스를 제공합니다.
시나리오 정보
Azure 데이터 플랫폼과 같은 최신 데이터 스토리지 솔루션은 기본프레임 및 미드레인지 시스템보다 더 나은 확장성과 성능을 제공합니다. 시스템을 현대화하면 이러한 이점을 활용할 수 있습니다. 그러나 기술, 인프라 및 사례를 업데이트하는 것은 복잡합니다. 이 프로세스에는 비즈니스 및 엔지니어링 활동에 대한 철저한 조사가 포함됩니다. 데이터 관리는 시스템을 현대화할 때 고려해야 할 사항 중 하나입니다. 또한 데이터 시각화 및 통합도 살펴봐야 합니다.
성공적인 현대화는 데이터 우선 전략을 사용합니다. 이 방법을 사용하면 새 시스템이 아닌 데이터에 집중합니다. 데이터 관리는 더 이상 현대화 검사 목록에 있는 항목이 아닙니다. 대신 데이터가 중심입니다. 조정된 품질 지향 데이터 솔루션은 조각화되고 제대로 관리되지 않는 데이터 솔루션을 대체합니다.
이 솔루션은 데이터 우선 접근 방식에서 Azure 데이터 플랫폼 구성 요소를 사용합니다. 특히 솔루션에는 다음이 포함됩니다.
- 개체 변환입니다. 원본 데이터 저장소에서 대상 데이터 저장소의 해당 개체로 개체 정의를 변환합니다.
- 데이터 수집. 원본 데이터 저장소에 커넥트 데이터 추출
- 데이터 변환 추출된 데이터를 적절한 대상 데이터 저장소 구조로 변환합니다.
- 데이터 스토리지. 원본 데이터 저장소에서 대상 데이터 저장소로 데이터를 초기 및 지속적으로 로드합니다.
잠재적인 사용 사례
기본프레임 및 미드레인지 시스템을 사용하는 조직은 특히 이러한 목표를 달성하려는 경우 이 솔루션의 이점을 활용할 수 있습니다.
- 중요 업무용 워크로드를 현대화합니다.
- 비즈니스 인텔리전스를 획득하여 운영을 개선하고 경쟁 우위를 확보합니다.
- 기본프레임 및 미드레인지 데이터 저장소와 관련된 높은 비용 및 강성을 제거합니다.
고려 사항
이러한 고려 사항은 워크로드의 품질 개선에 사용할 수 있는 일련의 기본 지침인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요. 호스트 파일용 데이터 공급자 클라이언트를 사용하여 데이터를 변환하는 경우 연결 풀링을 켜서 연결 시작 시간을 줄입니다. Data Factory를 사용하여 데이터를 추출하는 경우 복사 작업의 성능을 조정합니다.
보안
우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안 요소의 개요를 참조하세요.
- Azure의 온-프레미스 클라이언트 ID와 클라이언트 ID 간의 차이점에 유의하세요. 차이점을 보완해야 합니다.
- 구성 요소-구성 요소 데이터 흐름에 관리 ID를 사용합니다.
- 호스트 파일용 데이터 공급자를 사용하여 데이터를 변환하는 경우 호스트 파일 보안 및 보호를 위한 데이터 공급자의 권장 사항을 따릅니다.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 것입니다. 자세한 내용은 비용 최적화 핵심 요소 개요를 참조하세요.
- SQL Server Migration Assistant는 Db2에서 SQL Server, SQL Database 및 SQL Managed Instance로의 데이터베이스 마이그레이션을 간소화하는 무료 지원 도구입니다. SQL Server Migration Assistant는 마이그레이션 평가 분석, 스키마 및 SQL 문 변환 및 데이터 마이그레이션을 포함하여 마이그레이션의 모든 측면을 자동화합니다.
- Azure Synapse Spark 기반 솔루션은 오픈 소스 라이브러리에서 빌드됩니다. 라이선스 변환 도구의 재정적 부담을 없앨 수 있습니다.
- Azure 가격 계산기를 사용하여 이 솔루션 구현 비용을 예상합니다.
성능 효율성
성능 효율성은 사용자가 배치된 요구 사항을 효율적인 방식으로 충족하기 위해 워크로드의 크기를 조정할 수 있는 기능입니다. 자세한 내용은 성능 효율성 핵심 요소 개요를 참조하세요.
- 성능 효율성의 핵심 핵심 요소는 성능 관리, 용량 계획, 확장성 및 적절한 성능 패턴 선택입니다.
- 논리 인스턴스를 활성-활성 모드의 여러 온-프레미스 컴퓨터와 연결하여 자체 호스팅 IR을 확장할 수 있습니다.
- Azure SQL Database는 데이터베이스의 크기를 동적으로 조정하는 기능을 제공합니다. 서버리스 계층에서는 컴퓨팅 리소스의 크기를 자동으로 조정할 수 있습니다. 데이터베이스가 풀에서 리소스를 공유할 수 있도록 하는 탄력적 풀은 수동으로만 크기를 조정할 수 있습니다.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Ashish Khandelwal | 수석 엔지니어링 설계자 관리자
기타 기여자:
- Mick Alberts | 테크니컬 라이터
- Nithish Aruldoss | Engineering Architect
비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인합니다.
다음 단계
Azure 데이터베이스 마이그레이션 가이드를 검토합니다. 자세한 내용은 Azure 데이터 엔지니어ing - 메인프레임 및 미드레인지 현대화에 문의하세요.
아래 문서를 참조하세요.