ソリューションのアイデア
このアーティクルはソリューションのアイデアです。 このコンテンツにさらに多くの情報 (想定されるユース ケース、代替サービス、実装に関する考慮事項、価格ガイダンスなど) の掲載をご希望の方は、GitHub のフィードバックでお知らせください。
オンプレミス メインフレームまたはミッドレンジ アプリケーションを Azure に移行する場合、データの移動が主な考慮事項となります。 いくつかのモダナイゼーションでは、ファイルを Azure にすばやくレプリケートするか、オンプレミス ファイルと Azure ファイルの間で同期を維持する必要があります。
この記事では、Azure へのファイルの移動、ファイル データの変換と変更、オンプレミスと Azure へのデータの格納など、さまざまなプロセスについて説明します。
Architecture
次の図は、オンプレミスのファイルを Azure にレプリケートして同期するためのいくつかのオプションを示しています。
このアーキテクチャの Visio ファイルをダウンロードします。
データフロー
Azure にファイルを移動する:
オンプレミスや Azure にファイルを転送する最も簡単な方法は、ファイル転送プロトコル (FTP) を使用することです。 Azure 仮想マシン (VM) で FTP サーバーをホストできます。 単純な FTP ジョブ制御言語 (JCL) により、ファイルがバイナリ形式で Azure に送信されます。これは、メインフレームとミッドレンジの計算およびバイナリ データ型を維持するために不可欠です。 送信されたファイルは、オンプレミスのディスク、Azure VM ファイル ストレージ、または Azure Blob Storage に格納できます。
AzCopy などのツールを使用して、オンプレミスのファイルを Blob Storage にアップロードすることもできます。
Azure Data Factory FTP/SFTP コネクタを使用して、メインフレーム システムから Blob Storage にデータを転送することもできます。 この手法にも、セルフホステッド統合ランタイム (SHIR) がインストールされている中間 VM が必要です。
また、メインフレームから Azure にファイルを移動するサード パーティ製ツールを Azure Marketplace で見つけることもできます。
次のようにしてデータの調整、変換、変更を行います。
Azure では、Azure VM ディスクまたは Blob Storage で IBM の拡張 2 進化 10 進交換コード (EBCDIC) コード ページ ファイルを読み取ることができません。 これらのファイルを Azure と互換させるため、Host Integration Server (HIS) が、これらのファイルを EBCDIC から 情報交換用米国標準コード (ASCII) 形式に変換します。
コピーブックに、COBOL、PL/I、アセンブリ言語ファイルのデータ構造が定義されています。 HIS により、これらのファイルは、コピーブック レイアウトに基づいて ASCII に変換されます。
データを Azure データ ストアに転送する前、データを変換するか分析に使用することが必要な場合があります。 Data Factory では、これらの "抽出-変換-読み込み (ETL)" アクティビティおよび "抽出-読み込み-変換 (ELT)" アクティビティの管理や、Azure Data Lake Storage へのデータの直接格納ができます。
ビッグ データ統合では、Azure Databricks と Azure Synapse Analytics により、Apache Spark エンジンを使用してメモリ内の計算を行うことにより、すべての変換アクティビティを迅速かつ効果的に実行できます。
次のようにしてデータを保管します。
移動したデータは、要件に応じて、いくつかの使用可能な永続 Azure ストレージ モードの 1 つに格納できます。
分析が不要な場合は、Azure Data Factory により、Data Lake Storage や Blob Storage などの幅広いストレージ オプションにデータを直接格納できます。
Azure はさまざまなデータベースをホストし、 そこではさまざまなニーズへの対応が行われます。
- 関係データベースには、SQL Server ファミリ、および、PostgreSQL や MySQL などのオープンソース データベースが含まれます。
- 非リレーショナル データベースには、高速なマルチモデルのグローバル分散 NoSQL データベースである Azure Cosmos DB が含まれます。
分析とビジネス インテリジェンスを評価する:
Microsoft Fabric は、組織がデータ移動の調査、データ サイエンスの実験、リアルタイム分析とビジネス インテリジェンスの評価に使用できるオールインワンの分析ソリューションです。 データレイク、データエンジニアリング、データ統合など、包括的な機能スイートを提供します。
コンポーネント
ファイルの転送、統合、格納などのさまざまなシナリオでは、異なるコンポーネントが使用されます。 Azure リソースのコストを見積もるには、Azure 料金計算ツールを確認してください。
ネットワーク
オンプレミスのデータ ゲートウェイは、オンプレミスのデータをクラウド サービスに接続するブリッジ ソフトウェアです。 このゲートウェイは専用のオンプレミス VM にインストールします。
データの取り込みと変換
Data Provider for Host Files は、EBCDIC コード ページ ファイルを ASCII に変換する HIS のコンポーネントです。 プロバイダーは、ローカル バイナリ ファイルでオフラインでレコードの読み取りと書き込みを行えたり、Systems Network Architecture (SNA) や伝送制御プロトコル/インターネット プロトコル (TCP/IP) を使ってリモートの IBM z/OS メインフレーム データ セットや i5/OS 物理ファイル内の記録の読み取りと書き込みを行えたりできます。 HIS コネクタは、BizTalk および Azure Logic Apps で使用できます。
Azure Data Factory は、ETL および ELT ワークフローを作成、スケジュール、調整するために使用できるハイブリッド データ統合サービスです。
Azure Databricks は、Azure に最適化された Apache Spark ベースの分析プラットフォームです。 Databricks を使用して、受信データを関連付け、Databricks に格納されている他のデータで強化することができます。
Azure Synapse Analytics は、高速で柔軟性のあるクラウド データ ウェアハウスであり、弾力的かつ個別にデータのスケーリング、計算、格納を行うための大規模並列処理アーキテクチャを備えています。
データベース
Azure SQL Database は、スケーラブルなリレーショナル クラウド データベース サービスです。 パフォーマンスと耐久性を最適化する、AI を使用した自動機能により、Azure SQL Database は常時利用可能で常に最新の状態に維持されます。 サーバーレス コンピューティングとハイパースケール ストレージ オプションにより、リソースが必要に応じて自動的にスケーリングされます。 Azure ハイブリッド特典を使用すると、既存のオンプレミスの SQL Server ライセンスを追加料金なしにクラウドで使用できます。
Azure SQL Managed Instance では、最も広範な SQL Server データベース エンジン互換性と、フル マネージドで常時利用可能な "サービスとしてのプラットフォーム (PaaS)" のすべての利点を兼ね備えています。 SQL Managed Instance を使用すると、使い慣れたツール、スキル、リソースを使用して既存のアプリを大規模に最新化できます。
Azure Virtual Machines 上の SQL Server では、SQL Server ワークロードをリフト アンド シフトでクラウドに移行して、Azure の柔軟性とハイブリッド接続を SQL Server のパフォーマンス、セキュリティ、および分析と組み合わせることができます。 SQL Server の更新と最新リリースに、100% のコード互換性でアクセスできます。
Azure Database for PostgreSQL: オープンソースの PostgreSQL データベース エンジンの Community Edition に基づくフル マネージド リレーショナル データベース サービスです
Azure Database for MySQL: オープンソースの MySQL データベース エンジンの Community Edition に基づくフル マネージド リレーショナル データベース サービスです
Azure Cosmos DB は、スケーラブルでハイ パフォーマンスのアプリケーションを構築および最新化するためのフル マネージドのマルチモデル NoSQL データベース サービスです。 Azure Cosmos DB により、地理的リージョンに依存することなく弾力的にスループットとストレージがスケーリングされ、世界中のどこでも 99 パーセンタイルで 10 ミリ秒未満の待機時間が保証されます。
その他のデータ ストア
Blob Storage には、HTTP または HTTPS 経由で世界中のどこからでもアクセスできる、テキストやバイナリ データなどの大量の非構造化データが格納されます。 Blob Storage を使用すると、データを一般に公開することも、アプリケーション データを公開せずに格納することもできます。
Data Lake Storage は、大量のデータを未加工のネイティブ形式で保持するストレージ リポジトリです。 Data Lake Storage は、テラバイト単位およびペタバイト単位のデータを含むビッグ データ分析ワークロードにおけるスケーリングを提供します。 そのデータは通常、複数の異種ソースからのもので、構造化、半構造化、あるいは非構造化されているデータである場合があります。
考えられるユース ケース
オンプレミス ファイルのレプリケーションと同期のユース ケースには以下が含まれます。
ダウンストリームやアップストリームの依存関係 (たとえば、メインフレームで実行されるアプリケーションと Azure で実行されるアプリケーションがファイルを介してデータを交換する必要がある場合)。
オンプレミスのアプリケーションによる、Azure で再ホストまたは再設計されたアプリケーションの並列テスト。
即座に修復または最新化できないシステム上の密結合されたオンプレミスのアプリケーション。
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパルの作成者:
- Ashish Khandelwal | プリンシパル エンジニアリング アーキテクチャ マネージャー
- Nithish Aruldoss | エンジニアリング アーキテクト
パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。
次のステップ
- 詳細については、Microsoft SQL Data Engineering チームにお問い合わせください。
- Azure データベースの移行ガイド