Apache®, Spark et le logo représentant une flamme sont des marques déposées ou des marques commerciales d’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.
Cet article décrit un plan de modernisation de bout en bout pour les sources de données mainframe et milieu de gamme.
Architecture
Téléchargez un fichier Visio de cette architecture.
Dataflow
Le flux de données suivant décrit le processus de modernisation d’un niveau de données mainframe. Il correspond au diagramme précédent.
Les systèmes mainframe et midrange stockent des données dans des sources de données, comme les systèmes de fichiers (VSAM, fichier plat, LTFS), les bases de données relationnelles (Db2 pour z/OS, Db2 pour IBM i, Db2 pour Linux UNIX et Windows) ou les bases de données non relationnelles (IMS, ADABAS, IDMS).
Le processus de conversion d’objet extrait les définitions d’objet des objets sources. Les définitions sont ensuite converties en objets correspondants dans le magasin de données cible.
- L’Assistant Migration SQL Server (SSMA) pour Db2 migre les schémas et les données des bases de données IBM Db2 vers des bases de données Azure.
- Le fournisseur de données managées pour fichiers d’hôte convertit les objets de la façon suivante :
- analyse des dispositions d’enregistrement COBOL et RPG, ou copybooks ;
- mappage des copybooks aux objets C# que les applications .NET utilisent.
- Des outils tiers effectuent une conversion d’objets automatisée sur les bases de données non relationnelles, les systèmes de fichiers et d’autres magasins de données.
Les données sont ingérées et transformées. Les systèmes mainframe et midrange stockent leurs données de système de fichiers au format encodé en EBCDIC dans des formats de fichier comme :
Les copybooks COBOL, PL/I et en langage assembleur définissent la structure de données de ces fichiers.
a. FTP transfère les jeux de données des systèmes de fichiers mainframe et milieu de gamme avec des dispositions individuelles et des champs décompressés au format binaire, ainsi que le livre d’images correspondant, vers Azure.
b. Les données sont converties. Le connecteur personnalisé Azure Data Factory est une solution développée à l’aide du composant client Host File de Host Integration Server pour convertir des jeux de données mainframe.
Host Integration Server intègre les systèmes hôtes, programmes, messages et données IBM existants aux applications Azure. Host Integration Server est un composant client de fichier hôte que vous pouvez utiliser pour développer une solution personnalisée pour la conversion de jeux de données.
Le connecteur personnalisé Azure Data Factory est basé sur l’infrastructure Spark open source et s’exécute sur Azure Synapse Analytics. Comme d’autres solutions, il peut analyser le copybook et convertir des données. Gérez le service pour la conversion de données à l’aide du connecteur Contenu du fichier hôte d’analyse Azure Logic Apps.
c. Les données de base de données relationnelle sont migrées.
Les systèmes IBM mainframe et milieu de gamme stockent les données dans des bases de données relationnelles de type :
Ces services migrent les données de base de données :
- Data Factory utilise un connecteur Db2 pour extraire et intégrer les données des bases de données.
- SQL Server Integration Services gère diverses tâches ETL sur les données.
d. Les données de base de données non relationnelle sont migrées.
Les systèmes IBM mainframe et milieu de gamme stockent les données dans des bases de données non relationnelles de type :
- IDMS, un système de gestion de base de données (SGDB) de type modèle de réseau
- IMS, un modèle hiérarchique SGBD
- Adabas
- Datacom
Des produits tiers intègrent les données de ces bases de données.
Des services Azure comme Data Factory et AzCopy chargent les données dans des bases de données Azure et un stockage de données Azure. Vous pouvez aussi utiliser des solutions tierces et des solutions de chargement personnalisées pour charger les données.
Azure fournit de nombreuses solutions de stockage de données managées :
Les services Azure utilisent la couche Données modernisée pour le calcul, l’analytique, le stockage et le réseau.
Les applications clientes utilisent également la couche Données modernisée.
Components
Stockage des données
- SQL Database fait partie de la famille Azure SQL. Il est conçu pour le cloud et offre tous les avantages d’une plateforme en tant que service complètement managée et durable. SQL Database fournit également des fonctionnalités automatisées basées sur l’IA qui optimisent les performances et la durabilité. Le calcul sans serveur et des options de stockage Hyperscale mettent automatiquement à l’échelle les ressources à la demande.
- Azure Database pour PostgreSQL est un service de base de données relationnelle complètement managé, basé sur l’édition communautaire du moteur de base de données open source PostgreSQL.
- Azure Cosmos DB est une base de données multimodèleNoSQL distribuée à l’échelle mondiale.
- Azure Database pour MySQL est un service de base de données relationnelle complètement managé qui est basé sur l’édition Community du moteur de base de données open source MySQL.
- Azure Database for MariaDB est un service de base de données relationnelle basé sur le cloud. Il est basé sur le moteur de base de données de l’édition Community de MariaDB.
- SQL Managed Instance est un service de base de données cloud intelligent et scalable qui offre tous les avantages d’une plateforme en tant que service complètement managée et durable. SQL Managed Instance est presque 100 % compatible avec le dernier moteur de base de données SQL Server Édition Entreprise. Il fournit également une implémentation native de réseau virtuel qui résout les problèmes de sécurité courants.
- Azure Data Lake Storage est un dépôt de stockage qui contient une grande quantité de données dans leur format brut natif. Les lacs de données sont optimisés pour s’adapter à des téraoctets et pétaoctets de données. Les données viennent généralement de plusieurs sources hétérogènes. Elles peuvent être structurées, semi-structurées ou non structurées.
Compute
- Data Factory intègre des données dans différents environnements réseau à l’aide d’un runtime d’intégration (IR), qui est une infrastructure de calcul. Data Factory copie des données entre des magasins de données dans le cloud et des magasins de données dans les réseaux locaux en utilisant des IR auto-hébergés.
- Les machines virtuelles Azure fournissent des ressources de calcul à la demande et scalables. Une machine virtuelle Azure offre la flexibilité de la virtualisation, sans les exigences de maintenance du matériel physique. Les machines virtuelles Azure vous offrent un choix de systèmes d'exploitation tels que Windows et Linux.
Intégrateurs de données
- Azure Data Factory est un service d’intégration de données hybride. Dans cette solution, un connecteur personnalisé Azure Data Factory utilise le composant client Host File de Host Integration Server pour convertir les jeux de données mainframe. Avec une configuration minimale, vous pouvez utiliser un connecteur personnalisé comme tout autre connecteur Azure Data Factory pour convertir votre jeu de données mainframe.
- AzCopy est un utilitaire de ligne de commande qui déplace des blobs ou des fichiers vers et depuis des comptes de stockage.
- SQL Server Integration Services est une plateforme permettant de créer des solutions de transformation et d’intégration de données au niveau de l’entreprise. Vous pouvez l’utiliser pour résoudre des problèmes professionnels complexes de la façon suivante :
- Copie ou téléchargement de fichiers.
- Chargement d’entrepôts de données.
- Nettoyage et exploration de données.
- Gestion des objets et données SQL Server.
- Les technologies et outils Host Integration Server vous permettent d’intégrer les systèmes hôtes, programmes, messages et données IBM existants aux applications Azure. Le composant client Host File offre une certaine flexibilité pour les données converties d’EBCDIC en ASCII. Par exemple, vous pouvez générer du code JSON/XML à partir des données converties.
- Azure Synapse Analytics regroupe l’intégration de données, l’entreposage des données d’entreprise et l’analytique du Big Data. La solution de conversion Azure Synapse utilisée dans cette architecture est basée sur Apache Spark, et est un bon candidat pour la conversion de charge de travail de grands mainframes et jeux de données. Il prend en charge un large éventail de cibles et structures de données mainframe sans un grand effort de codage.
Autres outils
- L’Assistant Migration SQL Server pour Db2 automatise la migration de Db2 vers les services de base de données Microsoft. Quand il est exécuté sur une machine virtuelle, cet outil convertit les objets de base de données Db2 en objets de base de données SQL Server et crée ces objets dans SQL Server.
- Le fournisseur de données pour fichiers d’hôte est un composant de Host Integration Server qui utilise des connexions hors ligne, SNA ou TCP/IP.
- Avec des connexions hors ligne, le Fournisseur de données lit et écrit des enregistrements dans un fichier binaire local.
- Avec des connexions SNA et TCP/IP, le fournisseur de données lit et écrit des enregistrements stockés dans des jeux de données z/OS distants (Mainframe IBM de série Z) ou des fichiers physiques i5/OS distants (systèmes IBM AS/400 et iSeries). Seuls les systèmes i5/OS utilisent TCP/IP.
- Les services Azure fournissent des environnements, des outils et des processus pour développer et mettre à l’échelle les nouvelles applications dans le cloud public.
Détails du scénario
Les solutions de stockage de données modernes, comme la plateforme de données Azure, offrent une scalabilité et des performances améliorées par rapport aux systèmes mainframe et milieu de gamme. Vous pouvez tirer parti de ces avantages en modernisant vos systèmes. Toutefois, la mise à jour de la technologie, de l’infrastructure et des pratiques est complexe. Le processus implique une investigation complète des activités métier et d’ingénierie. La gestion des données est un facteur à prendre en compte quand vous modernisez vos systèmes. Vous devez également tenir compte de la visualisation et de l’intégration des données.
Les modernisations réussies adoptent une stratégie « data first ». Quand vous utilisez cette approche, vous vous concentrez sur les données plutôt que sur le nouveau système. La gestion de données n’est plus un élément parmi d’autres sur la check-list de la modernisation. Les données deviennent la clé de voûte. Des solutions de données coordonnées et orientées qualité remplacent les solutions fragmentées et mal gérées.
Cette solution utilise des composants de la plateforme de données Azure dans une approche « data first ». Plus précisément, la solution couvre les étapes suivantes :
- Conversion d’objet. conversion des définitions d’objets du magasin de données source en objets correspondants dans le magasin de données cible.
- Ingestion des données. connexion au magasin de données source et extraction de données.
- Transformation des données. transformation des données extraites en structures du magasin de données cibles appropriées.
- Stockage des données. chargement de données du magasin de données source dans le magasin de données cible, initialement, puis en continu.
Cas d’usage potentiels
Les organisations qui utilisent des systèmes mainframe et milieu de gamme peuvent tirer parti de cette solution, en particulier quand elles souhaitent atteindre ces objectifs :
- moderniser les charges de travail stratégiques ;
- obtenir des décisionnels afin d’améliorer les opérations et d’acquérir un avantage concurrentiel ;
- Échapper aux coûts élevés et à la rigidité associés aux magasins de données mainframe et milieu de gamme.
Considérations
Ces considérations implémentent les piliers d’Azure Well-Architected Framework, un ensemble de principes directeurs que vous pouvez utiliser pour améliorer la qualité d’une charge de travail. Pour plus d'informations, consultez Microsoft Azure Well-Architected Framework. Lorsque vous utilisez le client Fournisseur de données pour fichiers d’hôtes pour convertir des données, activez le regroupement de connexions pour réduire le temps de démarrage de la connexion. Quand vous utilisez Data Factory pour extraire des données, réglez les performances de l’activité de copie.
Sécurité
La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour plus d’informations, consultez Vue d’ensemble du pilier Sécurité.
- Tenez compte des différences entre les identités clientes locales et les identités clientes dans Azure. Vous devez compenser les éventuelles différences.
- Utilisez des identités managées pour les flux de données composant à composant.
- Quand vous utilisez un fournisseur de données pour fichiers d’hôte afin de convertir les données, suivez les recommandations de Sécurité et protection des fournisseurs de données pour fichiers d’hôte.
Optimisation des coûts
L’optimisation des coûts consiste à réduire les dépenses inutiles et à améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez Vue d’ensemble du pilier d’optimisation des coûts.
- L’Assistant Migration SQL Server est un outil gratuit et pris en charge qui simplifie la migration de base de données Db2 vers SQL Server, SQL Database et SQL Managed Instance. L’Assistant Migration SQL Server automatise tous les aspects de la migration, y compris l’analyse d’évaluation de la migration, la conversion de schémas et d’instructions SQL, et la migration des données.
- La solution Azure Synapse basée sur Spark est construite à partir de bibliothèques open source. Elle évite d’avoir à supporter les coûts de licence des outils de conversion.
- Utilisez la Calculatrice de prix Azure pour estimer le coût de l’implémentation de cette solution.
Efficacité des performances
L’efficacité des performances est la capacité de votre charge de travail à s’adapter à la demande des utilisateurs de façon efficace. Pour en savoir plus, référez-vous à la sectionVue d’ensemble du pilier d’efficacité des performances.
- Les principaux piliers de l’efficacité des performances sont la gestion des performances, la planification de la capacité, la scalabilité et le choix d’un modèle de performances approprié.
- Vous pouvez effectuer un scale-out de l’IR autohébergé en associant l’instance logique avec plusieurs machines locales en mode actif/actif.
- Azure SQL Database offre la possibilité de mettre à l’échelle vos bases de données de façon dynamique. Dans un niveau serverless, il peut automatiquement mettre à l’échelle les ressources de calcul. Les pools élastiques, qui permettent aux bases de données de partager des ressources dans un pool, peuvent uniquement être mis à l’échelle manuellement.
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteur principal :
- Ashish Khandelwal | Directeur principal de l’architecture d’ingénierie
Autres contributeurs :
- Mick Alberts | Rédacteur technique
- Nithish Aruldoss | Architecte Ingénierie
Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.
Étapes suivantes
Lisez les guides de migration des bases de données Azure. Pour plus d’informations, contactez le service Azure Data Engineering - Mainframe & Midrange Modernization.
Reportez-vous aux articles suivants :
- Charges de travail IBM dans Azure
- Réhébergement de mainframe sur des machines virtuelles Azure
- Charges de travail mainframe prises en charge sur Azure
- Déplacer le calcul mainframe vers Azure