Bonnes pratiques pour gérer les assemblys U-SQL dans un pipeline CI/CD
Dans cet article, vous allez apprendre à gérer le code source des assemblys U-SQL avec le tout nouveau projet de base de données U-SQL. Vous allez également apprendre à implémenter un pipeline d'intégration et de déploiement continus (CI/CD) pour l'inscription des assemblys à l'aide d'Azure DevOps.
Important
Azure Data Lake Analytics mis hors service le 29 février 2024. Découvrez-en plus avec cette annonce.
Pour l’analytique des données, votre organization peut utiliser Azure Synapse Analytics ou Microsoft Fabric.
Utiliser le projet de base de données U-SQL pour gérer le code source des assemblys
Le projet de base de données U-SQL est un type de projet dans Visual Studio qui permet aux développeurs de développer, de gérer et de déployer rapidement et facilement leurs bases de données U-SQL. Vous pouvez gérer tous les objets de base de données U-SQL (à l'exception des informations d'identification) avec le projet de base de données U-SQL.
Pour gérer le code source C# des assemblys et les scripts U-SQL DDL d'inscription des assemblys, utilisez :
- le projet de base de données U-SQL pour gérer les scripts U-SQL d'inscription des assemblys ;
- la bibliothèque de classes (pour application U-SQL) afin de gérer le code source C# et les dépendances pour les opérateurs, fonctions et agrégateurs définis par l'utilisateur (UDO, UDF et UDAG) ;
- le projet de base de données U-SQL pour référencer le projet de bibliothèque de classes.
Un projet de base de données U-SQL peut référencer un projet de bibliothèque de classes (pour application U-SQL). Vous pouvez créer les assemblys inscrits dans la base de données U-SQL à l'aide de code source C# référencé à partir de ce projet de bibliothèque de classes (pour application U-SQL).
Suivez ces étapes pour créer des projets et ajouter des références.
Créez un projet de bibliothèque de classes (pour application U-SQL) en sélectionnant Fichier>Nouveau>Projet. Le projet se trouve sous le nœud Azure Data Lake > U-SQL.
Ajoutez votre code C# défini par l’utilisateur au projet de bibliothèque de classes (pour application U-SQL).
Créez un projet U-SQL en sélectionnant Fichier>Nouveau>Projet. Le projet se trouve sous le nœud Azure Data Lake>U-SQL.
Ajoutez une référence au projet de bibliothèque de classes C# pour le projet de base de données U-SQL.
Créez un script d'assembly dans le projet de base de données U-SQL en cliquant avec le bouton droit sur le projet et en sélectionnant Ajouter un nouvel élément.
Ouvrez le script d'assembly en mode création d'assembly. Sélectionnez l'assembly référencé dans le menu déroulant Créer un assembly à partir de la référence.
Ajoutez des dépendances gérées et des fichiers supplémentaires, le cas échéant. Lorsque vous ajoutez des fichiers supplémentaires, l'outil utilise le chemin d'accès relatif pour garantir que les assemblys seront trouvés aussi bien sur votre ordinateur local qu'ultérieurement sur l'ordinateur de build.
@_DeployTempDirectory en bas de la fenêtre de l’éditeur est une variable prédéfinie qui pointe l’outil vers le dossier de sortie de build. Dans le dossier de sortie de build, chaque assembly a un sous-dossier portant son nom. Toutes les DLL et tous les fichiers supplémentaires se trouvent dans ce sous-dossier.
Générer un projet de base de données U-SQL
La sortie de build du projet de base de données U-SQL est un package de déploiement de base de données U-SQL. Son nom est suivi du suffixe .usqldbpack. Le package .usqldbpack est un fichier .zip qui rassemble toutes les instructions DDL dans un même script U-SQL, situé dans le dossier DDL. Tous les fichiers .dll générés ainsi que les fichiers supplémentaires des assemblys se trouvent dans le dossier Temp.
Déployer une base de données U-SQL
Le package .usqldbpack peut être déployé sur un compte local ou sur un compte Azure Data Lake Analytics. Utilisez Visual Studio ou le kit de développement logiciel (SDK) de déploiement.
Déployer une base de données U-SQL dans Visual Studio
Vous pouvez déployer une base de données U-SQL à l'aide d'un projet de base de données U-SQL ou d'un package .usqldbpack dans Visual Studio.
Déployer à l'aide d'un projet de base de données U-SQL
Cliquez avec le bouton droit sur le projet de base de données U-SQL, puis sélectionnez Déployer.
Dans l'Assistant Déployer la base de données U-SQL, sélectionnez le compte ADLA sur lequel vous souhaitez déployer la base de données. Les comptes locaux et les comptes ADLA sont pris en charge.
La source de base de données est renseignée automatiquement. Elle pointe vers le package .usqldbpack situé dans le dossier de sortie de génération du projet.
Pour créer une base de données, entrez un nom dans Nom de la base de données. S'il existe une base de données du même nom sur le compte Azure Data Lake Analytics cible, tous les objets définis dans le projet de base de données sont créés sans que vous ayez à recréer la base de données.
Pour déployer la base de données U-SQL, cliquez sur Envoyer. Toutes les ressources (comme les assemblys et les fichiers supplémentaires) sont chargées. Un travail U-SQL incluant toutes les instructions DDL est soumis.
Déployer une base de données U-SQL dans Azure DevOps
PackageDeploymentTool.exe fournit les interfaces de programmation et de ligne de commande qui vous aident à déployer des bases de données U-SQL. Le Kit de développement logiciel (SDK) est inclus dans le package NuGet du SDK U-SQL, situé à l’adresse build/runtime/PackageDeploymentTool.exe.
Dans Azure DevOps, vous pouvez utiliser une tâche de ligne de commande et ce kit de développement logiciel (SDK) afin de configurer un pipeline d'automatisation pour l'actualisation de la base de données U-SQL. En savoir plus sur le kit de développement logiciel (SDK) et sur la configuration d'un pipeline CI/CD pour le déploiement d'une base de données U-SQL.