Idées de solution
Cet article présente une idée de solution. Si vous souhaitez que nous développions le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, adressez-nous vos commentaires GitHub.
Cet article présente une solution pour un entrepôt de données d’entreprise dans Azure qui :
- regroupe toutes vos données, quel qu’en soit l’échelle ou le format ;
- permet à tous vos utilisateurs de tirer des insights de vos données à partir de tableaux de bord analytiques, de rapports opérationnels et d’une analytique avancée.
Apache® et Apache Spark sont soit des marques déposées, soit des marques commerciales d’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.
Architecture
Téléchargez un fichier Visio de cette architecture.
Dataflow
- Les pipelines Azure Synapse Analytics regroupent des données structurées, non structurées et semi-structurées, telles que des journaux, des fichiers et des médias. Les pipelines stockent les données dans Azure Data Lake Storage.
- Les pools Apache Spark dans Azure Synapse Analytics nettoient et transforment les données Data Lake Storage.
- Azure Synapse Analytics combine les données traitées avec des données structurées existantes, créant ainsi un hub de données unifié.
- Un pool SQL dédié met les données à la disposition des rapports opérationnels et des tableaux de bord analytiques d’où sont tirés des insights. Azure Analysis Services transmet les rapports et les tableaux de bord à des milliers d’utilisateurs finaux.
Components
- Azure Synapse Analytics est un service d’analytique conçu pour les entrepôts de données et les systèmes de Big Data. Cet outil fait appel à une architecture de traitement massivement parallèle et se caractérise par une intégration approfondie avec les services Azure.
- Les pipelines Azure Synapse Analytics vous permettent de créer, planifier et orchestrer des workflows, notamment des workflows ELT (extraction, chargement, transformation) et ETL (extraction, transformation, chargement).
- Stockage Blob Azure propose un stockage d’objets économique et hautement scalable pour tout type de données non structurées (images, vidéos, audio, documents, etc.).
- Data Lake Storage est un référentiel qui stocke de grandes quantités de données dans leur format brut natif. Data Lake Storage repose sur Stockage Blob. Par conséquent, Data Lake Storage reprend les fonctionnalités de scalabilité, de stockage hiérarchisé, de haute disponibilité et de reprise d’activité après sinistre de Stockage Blob.
- Les pools Spark Azure Synapse Analytics offrent une infrastructure de traitement parallèle qui prend en charge le traitement en mémoire pour améliorer les performances des applications d’analytique du Big Data.
- Analysis Services est un moteur d’analytique de niveau entreprise qui offre aux utilisateurs un moyen simple d’effectuer des analyses de données ad hoc. Vous pouvez utiliser Analysis Services pour régir, tester et fournir des solutions métier à grande échelle.
- Power BI est une suite d’outils d’analytique métier qui fournit des insights à l’échelle de votre organisation. Vous pouvez utiliser Power BI pour vous connecter à des centaines de sources de données, simplifier la préparation des données et piloter une analyse ad hoc. Vous pouvez aussi créer de superbes rapports et les publier pour pouvoir les utiliser sur le web et sur les appareils mobiles de votre organisation.
Détails du scénario
Un entrepôt de données d’entreprise rassemble toutes vos données, quels qu’en soit la source, le format ou l’échelle. Un entrepôt de données vous permet aussi d’exécuter une analytique hautement performante sur vos données, ce qui vous permet d’obtenir des insights via des tableaux de bord analytiques, des rapports opérationnels et une analytique avancée.
Cette solution établit un entrepôt de données qui :
- est une source unique de vérité pour vos données ;
- intègre des sources de données relationnelles à d’autres jeux de données non structurées ;
- utilise de puissants outils de visualisation et de modélisation sémantique pour simplifier l’analyse des données.
Pour intégrer des données à une plateforme unifiée, cette solution utilise des pipelines Azure Synapse Analytics. Ces pipelines offrent des fonctionnalités ELT et ETL. Plus particulièrement, vous pouvez vous servir des pipelines pour déplacer des données dans des workflows pilotés par les données. Les pipelines fonctionnent avec divers formats et structures de données.
Les pipelines stockent les données dans Data Lake Storage, qui repose sur Stockage Blob. Ce service de stockage peut gérer de grands volumes de données non structurées.
Les pools Azure Synapse Analytics constituent un élément clé de la solution. Ces pools nettoient et transforment les données stockées dans Azure. Leur infrastructure de traitement parallèle prend en charge le traitement en mémoire pour favoriser la rapidité et l’efficacité. Les pools prennent aussi en charge la mise à l’échelle automatique ; il est donc possible d’y ajouter des nœuds et d’en supprimer en fonction des besoins.
Un pool SQL dédié met les données traitées à disposition pour une analytique hautement performante. Ce pool stocke les données dans des tables relationnelles avec un stockage en colonnes, format qui réduit considérablement le coût de stockage des données. Il améliore aussi la performance des requêtes, ce qui vous permet de pratiquer une analytique à très grande échelle.
Cas d’usage potentiels
Vous pouvez utiliser cette solution dans des scénarios comme ceux qui font intervenir de gros volumes de données :
- Intégration d’appareils IoT
- Plateformes de données de clients
- Traitement en langage naturel
- Algorithmes de Machine Learning
Tarifs
Pour voir une estimation du coût de cette solution, consultez un exemple de prix dans la calculatrice de prix.
Étapes suivantes
- Documentation Azure Synapse Analytics
- Documentation sur les pipelines Azure Synapse Analytics
- Introduction au stockage d’objets dans Azure
- Pools Spark Azure Synapse Analytics
- Documentation Analysis Services
- Documentation Power BI