Interrogation de données interactive avec HDInsight

Data Factory
Data Lake Storage
HDInsight
Power BI

Idée de solution

Si vous souhaitez nous voir développer cet article avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, faites-le nous savoir avec les Commentaires de GitHub.

Effectuez des requêtes de type SQL rapides et interactives à grande échelle sur des données structurées ou non structurées avec Apache Hive LLAP sur Azure HDInsight.

Architecture

Diagramme d’architecture Télécharger une SVG de cette architecture.

Data Flow

  1. Déplacer des données entre clouds Azure ou tout autre cloud non-Azure avec Azure Data Factory
  2. Créer une zone d’atterrissage de données à l’aide du service Azure Data Lake Gen2, qui est également le compte de stockage principal pour le cluster Hadoop Azure HDInsights
  3. Exécuter des procédures ELT avec Azure Data Factory ou Hive pour transformer des données entrantes dans HDFS
  4. Créer des tables externes dans Hive à l’aide de ces données dans HDFS
  5. Utiliser Power BI pour interpréter ces données et créer des visualisations

Composants

  • Azure Data Factory est un service d’intégration de données hybride qui vous permet de créer, de planifier et d’orchestrer vos workflows ETL/ELT.
  • Azure Data Lake Storage est un ensemble de fonctionnalités telles que la sémantique du système de fichiers et la sécurité au niveau des fichiers dédiées à l’analytique du Big Data et basées sur Stockage Blob Azure.
  • Azure HDInsight rend simple, rapide et économique le traitement de volumes importants de données. Vous pouvez utiliser les infrastructures open source les plus populaires, telles que Hadoop, Spark, Hive, LLAP, Kafka, Storm, R et bien plus encore.
  • Power BI est une suite d’outils d’analytique métier qui fournit des insights à l’échelle de votre organisation. Connectez-vous à des centaines de sources de données, simplifiez la préparation des données et menez des analyses ad hoc.

Voir aussi