Discovery Hub com Análise à Escala da Cloud

Analysis Services
Data Lake Storage
Databricks
Synapse Analytics

Ideia de solução Solution Idea

Se quiser ver-nos expandir este artigo com mais informações, detalhes de implementação, orientação de preços ou exemplos de código, informe-nos com o Feedback do GitHub!If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Utilize o Discovery Hub para definir uma propriedade de dados utilizando uma interface gráfica do utilizador, com definições armazenadas num repositório de metadados.Use Discovery Hub to define a data estate using a graphical user interface, with definitions stored in a metadata repository. Código para a construção da propriedade de dados é gerado automaticamente, mantendo-se totalmente personalizável.Code for building the data estate is generated automatically while remaining fully customizable. O armazém de dados moderno resultante está pronto para suportar análises em escala de nuvem e IA.The resulting modern data warehouse is ready to support cloud scale analytics and AI.

ArquiteturaArchitecture

Diagrama de arquitetura Descarregue um SVG desta arquitetura.Architecture Diagram Download an SVG of this architecture.

Fluxo de DadosData Flow

  1. Combine todos os seus dados estruturados e semi-estruturados no Azure Data Lake Storage usando o pipeline de engenharia de dados do Discovery Hub com centenas de conectores de dados nativos.Combine all your structured and semi-structured data in Azure Data Lake Storage using Discovery Hub's data engineering pipeline with hundreds of native data connectors.
  2. Limpe e transforme dados usando a poderosa capacidade de análise e computação da Azure Databricks.Clean and transform data using the powerful analytics and computational ability of Azure Databricks.
  3. Mova dados limpos e transformados para Azure Synapse Analytics, criando um hub para todos os seus dados.Move cleansed and transformed data to Azure Synapse Analytics, creating one hub for all your data. Aproveite os conectores nativos entre a Azure Databricks (PolyBase) e a Azure Synapse Analytics para aceder e mover dados à escala.Take advantage of native connectors between Azure Databricks (PolyBase) and Azure Synapse Analytics to access and move data at scale.
  4. Construa relatórios operacionais e dashboards analíticos em cima da Base de Dados SQL para obter insights dos dados e utilizar os Serviços de Análise Azure para servir os dados.Build operational reports and analytical dashboards on top of SQL Database to derive insights from the data and use Azure Analysis Services to serve the data.
  5. Executar consultas ad-hoc diretamente sobre dados dentro de Azure Databricks.Run ad-hoc queries directly on data within Azure Databricks.

ComponentesComponents

  • Armazenamento do Lago Azure Data: Massivamente escalável, funcionalidade segura do lago de dados construído no armazenamento de blob AzureAzure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks: Plataforma de análise baseada em Faíscas Apache, rápida, fácil e colaborativaAzure Databricks: Fast, easy, and collaborative Apache Spark-based analytics platform
  • Azure Synapse Analytics: Serviço de análise ilimitado com tempo inigualável para insights (anteriormente SQL Data Warehouse)Azure Synapse Analytics: Limitless analytics service with unmatched time to insight (formerly SQL Data Warehouse)
  • Serviços de Análise Azure: Motor de análise de nível empresarial como serviçoAzure Analysis Services: Enterprise-grade analytics engine as a service
  • Power BI Incorporado: Incorporar visualizações de dados totalmente interativas e deslumbrantes nas suas aplicaçõesPower BI Embedded: Embed fully interactive, stunning data visualizations in your applications

Passos seguintesNext steps