Облачная аналитика с помощью Discovery HubDiscovery Hub with Cloud Scale Analytics

Концепция решения Solution Idea

Если вы хотите ознакомиться с этой статьей, дополнительные сведения (сведения о реализации, рекомендации по ценам, примеры кода и т. д.), сообщите нам о отзывах в GitHub!If you'd like to see us expand this article with more information (implementation details, pricing guidance, code examples, etc), let us know with GitHub Feedback!

Используйте центр обнаружения для определения пространства данных с помощью графического пользовательского интерфейса с определениями, хранящимися в репозитории метаданных.Use Discovery Hub to define a data estate using a graphical user interface, with definitions stored in a metadata repository. Код для создания пространства данных создается автоматически, в то время как остается полностью настраиваемым.Code for building the data estate is generated automatically while remaining fully customizable. Полученное современное хранилище данных готово к поддержке облачной аналитики и искусственного интеллекта.The resulting modern data warehouse is ready to support cloud scale analytics and AI.

АрхитектураArchitecture

Схема архитектуры . Скачайте SVG этой архитектуры.Architecture Diagram Download an SVG of this architecture.

Поток данныхData Flow

  1. Объедините все структурированные и частично структурированные данные в Azure Data Lake Storage используя конвейер проектирования данных центра обнаружения с сотнями собственных соединителей данных.Combine all your structured and semi-structured data in Azure Data Lake Storage using Discovery Hub's data engineering pipeline with hundreds of native data connectors.
  2. Очистка и преобразование данных с помощью мощных средств аналитики и вычислительной способности Azure Databricks.Clean and transform data using the powerful analytics and computational ability of Azure Databricks.
  3. Перемещение очищенных и преобразованных данных в Azure синапсе Analytics, создание одного центра для всех данных.Move cleansed and transformed data to Azure Synapse Analytics, creating one hub for all your data. Воспользуйтесь собственными соединителями между Azure Databricks (Polybase) и Azure синапсе Analytics, чтобы получать доступ к данным и перемещать их в нужном масштабе.Take advantage of native connectors between Azure Databricks (PolyBase) and Azure Synapse Analytics to access and move data at scale.
  4. Создавайте рабочие отчеты и аналитические панели мониторинга поверх базы данных SQL, чтобы получить ценные сведения из данных и использовать Azure Analysis Services для обслуживания данных.Build operational reports and analytical dashboards on top of SQL Database to derive insights from the data and use Azure Analysis Services to serve the data.
  5. Выполнение специальных запросов непосредственно к данным в Azure Databricks.Run ad-hoc queries directly on data within Azure Databricks.

ComponentsComponents

  • Azure Data Lake Storage: масштабируемые и безопасные функции data Lake, основанные на хранилище BLOB-объектов AzureAzure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks: Быстрая, простая и совместная работающая платформа аналитики на основе Apache SparkAzure Databricks: Fast, easy, and collaborative Apache Spark-based analytics platform
  • Azure синапсе Analytics: неограниченная служба аналитики с несоответствующим временем для анализа (прежнее хранилище данных SQL)Azure Synapse Analytics: Limitless analytics service with unmatched time to insight (formerly SQL Data Warehouse)
  • Azure Analysis Services: модуль аналитики корпоративного класса как услугаAzure Analysis Services: Enterprise-grade analytics engine as a service
  • Power BI Embedded: внедрять полностью Интерактивные, впечатляющие визуализации данных в приложенияхPower BI Embedded: Embed fully interactive, stunning data visualizations in your applications

Следующие шагиNext steps