Аналитика в реальном времени для архитектуры больших данных

Службы Analysis Services
Центры событий
Synapse Analytics

Концепция решения

если вы хотите узнать больше о том, как получить дополнительные сведения о возможных вариантах использования, альтернативных службах, рекомендациях по реализации или ценах, сообщите нам о GitHub.

Легко получайте ценные сведения из потоковых данных в реальном времени. Непрерывно захватывать данные с любого устройства Интернета вещей или журналов из веб-сайта посещений ресурсов и обрабатывать их практически в реальном времени.

Architecture

схема аналитики в реальном времени для архитектуры больших данных с помощью Azure синапсе analytics с Azure Data Lake Storage 2-го поколения, концентратором событий, Azure Analysis Services, Azure Cosmos DB и Power BI.

Скачайте SVG этой архитектуры.

Поток данных

  1. Простое получение данных потоковой передачи для приложения с помощью концентраторов событий Azure.
  2. объедините все структурированные данные с помощью синапсе Pipelines в служба хранилища больших двоичных объектов Azure.
  3. Используйте преимущества пулов Apache Spark для очистки, преобразования и анализа данных потоковой передачи, а также объединения их с структурированными данными из рабочих баз данных или хранилищ данных.
  4. Используйте масштабируемые методики машинного обучения и глубокого обучения, чтобы получить более подробные сведения из этих данных, используя Python, Scala или .NET, с использованием мобильных приложений в пулах Apache Spark.
  5. примените Apache Spark пула и Pipelines синапсе в Azure синапсе Analytics, чтобы получить доступ к данным и перемещать их по шкале.
  6. создавайте панели мониторинга и внедренные отчеты аналитики в выделенном пуле SQL, чтобы поделиться ценными сведениями в организации и использовать Azure Analysis Services для предоставления этих данных тысячам пользователей.
  7. воспользуйтесь аналитическими сведениями из Apache Spark пулов, чтобы Cosmos DB сделать их доступными через приложения в реальном времени.

Компоненты

  • Azure синапсе Analytics — это быстрое, гибкое и надежное облачное хранилище данных, которое позволяет масштабировать, рассчитывать и хранить эластичные и автономные данные с помощью архитектуры массовой параллельной обработки.
  • документация по синапсе Pipelines позволяет создавать, планировать и координировать рабочие процессы ETL/ELT.
  • Azure Data Lake Storage: масштабируемые и безопасные функции Data Lake, основанные на служба хранилища больших двоичных объектов Azure
  • Пулы Azure синапсе Analytics Spark — это быстрые, простые и совместно работающие платформы аналитики на основе Apache Spark.
  • Документация по концентраторам событий Azure — это платформа потоковой передачи больших данных и служба приема событий.
  • Azure Cosmos DB — это многомодельная глобально распределенная служба баз данных. Затем вы узнаете, как реплицировать данные в любое количество регионов Azure и масштабировать пропускную способность независимо от хранилища.
  • ссылка Azure синапсе для Azure Cosmos DB позволяет запускать аналитику практически в реальном времени по рабочим данным в Azure Cosmos DB без какого-либо снижения производительности или затрат на транзакционную рабочую нагрузку с помощью двух модулей аналитики, доступных в рабочей области Azure синапсе: SQL пулов без сервера и Spark.
  • Azure Analysis Services — аналитика корпоративного уровня как услуга, позволяющая вам уверенно управлять, развертывать, тестировать и доставлять решения бизнес-аналитики.
  • Power BI — это набор инструментов бизнес-аналитики, которые обеспечивают целостное представление обо всей вашей организации. Подключение к сотням источников данных, упрощению подготовки данных и незапланированному анализу. Создание привлекательных отчетов, а затем публикация их в Организации для использования в Интернете и на мобильных устройствах.

Альтернативные варианты

  • ссылка на синапсе — это предпочтительное решение майкрософт для анализа на основе Cosmos DB данных.

Цены

Дальнейшие действия