Когда следует использовать HDInsight

  • 8 мин

Самое важное преимущество HDInsight — это большой выбор различных конфигураций, предлагаемых службой. Это позволяет поддерживать самые разные рабочие нагрузки. Эти рабочие нагрузки могут включать пакетную обработку данных, работу с потоковой передачей данных или управление хранилищами данных и (или) рабочие нагрузки обработки и анализа данных. Эта функция делает HDInsight оптимальным выбором, особенно если бизнес-процесс содержит несколько рабочих нагрузок.

Например, если ваша организация создает хранилище данных только для представления исторических отчетов с помощью Power BI, использование хранилища данных SQL Azure с Power BI может быть нецелесообразным. Аналогичным образом, если вашей организации требуется только расширенная аналитика с помощью решения для обработки и анализа данных, то может быть целесообразно использовать только Azure Databricks.

Однако если рабочие нагрузки организации предполагают прием данных для исторических отчетов и расширенной аналитики, а также данных потоковой передачи, для которых требуется анализ, HDInsight является оптимальным выбором. Все данные могут быть приняты в одно расположение Data Lake. Затем можно использовать правильную конфигурацию HDInsight для управления пакетной обработкой, хранением данных, операциями обработки и анализа данных, а также потоковой передачей. Так как область вычислений отделена от хранилища, это можно легко делать на основе одних и тех же данных. Кроме того, можно свести к минимуму затраты на хранение, так как операции выполняются с одним, а не с несколькими хранилищами данных.

Отличительные особенности HDInsight

В дополнение к описанным выше сценариям. Ниже приведены ключевые отличия, которые делают HDInsight оптимальным выбором для рабочих нагрузок больших данных.

  • Независимо масштабируемые вычисления и хранение данных
  • Автоматическое масштабирование рабочих узлов в зависимости от рабочей нагрузки или расписания
  • Гибкость и отказоустойчивость главных узлов
  • Безопасность корпоративного уровня
  • SDK

Разделение области вычислений и хранилища наряду с автоматическим масштабированием кластера в зависимости от рабочей нагрузки или расписания может помочь в значительной мере оптимизировать затраты. Главные узлы HDInsight устойчивы к сбоям. Главные узлы поддерживаются отказоустойчивыми виртуальными машинами, что позволяет добиться высокой доступности службы на уровне 99,9 %, что предусмотрено соглашением об уровне обслуживания. Интеграция Microsoft Entra имеет корпоративные возможности безопасности проверки подлинности и авторизации. Эти инструменты наряду с поддержкой шифрования и виртуальной сети позволяют определить, кто может получить доступ к данным. HDInsight поддерживается различными пакетами SDK, которые позволяют создавать и разрабатывать кластеры на нескольких языках в различных средах IDE.