Когда следует использовать Azure Data Explorer
Здесь мы обсудим, как решить, является ли azure Data Обозреватель правильным выбором для ваших потребностей в аналитике больших данных. Оценивая следующие критерии, вы можете определить, соответствует ли Обозреватель данных Azure требованиям к производительности и функциональным целям.
- Интерактивная аналитика
- Разнообразие данных
- Скорость данных
- Объем данных
- Упорядочение данных
- Параллелизм запросов
- Создание или приобретение
Условия принятия решений
Azure Data Обозреватель — это платформа интерактивной аналитики больших данных, которая позволяет людям принимать решения на основе данных в высоко гибкой среде. Перечисленные здесь факторы помогут оценить, хорошо ли Обозреватель данных Azure подходит для рабочей нагрузки. Задайте себе следующие ключевые вопросы:
Интерактивная аналитика
Нужно ли анализировать данные в интерактивном режиме?
Анализ данных включает в себя такие приемы, как агрегирование, определение области, оценка, корреляция, обнаружение аномалий, прогнозирование и общая оценка модели, которая позволяет преобразовать большие объемы данных в выводы, имеющие практическую ценность. Выполнение таких действий в интерактивном режиме — это как раз то, для чего предназначен Azure Data Explorer. Эти действия могут выполняться на интерактивных панелях мониторинга, в настраиваемом аналитическом приложении или путем непосредственного взаимодействия с данными с помощью понятных запросов и визуализации. Azure Data Обозреватель может быть неправильной технологией для выполнения длительных пакетных заданий по данным. Рекомендуется использовать такие технологии, как Microsoft Spark, которые хорошо работают с azure Data Обозреватель для длительных задач.
Разнообразие данных
Насколько разнообразна структура моих данных?
Azure Data Explorer обеспечивает масштабируемую, высокопроизводительную полнотекстовую индексацию и поддержку динамической схемы. Если необходимо анализировать и обрабатывать структурированные, частично структурированные (JSON/XML) и данные, имеющие структуру, то Azure Data Explorer подходит для вашей рабочей нагрузки.
Скорость данных
Является ли анализ данных в режиме реального времени критическим фактором?
Azure Data Explorer может быстро принимать большой объем данных при низкой задержке. К типичным наборам данных относятся трассировки, журналы транзакций, временные ряды, метрики и потоки записей действий в целом. Наиболее распространенный вариант использования — аналитика новых данных почти в реальном времени. Azure Data Explorer поддерживает такие технологии потоковой передачи данных, как Центры событий Azure, Центры Интернета вещей, Kafka, что позволяет использовать его для таких рабочих нагрузок. Однако в случае, если есть необходимость в аналитике в режиме реального времени, azure Data Обозреватель может быть не лучшим вариантом.
Объем данных
Какой объем данных необходимо принять?
Azure Data Explorer предназначен для аналитики "по горячим следам", в интерактивном режиме и посредством API в отношении рабочих нагрузок с большими объемами данных. Для сценариев, в которых общий объем накопленных данных составляет несколько гигабайт, могут существовать и другие более экономичные решения.
Упорядочение данных
Насколько единообразно упорядочены мои данные?
Azure Data Explorer создан для применения схемы чтения к необработанным данным. Такой подход обеспечивает гибкость при проверке данных различными способами и с разных точек зрения в зависимости от текущих потребностей. Эта возможность ценна для решения непредвиденных проблем в безопасности, операциях и конкурентных средах среди других областей. Azure Data Explorer обеспечивает чрезвычайно высокие скорость, масштабируемость и экономичность при анализе необработанных данных. Часто в развертываниях хранения данных процесс извлечения, преобразования, загрузки (ETL) периодически создает хорошо проверенный, высокосоответствующий и хорошо документированный набор сущностей и атрибутов. Аналитика таких сложных схем типа "звезда" обычно включает в себя большие присоединения фактов, для которых не оптимизирован Azure Data Explorer.
Параллелизм запросов
Сколько пользователей нужно запрашивать и обрабатывать данные одновременно?
Azure Data Explorer широко используется для реализации предложений аналитики SaaS. Если существует необходимость в поддержке различных и уникальных потребностей аналитики из большого количества запросов параллельно, служба "Данные Azure" Обозреватель должна обеспечить хорошее решение.
Создание или приобретение
Какой требуется уровень настройки платформы данных?
Azure Data Explorer — это полностью управляемая платформа, предоставляемая как услуга. Однако он не предоставляет готовое решение из коробки. Требуются настройка, конфигурирование, подключение и создание функций для предоставления решения (создание). Существуют различные решения от Корпорации Майкрософт и третьих сторон, которые используют Azure Data Обозреватель для доставки таких решений в разных доменах и вертикали. Например, Azure Monitor для ИТ-операций. Microsoft Advanced Threat Protection и Microsoft Sentinel в домене безопасности, а также Аналитика временных рядов Azure и Azure IoT Central в доменах Интернета вещей.
Применение критериев
Azure Data Explorer лучше всего подходит для обеспечения интерактивной аналитики для информационных работников за счет возможности работать с различными необработанными данными с высокой скоростью. Давайте подумайте, как применить критерии, перечисленные ранее к нашим примерам процессов в сценарии компании одежды.
Следует ли использовать Azure Data Explorer для производственных данных?
Производственный отдел в нашем примере должен принять решения о том, как управлять объемами складских запасов и производства. У них есть входящие журналы данных инвентаризации. Они также хотят использовать геопространственные данные из отдела маркетинга, чтобы прогнозировать спрос продукции по регионам. Эти данные имеют высокую степень разнообразия, скорости и объема. Он не организован последовательно, и многие заинтересованные лица должны одновременно запрашивать эти данные. От приема до запроса требуется низкая задержка. Время отклика должно сбыть менее секунды. В зависимости от критериев решения Azure Data Explorer отлично подходит для производственного подразделения компании по производству одежды.
Следует ли использовать Azure Data Explorer для маркетинговых данных?
Отдел маркетинга компании хочет оценить эффективность своих кампаний. У них есть сведения о посещениях своих веб-сайтов и данные рекламных кампаний. У них также имеются неструктурированные текстовые данные из социальных сетей. Эти данные очень разнообразны и не упорядочены. Отделу требуется произвольная интерактивная аналитика. В зависимости от критериев решения Azure Data Explorer подходит для маркетингового подразделения компании по производству одежды.
Инструкция с кратким изложением
В следующей таблице показано, как оценить новые варианты использования. Хотя все варианты использования не рассматриваются здесь, мы считаем, что это поможет вам решить, является ли azure Data Обозреватель правильным решением.
| Вариант использования | Интерактивная аналитика | Большие данных (разнообразие, скорость, объем) | Организация данных | Параллелизм | Создание или приобретение | Следует ли использовать Azure Data Explorer? |
|---|---|---|---|---|---|---|
| Реализация SaaS для аналитики безопасности | Интенсивное использование интерактивной аналитики в режиме реального времени. | Данные безопасности — это разнообразные данные больших объемов и поступающие с большой скоростью. | Различается | Система часто используется несколькими аналитиками из нескольких клиентов. | Реализация предложения SaaS — это сценарий сборки. | Да |
| Анализ журналов CDN | Интерактивное решение для устранения неполадок, мониторинг качества обслуживания. | Журналы CDN — это разнообразные данные больших объемов и поступающие с большой скоростью. | Отдельные записи журнала. | Небольшая группа специалистов по обработке и анализу данных может использовать эти аналитические функции, но может также использовать множество панелей мониторинга. | Значение, извлеченное из аналитики CDN, зависит от сценария и требует пользовательской аналитики. | Да |
| База данных временных рядов для телеметрии IoT | Интерактивный для устранения неполадок, анализа тенденций, использования и обнаружения аномалий. | Данные телеметрии Интернета вещей являются высокой скоростью, но могут быть структурированы только в среднем или среднем размере. | Связанные наборы записей. | Небольшая группа специалистов по обработке и анализу данных может использовать эти аналитические функции, но может также использовать множество панелей мониторинга. | Контекст обычно создается при поиске базы данных. | Да |
В следующей таблице блок-схемы приведены ключевые вопросы, которые следует задать при рассмотрении использования Azure Data Обозреватель.
