Поделиться через

Схема заданий Stream Analytics (предварительная версия) в портал Azure

  • Статья

Схема заданий в портал Azure может помочь визуализировать шаги запроса задания (логическая концепция) или узел потоковой передачи (физическая концепция) с его источником входных данных, назначением вывода и метриками. Схему заданий можно использовать для проверки метрик для каждого шага или узла потоковой передачи и быстро определить источник проблемы при устранении неполадок.

Существует два типа схем заданий:

  • Физическая схема: она визуализирует ключевые метрики задания Stream Analytics с помощью концепции физических вычислений: измерение узла потоковой передачи. Узел потоковой передачи представляет набор вычислительных ресурсов, используемых для обработки входных данных задания. Дополнительные сведения о измерении узла потоковой передачи см. в статье Измерение имени узла Azure Stream Analytics.

    Внутри каждого узла потоковой передачи есть процессоры Stream Analytics, доступные для обработки потоковых данных. Каждый обработчик представляет один или несколько шагов в запросе. Вы можете визуализировать топологию процессора в каждом узле потоковой передачи с помощью схемы процессора на схеме физических заданий.

  • Логическая схема: она визуализирует ключевые метрики задания Stream Analytics с помощью логической концепции: шаг запроса на основе запросов задания. Дополнительные сведения см. в статье Отладка с помощью схемы логического задания (предварительная версия) в портал Azure.

В этой статье описываются два типа схем заданий, которые помогут вам.

Важно!

Сейчас эта функция доступна в предварительной версии. Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.

Использование схемы заданий

В портал Azure найдите и выберите задание Stream Analytics. Затем выберите Диаграмма заданий (предварительная версия) в разделе Средства разработчика:

Снимок экрана: расположение схемы заданий в дереве портала.

В левом верхнем углу можно переключить два типа схемы заданий, щелкнув Логический, Физический.

Снимок экрана: переключатель схемы заданий.

Схема физических заданий

На следующем снимок экрана показана схема физического задания с периодом времени по умолчанию (последние 30 минут).

Снимок экрана: разделы физической схемы заданий.

  1. Раздел панели команд. Это область команд, в которой можно настроить диапазон времени для метрик заданий, переключение и настройку визуализации тепловой карты, поиск узла потоковой передачи и переключение представления между диаграммой и таблицей.

    • Параметры тепловой карты: параметр тепловой карты позволяет сортировать узлы на схеме на основе требуемых метрик и типа сортировки. Метрики могут быть: использование ЦП/памяти, задержка водяного знака, событие ввода и невыполненные входные события.

    • Диапазон времени: вы можете выбрать другой диапазон времени и выполнение задания, чтобы просмотреть схему и метрики.

    • Выполнение задания: выполнение задания находится в диапазоне времени. При запуске, перезапуске или масштабировании задания (изменение su) будет создано новое выполнение задания. Одно выполнение задания сопоставляется на схеме физических заданий.

    • Переключатель представлений диаграмм и таблиц: можно переключать представление между диаграммой и таблицей. Представление таблицы отображается следующим образом:

      Снимок экрана: схема физических заданий с общими сведениями о таблице.

  2. Раздел Диаграмма/Таблица. Это место, где можно просматривать метрики (агрегированные в выбранном диапазоне времени) на уровне узла потоковой передачи в представлении диаграммы или таблицы. Каждое поле в этом разделе представляет узел потоковой передачи, который используется для обработки входных данных. Метрики на каждом узле:

    • Входные события (тип агрегирования: SUM)
    • Загрузка ЦП в процентах (тип агрегирования: Среднее)
    • Единица (память) % использования (тип агрегирования: Max)
    • Идентификаторы секций (список, без агрегирования)
    • Задержка подложки (тип агрегирования: Max)
    • Невыполненные входные события (тип агрегирования: SUM)

    Дополнительные сведения об определении метрик см. в статье Измерение имени узла Azure Stream Analytics.

  3. Раздел диаграммы: это место, где можно просматривать данные исторических метрик в течение выбранного диапазона времени. Метрики по умолчанию, отображаемые на диаграмме по умолчанию: использование единиц (памяти) и загрузка ЦП в процентах". Вы также можете добавить дополнительные диаграммы, нажав кнопку Добавить диаграмму.

Разделы Диаграмма/Таблица и Диаграмма могут быть интерактивными друг с другом. Вы можете выбрать несколько узлов в разделе Диаграмма или Таблица , чтобы получить метрики в разделе Диаграмма отфильтрованы по выбранным узлам и наоборот.

Снимок экрана: взаимодействие с диаграммой узла физической диаграммы заданий.

Дополнительные сведения об отладке с помощью физической схемы см. в статье Отладка с помощью схемы физических заданий (предварительная версия) в портал Azure.

Схема процессора в схеме физических заданий

Схема процессора на схеме физических заданий визуализирует топологию процессора внутри конкретного узла потоковой передачи. Чтобы получить доступ к схеме процессора, необходимо открыть схему физических заданий, найти узел потоковой передачи, на который требуется проверить схему процессора, а затем открыть схему процессора, щелкнув имя узла потоковой передачи.

Снимок экрана: точка входа схемы процессора.

Снимок экрана: представление схемы процессора.

  1. Раздел информационной панели: здесь можно просмотреть основные сведения для этой схемы процессора, такие как диапазон времени, соответствующее имя узла потоковой передачи.
  2. Раздел диаграммы: это место, где визуализируется схема процессора. Каждый узел в этом разделе представляет обработчик, который обрабатывает потоковые данные для определенной цели.

    • Тип процессора: показывает тип процессора, обозначает определенную цель обработки данных. Он доступен в каждом узле процессора.

      Тип процессора Описание
      Входные или выходные данные Этот процессор используется для чтения входных или записей потоков выходных данных.
      ReferenceData Этот процессор используется для получения эталонных данных.
      Вычислений Этот процессор используется для обработки потоковых данных в соответствии с логикой запроса, например для агрегирования, фильтрации, группировки с помощью окна и т. д. Дополнительные сведения о функциях запросов вычислений потоковых данных см. в справочнике по языку запросов Azure Stream Analytics.
      MarshallerUpstream и MarshallerDownstream При взаимодействии потоковых данных между узлами потоковой передачи будет два обработчика маршалировщика: 1). MarshallerUpstream для отправки данных в вышестоящем узле потоковой передачи и 2). MarshallerDownstream для получения данных в нисходящем узле потоковой передачи.
      Слияния Этот процессор предназначен для получения данных потока пересечения секций, которые были выведены из нескольких вышестоящих узлов потоковой передачи. Для оптимизации производительности задания рекомендуется обновить запрос для удаления обработчика слияния, чтобы задание стало параллельным, так как обработчик слияния является узким местом задания. Функция симулятора схемы заданий в расширении ASA Visual Studio Code может помочь сымитировать запрос локально при оптимизации запроса задания. Дополнительные сведения см. в статье Оптимизация запросов с помощью симулятора схемы заданий (предварительная версия).

      Снимок экрана: схема маршалера и слияния.

    • Тип адаптера: отображается тип входного или выходного адаптера. Stream Analytics поддерживает различные источники входных и выходных данных. Каждый источник входных данных или назначение вывода имеет выделенный тип адаптера. Он доступен только в процессорах ввода и вывода. Например, InputBlob представляет входные данные ADLS 2-го поколения, из которых обработчик входных данных получает данные; OutputDocumentDb представляет выходные данные Cosmos DB, в которые выходной процессор выводит данные.

      Дополнительные сведения о типах входных и выходных данных см. в разделах Общие сведения о входных данных Azure Stream Analytics и Обзор выходных данных Azure Stream Analytics.

    • Идентификаторы секций: показывает, какие идентификаторы секций обрабатываются этим процессором. Он доступен только в процессорах ввода и вывода.

    • Тип сериализатора: отображается тип сериализации. Stream Analytics поддерживает несколько типов сериализации. Он доступен только в процессорах ввода и вывода.

Схема логического задания

Схема логического задания похожа на физическую схему с тремя разделами, но имеет разные метрики и параметры конфигурации.

Снимок экрана: разделы логической схемы заданий.

  1. Раздел панели команд: на логической схеме можно управлять облачным заданием (Stop, Delete) и настроить диапазон времени для метрик задания. Представление схемы доступно только для логических схем.

  2. Раздел схемы: поле узла в этом выборе представляет шаги ввода, вывода и запроса задания. Вы можете просмотреть метрики в узле напрямую или в разделе диаграммы в интерактивном режиме, щелкнув определенный узел в этом разделе. Дополнительные сведения об определении метрик см. в статье Измерение имени узла Azure Stream Analytics.

  3. Раздел диаграммы. Раздел диаграммы на логической схеме содержит две вкладки: Метрики и Журналы действий.

    • Метрики: данные метрик задания отображаются здесь, когда соответствующие метрики выбраны на панели справа.
    • Журналы действий: операции задания, выполняемые с заданиями, отображаются здесь. Если журнал диагностики задания включен, он также отображается здесь. Дополнительные сведения о журналах заданий см. в статье Журналы заданий Azure Stream Analytics.

    При загрузке логической схемы задания метрики этого задания: задержка подложки, события ввода, выходные события и невыполненные входные события отображаются в разделе диаграммы за последние 30 минут.

Взаимодействие между разделами Диаграмма и Диаграмма также доступно в логической схеме. Данные метрик будут фильтроваться по свойствам узла.

Снимок экрана: обзор схемы физических заданий.

Дополнительные сведения об отладке с помощью логических схем см. в статье Отладка с помощью схемы логических заданий (предварительная версия) в портал Azure.

Дальнейшие действия