Мониторинг сведений о приложении Apache Spark

С помощью Microsoft Fabric вы можете использовать Apache Spark для запуска записных книжек, заданий и других видов приложений в рабочей области. В этой статье объясняется, как отслеживать приложение Apache Spark, что позволяет следить за последними состояниями выполнения, проблемами и ходом выполнения заданий.

Просмотр приложений Apache Spark

Вы можете просмотреть все приложения Apache Spark из определения задания Spark или контекстное меню элемента записной книжки с параметром последнего запуска ->Recent run.

Вы можете выбрать имя приложения, которое вы хотите просмотреть в списке приложений, на странице сведений о приложении можно просмотреть сведения о приложении.

Мониторинг состояния приложения Apache Spark

Откройте страницу последних запусков определения задания или записной книжки Spark, вы можете просмотреть состояние приложения Apache.

• Удачное завершение

• В очереди

• Остановлено

• Отменено

• Неудачно

Работы

Откройте задание приложения Apache Spark из определения задания Spark или контекстного меню элемента записной книжки с параметром "Последние запуски" —>> выберите задание на странице последних запусков.

На странице сведений о мониторинге приложений Apache Spark список выполнения заданий отображается на вкладке "Задания", можно просмотреть сведения о каждом задании, включая идентификатор задания, описание, состояние, этапы, задачи, длительность, длительность, обработку, чтение данных, фрагмент кода и фрагмент кода.

• Щелкнув идентификатор задания, можно развернуть или свернуть задание.
• Щелкните описание задания, вы можете перейти на страницу задания или сцены в пользовательском интерфейсе Spark.
• Щелкните фрагмент кода задания, вы можете проверка и скопировать код, связанный с этим заданием.

Ресурсы (предварительная версия)

График использования исполнителя визуально отображает выделение исполнителей заданий Spark и использование ресурсов. В настоящее время отображаются только сведения о среде выполнения spark 3.4 и выше. Выберите ресурсы (предварительная версия), а затем четыре типа кривые об использовании исполнителя создаются, включая выполнение, бездействия, выделенные, максимальные экземпляры.

• Для выделенного значения относится к основной ситуации, выделенной во время выполнения приложения Spark.

• Для максимальных экземпляров относится к максимальному количеству ядер, выделенных приложению Spark.

• Для выполнения ссылается на фактическое количество ядер, используемых приложением Spark при запуске. Щелкните на определенный момент времени, пока приложение Spark запущено. Сведения о выделении ядра выполняющегося исполнителя отображаются в нижней части графа.

  

• Для бездействия это число неиспользуемых ядер во время работы приложения Spark.

В некоторых случаях в некоторых случаях количество задач может превышать емкость ядер исполнителя (т. е. число > задач — общее количество ядер исполнителя / spark.task.cpus). Это как ожидалось, так как между задачей, помеченной как выполняющаяся, и она фактически выполняется в ядре исполнителя. Поэтому некоторые задачи могут отображаться как запущенные, но они не выполняются на любом ядре.

Выберите значок цвета, чтобы выбрать или отменить выбор соответствующего содержимого во всех графах.

Панель сводки

На странице мониторинга приложений Apache Spark нажмите кнопку "Свойства ", чтобы открыть или свернуть сводную панель. Подробные сведения об этом приложении можно просмотреть в разделе "Подробные сведения".

• Состояние этого приложения Spark.
• Идентификатор приложения Spark.
• Общая длительность.
• Длительность выполнения для этого приложения Spark.
• Длительность в очереди для этого приложения Spark.
• Идентификатор Livy
• Отправитель для этого приложения Spark.
• Время отправки для этого приложения Spark.
• Количество исполнителей.

Журналы

На вкладке "Журналы" можно просмотреть полный журнал Livy, Prelaunch, журнал драйверов с различными параметрами, выбранными на левой панели. И вы можете напрямую получить необходимые сведения журнала, выполнив поиск ключевое слово и просмотр журналов, отфильтровав состояние журнала. Нажмите кнопку "Скачать журнал", чтобы скачать сведения о журнале в локальный.

Иногда журналы недоступны, например состояние задания в очереди и сбой создания кластера.

Динамические журналы доступны только при сбое отправки приложения, а журналы драйверов также предоставляются.

Data

На вкладке "Данные" можно скопировать список данных в буфер обмена, скачать список данных и отдельные данные, а также проверка свойства для каждого из них.

• Левая панель может быть развернута или свернута.
• Имя, формат чтения, размер, источник и путь к входным и выходным файлам будет отображаться в этом списке.
• Файлы во входных и выходных данных можно скачать, скопировать путь и просмотреть свойства.

Связанные элементы

Вкладка "Связанные элементы" позволяет просматривать и просматривать элементы, связанные с приложением Apache Spark, включая записные книжки, определение задания Spark и (или) конвейеры. На странице связанных элементов отображается моментальный снимок значений кода и параметров во время выполнения записных книжек. В нем также показан моментальный снимок всех параметров и параметров во время отправки определений заданий Spark. Если приложение Apache Spark связано с конвейером, соответствующая страница элемента также представляет соответствующий конвейер и действие Spark.

На экране связанных элементов можно:

• Просмотрите и перейдите к связанным элементам в иерархическом дереве.
• Щелкните значок многоточия "Список дополнительных действий" для каждого элемента, чтобы выполнить различные действия.
• Щелкните элемент моментального снимка, чтобы просмотреть его содержимое.
• Просмотрите путь из выбранного элемента в корень.

Диагностика

Панель диагностики предоставляет пользователям рекомендации в режиме реального времени и анализ ошибок, созданные помощником По Spark с помощью анализа кода пользователя. Благодаря встроенным шаблонам помощник По Apache Spark помогает пользователям избежать распространенных ошибок и анализирует ошибки, чтобы определить их первопричину.

Связанный контент

Следующий шаг после просмотра сведений о приложении Apache Spark — просмотр хода выполнения задания Spark под ячейкой Notebook. Вы можете ссылаться на следующее:

• Контекстное мониторинг и отладка записной книжки