Управление горизонтальным масштабированием кластера (развертывание) в обозреватель данных Azure для поддержки изменения спроса

Изменение размера кластера соответствующим образом очень важно для обеспечения производительности обозревателя данных Azure. Статический размер кластера может привести к недостаточной или чрезмерной нагрузке, и ни одна из этих ситуаций не является оптимальной. Поскольку потребность в кластере не может быть предсказана с помощью абсолютной точности, лучше масштабировать кластер, добавлять и удалять ресурсы емкости и ЦП с изменением спроса.

Существует два рабочих процесса масштабирования кластера Azure обозреватель данных.

  • Горизонтальное масштабирование, которое также называется масштабированием.
  • Вертикальное масштабирование, которое также называется масштабированием вверх и вниз. В этой статье описывается рабочий процесс горизонтального масштабирования.

Настройка горизонтального масштабирования

С помощью горизонтального масштабирования можно автоматически масштабировать число экземпляров на основе предопределенных правил и расписаний. Чтобы указать параметры автомасштабирования для кластера, выполните следующие действия.

  1. В портал Azure перейдите к ресурсу кластера Azure обозреватель данных. в разделе Параметры выберите масштабное развертывание.

  2. В окне горизонтальное масштабирование выберите нужный метод автомасштабирования: масштабирование вручную, оптимизированное Автомасштабирование или настраиваемое Автомасштабирование.

Ручное масштабирование

По умолчанию при создании кластера используется масштабирование вручную. Кластер имеет статическую емкость, которая не изменяется автоматически. Можно выбрать статическую емкость с помощью полосы счетчика экземпляров . Масштабирование кластера остается в этом параметре до тех пор, пока вы не внесете еще одно изменение.

Метод масштабирования вручную.

Оптимизированное Автомасштабирование

Оптимизированный Автомасштабирование является рекомендуемым методом автомасштабирования. Этот метод оптимизирует производительность и затраты кластера. Если кластер приближается к состоянию под степенью использования, он будет масштабироваться в. Это действие снижает затраты, но сохраняет уровень производительности. Если кластер приближается к состоянию чрезмерного использования, он будет масштабироваться для обеспечения оптимальной производительности. Чтобы настроить оптимизированный Автомасштабирование, выполните следующие действия.

  1. Выберите оптимизированный Автомасштабирование.

  2. Выберите минимальное число экземпляров и максимальное число экземпляров. Автоматическое масштабирование кластера между этими двумя числами в зависимости от нагрузки.

  3. Щелкните Сохранить.

    Оптимизированный метод автомасштабирования.

Оптимизированный Автомасштабирование начинает работать. Его действия теперь отображаются в журнале действий Azure кластера.

Логика оптимизированного автомасштабирования

Горизонтальное увеличение масштаба

Если кластер приближается к состоянию чрезмерного использования, масштабировать, чтобы обеспечить оптимальную производительность. Масштабное развертывание выполняется в следующих случаях:

  • Количество экземпляров кластера ниже максимального числа экземпляров, определенных пользователем.
  • Интенсивность использования кэша составляет более часа.
  • ЦП слишком большой в течение часа.
  • Степень использования приема составляет более часа.

Свертывание

Если кластер приближается к состоянию неэффективного использования, масштабировать в, чтобы снизить затраты, но поддерживать производительность. Для проверки возможности масштабирования в кластере используется несколько метрик. Следующие правила оцениваются ежечасно в течение 6 часов до выполнения масштабирования.

  • Число экземпляров превышает 2 и выше минимально определенного количества экземпляров.
  • Чтобы обеспечить отсутствие перегрузки ресурсов, перед выполнением масштабирования необходимо проверить следующие метрики.
    • Использование кэша не является высоким
    • ЦП ниже среднего
    • Степень использования приема ниже среднего
    • Использование приема потоковой передачи (если используется потоковая передача) не является высоким
    • События поддержания активности выше определенного минимума, обработаны должным образом и вовремя.
    • Регулирование запросов отсутствует
    • Количество неудачных запросов ниже определенного минимума.

Примечание

В настоящее время логика шкалы требует 1-дневной оценки до реализации оптимизированного масштабирования в. Такая оценка выполняется каждые 6 часов. Если требуется немедленное изменение, используйте масштабирование вручную.

Пользовательское автомасштабирование

С помощью пользовательского автомасштабирования можно динамически масштабировать кластер в зависимости от указанных вами метрик. На следующем рисунке показана последовательность и шаги для настройки пользовательского автомасштабирования. Дополнительные сведения см. на рисунке ниже.

  1. В поле имя параметра автомасштабирования введите имя, например " горизонтальное масштабирование: использование кэша".

    Правило масштабирования.

  2. В режиме масштабирования выберите Масштаб на основе метрики. Этот режим обеспечивает динамическое масштабирование. Можно также выбрать масштаб для определенного числа экземпляров.

  3. Выберите + Добавить правило.

  4. В разделе правило масштабирования справа введите значения для каждого параметра.

    Критерии

    Параметр Описание и значение
    Агрегат времени Выберите условия агрегирования, например Среднее.
    Имя метрики Выберите метрику для операции масштабирования, например Cache Utilization.
    Статистика интервала времени Выберите одно из значений: Среднее, Минимум, Максимум и Сумма.
    Оператор Выберите нужный параметр, например Больше или равно.
    Пороговое значение. Выберите соответствующее значение. Например, для использования кэша хорошей отправной точкой является 80 процентов.
    Продолжительность (в минутах) Выберите период времени, используемый системой при вычислении метрик. Начните со значения по умолчанию, равного 10 минутам.

    Действие

    Параметр Описание и значение
    Операция Выберите соответствующий параметр для свертывания или горизонтального масштабирования.
    Число экземпляров Выберите количество узлов или экземпляров, которые требуется добавить или удалить при выполнении условий метрики.
    Охлаждение (в минутах) Выберите интервал времени ожидания между операциями масштабирования. Начните со значения по умолчанию, равного 5 минутам.
  5. Выберите Добавить.

  6. В разделе ограничения экземпляров слева введите значения для каждого параметра.

    Параметр Описание и значение
    Минимальные Число экземпляров в кластере, поддерживаемое вне зависимости от уровня использования.
    Максимум Число экземпляров в кластере, поддерживаемое в зависимости от уровня использования.
    По умолчанию Число экземпляров по умолчанию. Этот параметр используется при наличии проблем с чтением метрик ресурсов.
  7. Щелкните Сохранить.

Теперь вы настроили горизонтальное масштабирование для кластера Azure обозреватель данных. Добавьте еще одно правило для вертикального масштабирования. Если вам нужна помощь с проблемами масштабирования кластеров, отправьте запрос в службу поддержки в портал Azure.

Дальнейшие действия