Что такое пулы Azure Databricks?

  • Статья

Пулы Azure Databricks — это набор неактивных экземпляров, готовых к использованию. Когда узлы кластера создаются с помощью экземпляров простоя, время запуска кластера и автоматического масштабирования уменьшается. Если в пуле нет бездействующих экземпляров, пул расширяется путем выделения нового экземпляра от поставщика экземпляров для обработки запроса кластера.

Когда кластер освобождает экземпляр, он возвращается в пул и становится доступен для использования другим кластером. Только кластеры, подключенные к пулу, могут использовать бездействующие экземпляры из этого пула.

Azure Databricks не взимает плату (DBU), пока экземпляры остаются в пуле и бездействуют. Но к ним применяется оплата, предусмотренная поставщиком экземпляров. См. сведения о ценах.

Пулы можно управлять с помощью пользовательского интерфейса или путем вызова API пулов экземпляров.

Создание пула

Чтобы создать пул, необходимо иметь разрешение на создание пулов. По умолчанию только администраторы рабочей области имеют разрешения на создание пула. Группы можно назначить allow-instance-pool-create с помощью API группы.

Чтобы создать пул с помощью пользовательского интерфейса, выполните следующие действия.

  1. На боковой панели щелкните compute iconВычислительная среда.
  2. Перейдите на вкладку "Пулы".
  3. Нажмите кнопку "Создать пул ".
  4. Укажите конфигурацию пула.
  5. Нажмите кнопку Создать.

Подключение кластера к пулу

Чтобы подключить кластер к пулу с помощью пользовательского интерфейса создания кластера, выберите пул из раскрывающегося списка "Тип драйвера" или "Рабочий тип" при настройке кластера. Доступные пулы перечислены в верхней части каждого раскрывающегося списка. Для узла драйвера и рабочих узлов можно использовать один и тот же пул или разные пулы.

При использовании API кластеров необходимо указать driver_instance_pool_id для узла драйвера и instance_pool_id для рабочих узлов.

Дополнительные рекомендации, связанные с пулами, см . в рекомендациях по пулам.

Разрешения пула

Существует три уровня разрешений для пула: НЕТ РАЗРЕШЕНИЙ, CAN ATTACH TO и CAN MANAGE. В таблице ниже перечислены возможности, предоставляемые каждым разрешением.

Замечайте способности* НЕТ РАЗРЕШЕНИЙ МОЖЕТ ПОДКЛЮЧИТЬСЯ К МОЖЕТ УПРАВЛЯТЬ
Подключение кластера к пулу x x
Удаление пула x
Изменение пула x
Изменение разрешений x

Администраторы рабочей области имеют разрешение CAN MANAGE для всех пулов в рабочей области. У пользователей автоматически есть разрешение CAN MANAGE для создаваемых пулов.

Настройка разрешений пула

В этом разделе описывается управление разрешениями с помощью пользовательского интерфейса рабочей области. Вы также можете использовать API разрешений или поставщик Databricks Terraform.

Для настройки разрешений необходимо иметь разрешение CAN MANAGE в пуле.

  1. На боковой панели щелкните Вычислительная среда.

  2. Перейдите на вкладку "Пулы".

  3. Выберите пул, который требуется обновить.

  4. Нажмите кнопку "Разрешения".

  5. В разделе "Разрешения" Параметры щелкните раскрывающееся меню "Выбрать пользователя", группу или субъект-службу... и выберите пользователя, группу или субъект-службу.

    Set pool permissions

  6. Выберите разрешение в раскрывающемся меню разрешений.

  7. Нажмите кнопку Добавить, а затем — Сохранить.

Удаление пула

Удаление пула приводит к завершению работы неактивных экземпляров пула и удалению его конфигурации. Чтобы удалить пул, щелкните Delete Icon значок на странице "Пулы". При удалении пула:

  • Работающие кластеры, подключенные к пулу, продолжают работать, но не поддерживают распределение экземпляров во время изменения размера или увеличения масштаба.
  • Кластеры, подключенные к пулу, работа которых завершена, не запускаются.

Внимание

Это действие нельзя отменить.