HDInsightCompute Класс

Управляет целевым объектом вычислений кластера HDInsight в Машинном обучении Azure.

Azure HDInsight — это популярная платформа для анализа больших данных. Она предоставляет Apache Spark, который можно использовать для обучения модели. Дополнительные сведения см. в статье о целевых объектах вычислений в Машинном обучении Azure.

Конструктор ComputeTarget класса.

Получение облачного представления вычислительного объекта, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Compute.

Наследование

ComputeTarget

HDInsightCompute

Конструктор

HDInsightCompute(workspace, name)

Параметры

workspace

Workspace

Обязательно

Объект рабочей области, содержащий извлекаемый объект HDInsightCompute.

name

str

Обязательно

Имя извлекаемого объекта HDInsightCompute.

workspace

Workspace

Обязательно

Объект рабочей области, содержащий извлекаемый объект вычислений.

name

str

Обязательно

Имя извлекаемого объекта Compute.

Комментарии

В следующем примере показано, как создать кластер Spark для Azure HDInsight.

   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

Полный пример можно найти в https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Методы

attach	НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration. Связывание существующего ресурса HDI с указанной рабочей областью.
attach_configuration	Создание объекта конфигурации для подключения целевого объекта вычислений HDInsight. Подключение кластера HDInsight с использованием общедоступного адреса кластера HDInsight больше не поддерживается. Вместо этого используйте идентификатор ресурса (resourceId) в кластере HDInsight. resourceId кластера HDInsight может быть создан в следующем формате строки: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>". Можно также использовать subscription_id, resource_group и vm_name без создания resourceId. Дополнительные сведения: https://aka.ms/azureml-compute-hdi
delete	Удаление не поддерживается для объекта HDInsightCompute. Взамен рекомендуется использовать detach.
deserialize	Преобразование объекта JSON в объект HDInsightCompute.
detach	Окончательно удаляет объект HDInsightCompute из связанной рабочей области. Базовые облачные объекты при этом сохраняются, удаляется только связь.
get_credentials	Извлечение учетных данных для целевого объекта HDInsightCompute.
refresh_state	Выполнение обновлений свойств объекта на месте. Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.
serialize	Преобразование этого объекта HDInsightCompute в сериализованный словарь JSON.

attach

НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration.

Связывание существующего ресурса HDI с указанной рабочей областью.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Параметры

workspace

Workspace

Обязательно

Объект рабочей области, с которым нужно связать вычислительный ресурс.

name

str

Обязательно

Имя, которое нужно связать с вычислительным ресурсом в указанной рабочей области. Не обязательно должно совпадать с именем подключаемого вычислительного ресурса.

username

str

Обязательно

Имя пользователя, необходимое для доступа к ресурсу.

address

str

Обязательно

Адрес подключаемого ресурса.

ssh_port

int

значение по умолчанию: 22

Предоставленный для ресурса порт. Значение по умолчанию — 22.

password

str

Обязательно

Пароль, необходимый для доступа к ресурсу.

private_key_file

str

Обязательно

Путь к файлу, содержащему закрытый ключ для ресурса.

private_key_passphrase

str

Обязательно

Фраза закрытого ключа, необходимая для доступа к ресурсу.

Возвращаемое значение

Представление объекта вычислений HDInsightCompute.

Возвращаемый тип

HDInsightCompute

Исключения

ComputeTargetException

attach_configuration

Создание объекта конфигурации для подключения целевого объекта вычислений HDInsight.

Подключение кластера HDInsight с использованием общедоступного адреса кластера HDInsight больше не поддерживается. Вместо этого используйте идентификатор ресурса (resourceId) в кластере HDInsight. resourceId кластера HDInsight может быть создан в следующем формате строки: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

Можно также использовать subscription_id, resource_group и vm_name без создания resourceId. Дополнительные сведения: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Параметры

username

str

Обязательно

Имя пользователя, необходимое для доступа к ресурсу.

subscription_id

str

значение по умолчанию: None

Идентификатор подписки Azure.

resource_group

str

значение по умолчанию: None

Имя группы ресурсов, в которой находится кластер HDI.

cluster_name

str

значение по умолчанию: None

Имя кластера HDI

resource_id

str

значение по умолчанию: None

Идентификатор ресурса Azure Resource Manager (ARM) для существующего ресурса.

address

str

значение по умолчанию: None

Адрес подключаемого ресурса.

ssh_port

int

значение по умолчанию: 22

Предоставленный для ресурса порт. Значение по умолчанию — 22.

password

str

Обязательно

Пароль, необходимый для доступа к ресурсу.

private_key_file

str

Обязательно

Путь к файлу, содержащему закрытый ключ для ресурса.

private_key_passphrase

str

Обязательно

Фраза закрытого ключа, необходимая для доступа к ресурсу.

Возвращаемое значение

Объект конфигурации, который нужно использовать при подключении объекта вычислений.

Возвращаемый тип

HDInsightAttachConfiguration

Исключения

ComputeTargetException

delete

Удаление не поддерживается для объекта HDInsightCompute. Взамен рекомендуется использовать detach.

delete()

Исключения

ComputeTargetException

deserialize

Преобразование объекта JSON в объект HDInsightCompute.

static deserialize(workspace, object_dict)

Параметры

workspace

Workspace

Обязательно

Объект рабочей области, с которым связан объект HDInsightCompute.

object_dict

dict

Обязательно

Объект JSON для преобразования в объект HDInsightCompute.

Возвращаемое значение

Представление HDInsightCompute указанного объекта JSON.

Возвращаемый тип

HDInsightCompute

Исключения

ComputeTargetException

Комментарии

Генерирует ComputeTargetException, если указана не та рабочая область, с которой связано вычисление.

detach

Окончательно удаляет объект HDInsightCompute из связанной рабочей области.

Базовые облачные объекты при этом сохраняются, удаляется только связь.

detach()

Исключения

ComputeTargetException

get_credentials

Извлечение учетных данных для целевого объекта HDInsightCompute.

get_credentials()

Возвращаемое значение

Учетные данные для целевого объекта HDInsightCompute

Возвращаемый тип

dict

Исключения

ComputeTargetException

refresh_state

Выполнение обновлений свойств объекта на месте.

Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.

refresh_state()

Исключения

ComputeTargetException

serialize

Преобразование этого объекта HDInsightCompute в сериализованный словарь JSON.

serialize()

Возвращаемое значение

Представление JSON этого объекта HDICompute.

Возвращаемый тип

dict

Исключения

ComputeTargetException