HDInsightCompute Classe

Référence

Gère une cible de calcul de cluster HDInsight dans Azure Machine Learning.

Azure HDInsight est une plateforme populaire pour l’analytique de Big Data. Elle fournit Apache Spark, que vous pouvez utiliser pour entraîner votre modèle. Pour plus d’informations, consultez Qu’est-ce qu’une cible de calcul dans Azure Machine Learning ?

Constructeur ComputeTarget de classe.

Récupérez une représentation cloud d’un objet Compute associé à l’espace de travail fourni. Renvoie une instance d’une classe enfant correspondant au type spécifique de l’objet Compute récupéré.

Héritage: ComputeTarget

HDInsightCompute

Constructeur

HDInsightCompute(workspace, name)

Paramètres

workspace: Workspace

Obligatoire

Objet de l’espace de travail contenant l’objet HDInsightCompute à récupérer.

name: str

Obligatoire

Nom de l’objet HDInsightCompute à récupérer.

workspace: Workspace

Obligatoire

Objet de l’espace de travail contenant l’objet de calcul à récupérer.

name: str

Obligatoire

Nom de l’objet Compute à récupérer.

Remarques

L’exemple suivant montre comment créer un cluster Spark pour HDInsight dans Azure.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

Un exemple complet est disponible sur https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Méthodes

attach	DÉPRÉCIÉ. Utilisez plutôt la méthode `attach_configuration`. Associe une ressource HDI existante à l’espace de travail fourni.
attach_configuration	Créez un objet de configuration pour attacher une cible de calcul HDInsight. La jonction d’un cluster HDInsight à l’aide de l’adresse publique du cluster HDInsight n’est plus prise en charge. Utilisez plutôt resourceId du cluster HDInsight. La valeur resourceId du cluster HDInsight peut être construite à l’aide du format de chaîne suivant : « /subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name> ». Vous pouvez également utiliser subscription_id, resource_group et cluster_name sans construire de resourceId. Pour plus d’informations : https://aka.ms/azureml-compute-hdi
delete	La suppression n’est pas prise en charge pour l’objet HDInsightCompute. Utilisez detach à la place.
deserialize	Convertit un objet JSON en objet HDInsightCompute.
detach	Détache l’objet HDInsightCompute de l’espace de travail qui lui est associé. Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.
get_credentials	Récupère les informations d’identification pour la cible HDInsightCompute.
refresh_state	Effectue une mise à jour sur place des propriétés de l’objet. Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.
serialize	Convertit cet objet HDInsightCompute en dictionnaire JSON sérialisé.

attach

DÉPRÉCIÉ. Utilisez plutôt la méthode attach_configuration.

Associe une ressource HDI existante à l’espace de travail fourni.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Paramètres

workspace: Workspace

Obligatoire

Objet d’espace de travail avec lequel associer la ressource de calcul.

name: str

Obligatoire

Nom à associer à la ressource de calcul dans l’espace de travail fourni. Ne doit pas nécessairement correspondre au nom de la ressource de calcul à joindre.

username: str

Obligatoire

Nom d’utilisateur nécessaire pour accéder à la ressource.

address: str

Obligatoire

Adresse de la ressource à joindre.

ssh_port: int

valeur par défaut: 22

Port exposé pour la ressource. La valeur par défaut est 22.

password: str

Obligatoire

Mot de passe nécessaire pour accéder à la ressource.

private_key_file: str

Obligatoire

Chemin d’accès à un fichier contenant la clé privée pour la ressource.

private_key_passphrase: str

Obligatoire

Phrase de clé privée nécessaire pour accéder à la ressource.

Retours

Représentation sous forme d’objet HDInsightCompute de l’objet de calcul.

Type de retour

HDInsightCompute

Exceptions

ComputeTargetException

attach_configuration

Créez un objet de configuration pour attacher une cible de calcul HDInsight.

La jonction d’un cluster HDInsight à l’aide de l’adresse publique du cluster HDInsight n’est plus prise en charge. Utilisez plutôt resourceId du cluster HDInsight. La valeur resourceId du cluster HDInsight peut être construite à l’aide du format de chaîne suivant : « /subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name> ».

Vous pouvez également utiliser subscription_id, resource_group et cluster_name sans construire de resourceId. Pour plus d’informations : https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Paramètres

username: str

Obligatoire

Nom d’utilisateur nécessaire pour accéder à la ressource.

subscription_id: str

valeur par défaut: None

ID d’abonnement Azure

resource_group: str

valeur par défaut: None

Nom du groupe de ressources dans lequel se trouve le cluster HDI.

cluster_name: str

valeur par défaut: None

Nom du cluster HDI

resource_id: str

valeur par défaut: None

ID de ressource Azure Resource Manager (ARM) pour la ressource à joindre.

address: str

valeur par défaut: None

Adresse de la ressource à joindre.

ssh_port: int

valeur par défaut: 22

Port exposé pour la ressource. La valeur par défaut est 22.

password: str

Obligatoire

Mot de passe nécessaire pour accéder à la ressource.

private_key_file: str

Obligatoire

Chemin d’accès à un fichier contenant la clé privée pour la ressource.

private_key_passphrase: str

Obligatoire

Phrase de clé privée nécessaire pour accéder à la ressource.

Retours

Objet de configuration à utiliser quand un objet Compute est joint.

Type de retour

HDInsightAttachConfiguration

Exceptions

ComputeTargetException

delete

La suppression n’est pas prise en charge pour l’objet HDInsightCompute. Utilisez detach à la place.

delete()

Exceptions

ComputeTargetException

deserialize

Convertit un objet JSON en objet HDInsightCompute.

static deserialize(workspace, object_dict)

Paramètres

workspace: Workspace

Obligatoire

Objet de l’espace de travail auquel l’objet HDInsightCompute est associé.

object_dict: dict

Obligatoire

Objet JSON à convertir en objet HDInsightCompute.

Retours

Représentation HDInsightCompute de l’objet JSON fourni.

Type de retour

HDInsightCompute

Exceptions

ComputeTargetException

Remarques

Lève une ComputeTargetException si l’espace de travail fourni n’est pas l’espace de travail associé au calcul.

detach

Détache l’objet HDInsightCompute de l’espace de travail qui lui est associé.

Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.

detach()

Exceptions

ComputeTargetException

get_credentials

Récupère les informations d’identification pour la cible HDInsightCompute.

get_credentials()

Retours

Informations d’identification pour la cible HDInsightCompute

Type de retour

dict

Exceptions

ComputeTargetException

refresh_state

Effectue une mise à jour sur place des propriétés de l’objet.

Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.

refresh_state()

Exceptions

ComputeTargetException

serialize

Convertit cet objet HDInsightCompute en dictionnaire JSON sérialisé.

serialize()

Retours

Représentation JSON de cet objet HDICompute.

Type de retour

dict

Exceptions

ComputeTargetException

HDInsightCompute Classe

Constructeur

Paramètres

Remarques

Méthodes

attach

Paramètres

Retours

Type de retour

Exceptions

attach_configuration

Paramètres

Retours

Type de retour

Exceptions

delete

Exceptions

deserialize

Paramètres

Retours

Type de retour

Exceptions

Remarques

detach

Exceptions

get_credentials

Retours

Type de retour

Exceptions

refresh_state

Exceptions

serialize

Retours

Type de retour

Exceptions

Commentaires

Commentaires

Ressources supplémentaires