DatabricksCompute Classe

Gère une cible de calcul Databricks dans Azure Machine Learning.

Azure Databricks est un environnement basé sur Apache Spark dans le cloud Azure. Il peut être utilisé comme cible de calcul avec un pipeline Azure Machine Learning. Pour plus d’informations, consultez Qu’est-ce qu’une cible de calcul dans Azure Machine Learning ?

Constructeur ComputeTarget de classe.

Récupérez une représentation cloud d’un objet Compute associé à l’espace de travail fourni. Retourne une instance d’une classe enfant correspondant au type spécifique de l’objet Compute récupéré.

Héritage

ComputeTarget

DatabricksCompute

Constructeur

DatabricksCompute(workspace, name)

Paramètres

workspace

Workspace

Obligatoire

Objet d’espace de travail contenant l’objet DatabricksCompute à récupérer.

name

str

Obligatoire

Nom de l’objet DatabricksCompute à récupérer.

workspace

Workspace

Obligatoire

Objet de l’espace de travail contenant l’objet de calcul à récupérer.

name

str

Obligatoire

Nom de l’objet Compute à récupérer.

Remarques

L’exemple suivant montre comment attacher Azure Databricks en tant que cible de calcul.

   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

Un exemple complet est disponible sur https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb

Méthodes

attach	DÉPRÉCIÉ. Utilisez plutôt la méthode attach_configuration. Associe une ressource de calcul Databricks existante à l’espace de travail fourni.
attach_configuration	Crée un objet de configuration pour l’attachement d’une cible de calcul Databricks.
delete	La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.
deserialize	Convertit un objet JSON en objet DatabricksCompute.
detach	Détache l’objet Databricks de son espace de travail associé. Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.
get_credentials	Récupère les informations d’identification de la cible Databricks.
refresh_state	Effectue une mise à jour sur place des propriétés de l’objet. Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.
serialize	Convertit cet objet DatabricksCompute en dictionnaire sérialisé JSON.

attach

DÉPRÉCIÉ. Utilisez plutôt la méthode attach_configuration.

Associe une ressource de calcul Databricks existante à l’espace de travail fourni.

static attach(workspace, name, resource_id, access_token)

Paramètres

workspace

Workspace

Obligatoire

Objet d’espace de travail avec lequel associer la ressource de calcul.

name

str

Obligatoire

Nom à associer à la ressource de calcul dans l’espace de travail fourni. Ne doit pas nécessairement correspondre au nom de la ressource de calcul à joindre.

resource_id

str

Obligatoire

ID de ressource Azure pour la ressource de calcul qui est attachée.

access_token

str

Obligatoire

Jeton d’accès de la ressource attachée.

Retours

Représentation sous forme d’objet DatabricksCompute de l’objet de calcul.

Type de retour

DatabricksCompute

Exceptions

ComputeTargetException

attach_configuration

Crée un objet de configuration pour l’attachement d’une cible de calcul Databricks.

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

Paramètres

resource_group

str

valeur par défaut: None

Nom du groupe de ressources dans lequel se trouve le cluster Databricks.

workspace_name

str

valeur par défaut: None

Nom de l’espace de travail Databricks.

resource_id

str

valeur par défaut: None

ID de ressource Azure pour la ressource de calcul qui est attachée.

access_token

str

Obligatoire

Jeton d’accès de la ressource de calcul attachée.

Retours

Objet de configuration à utiliser quand un objet Compute est joint.

Type de retour

DatabricksAttachConfiguration

Exceptions

ComputeTargetException

delete

La suppression n’est pas prise en charge pour un objet DatabricksCompute. Utilisez detach à la place.

delete()

Exceptions

ComputeTargetException

deserialize

Convertit un objet JSON en objet DatabricksCompute.

static deserialize(workspace, object_dict)

Paramètres

workspace

Workspace

Obligatoire

Objet d’espace de travail auquel l’objet DatabricksCompute est associé.

object_dict

dict

Obligatoire

Objet JSON à convertir en objet DatabricksCompute.

Retours

Représentation sous forme d’objet DatabricksCompute de l’objet JSON fourni.

Type de retour

DatabricksCompute

Exceptions

ComputeTargetException

Remarques

Lève une ComputeTargetException si l’espace de travail fourni n’est pas l’espace de travail associé au calcul.

detach

Détache l’objet Databricks de son espace de travail associé.

Les objets cloud sous-jacents ne sont pas supprimés, seule l’association est supprimée.

detach()

Exceptions

ComputeTargetException

get_credentials

Récupère les informations d’identification de la cible Databricks.

get_credentials()

Retours

Informations d’identification de la cible Databricks.

Type de retour

dict

Exceptions

ComputeTargetException

refresh_state

Effectue une mise à jour sur place des propriétés de l’objet.

Cette méthode met à jour les propriétés en fonction de l’état actuel de l’objet cloud correspondant. Elle est principalement utilisée pour l’interrogation manuelle de l’état de calcul.

refresh_state()

Exceptions

ComputeTargetException

serialize

Convertit cet objet DatabricksCompute en dictionnaire sérialisé JSON.

serialize()

Retours

Représentation JSON de cet objet DatabricksCompute.

Type de retour

dict

Exceptions

ComputeTargetException