DatabricksCompute 클래스
Azure Machine Learning에서 Databricks 컴퓨팅 대상을 관리합니다.
Azure Databricks는 Azure 클라우드의 Apache Spark 기반 환경입니다. 이 환경은 Azure Machine Learning 파이프라인 사용 시 컴퓨팅 대상으로 사용할 수 있습니다. 자세한 내용은 Azure Machine Learning의 컴퓨팅 대상이란?을 참조하세요.
클래스 ComputeTarget 생성자입니다.
제공된 작업 영역과 연결된 Compute 개체의 클라우드 표현을 검색합니다. 검색된 Compute 개체의 특정 형식에 해당하는 자식 클래스의 instance 반환합니다.
- 상속
-
DatabricksCompute
생성자
DatabricksCompute(workspace, name)매개 변수
설명
다음 예제는 컴퓨팅 대상으로 Azure Databricks를 연결하는 방법을 보여 줍니다.
# Replace with your account info before running.
db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token
try:
databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
print('Compute target {} already exists'.format(db_compute_name))
except ComputeTargetException:
print('Compute not found, will use below parameters to attach new one')
print('db_compute_name {}'.format(db_compute_name))
print('db_resource_group {}'.format(db_resource_group))
print('db_workspace_name {}'.format(db_workspace_name))
print('db_access_token {}'.format(db_access_token))
config = DatabricksCompute.attach_configuration(
resource_group = db_resource_group,
workspace_name = db_workspace_name,
access_token= db_access_token)
databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
databricks_compute.wait_for_completion(True)
전체 샘플은 https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb에서 사용할 수 있습니다.
메서드
| attach |
사용되지 않습니다. 대신 기존 Databricks 컴퓨팅 리소스를 제공된 작업 영역에 연결합니다. |
| attach_configuration |
Databricks 컴퓨팅 대상을 연결하기 위한 구성 개체를 만듭니다. |
| delete |
DatabricksCompute 개체에는 삭제가 지원되지 않습니다. 대신 detach를 사용하세요. |
| deserialize |
JSON 개체를 DatabricksCompute 개체로 변환합니다. |
| detach |
연결된 작업 영역에서 Databricks 개체를 분리합니다. 기본 클라우드 개체는 삭제되지 않고 연결만 제거됩니다. |
| get_credentials |
Databricks 대상에 대한 자격 증명을 검색합니다. |
| refresh_state |
개체 속성의 내부 업데이트를 수행합니다. 이 메서드는 해당 클라우드 개체의 현재 상태에 따라 속성을 업데이트합니다. 이는 주로 컴퓨팅 상태의 수동 폴링에 사용됩니다. |
| serialize |
이 DatabricksCompute 개체를 JSON 직렬화된 사전으로 변환합니다. |
attach
사용되지 않습니다. 대신 attach_configuration 메서드를 사용합니다.
기존 Databricks 컴퓨팅 리소스를 제공된 작업 영역에 연결합니다.
static attach(workspace, name, resource_id, access_token)매개 변수
반환
컴퓨팅 개체의 DatabricksCompute 개체 표현입니다.
반환 형식
예외
attach_configuration
Databricks 컴퓨팅 대상을 연결하기 위한 구성 개체를 만듭니다.
static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')매개 변수
반환
Compute 개체를 연결할 때 사용할 구성 개체입니다.
반환 형식
예외
delete
deserialize
JSON 개체를 DatabricksCompute 개체로 변환합니다.
static deserialize(workspace, object_dict)매개 변수
반환
제공된 JSON 개체의 DatabricksCompute 표현입니다.
반환 형식
예외
설명
제공된 작업 영역이 Compute가 연결된 작업 영역이 아닌 경우 ComputeTargetException을 발생시킵니다.
detach
get_credentials
Databricks 대상에 대한 자격 증명을 검색합니다.
get_credentials()반환
Databricks 대상에 대한 자격 증명입니다.
반환 형식
예외
refresh_state
개체 속성의 내부 업데이트를 수행합니다.
이 메서드는 해당 클라우드 개체의 현재 상태에 따라 속성을 업데이트합니다. 이는 주로 컴퓨팅 상태의 수동 폴링에 사용됩니다.
refresh_state()예외
serialize
이 DatabricksCompute 개체를 JSON 직렬화된 사전으로 변환합니다.
serialize()반환
이 DatabricksCompute 개체의 JSON 표현입니다.
반환 형식
예외
피드백
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요. https://aka.ms/ContentUserFeedback
다음에 대한 사용자 의견 제출 및 보기