Dołączanie puli platformy Spark usługi Synapse Spark i zarządzanie nią w usłudze Azure Machine Edukacja

Artykuł
04/12/2024

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (current)Zestaw PYTHON SDK azure-ai-ml v2 (bieżąca)

W tym artykule dowiesz się, jak dołączyć pulę Platformy Spark usługi Synapse w usłudze Azure Machine Edukacja. Pulę platformy Spark usługi Synapse można dołączyć na maszynie azure Edukacja na jeden z następujących sposobów:

Korzystanie z interfejsu użytkownika usługi Azure Machine Edukacja Studio
Korzystanie z interfejsu wiersza polecenia usługi Azure Machine Edukacja
Korzystanie z zestawu AZURE Machine Edukacja Python SDK

Wymagania wstępne

Subskrypcja platformy Azure; Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto .
Obszar roboczy usługi Azure Machine Learning. Zobacz Tworzenie zasobów obszaru roboczego.
Tworzenie obszaru roboczego usługi Azure Synapse Analytics w witrynie Azure Portal.
Utwórz pulę platformy Apache Spark przy użyciu witryny Azure Portal.

Dołączanie puli usługi Synapse Spark w usłudze Azure Machine Edukacja

Usługa Azure Machine Edukacja oferuje różne sposoby dołączania puli platformy Spark usługi Synapse i zarządzania nią.

Aby dołączyć pulę platformy Spark usługi Synapse przy użyciu karty Środowisko obliczeniowe programu Studio:

W sekcji Zarządzanie w okienku po lewej stronie wybierz pozycję Obliczenia.
Wybierz pozycję Dołączone obliczenia.
Na ekranie Dołączone obliczenia wybierz pozycję Nowy, aby wyświetlić opcje dołączania różnych typów obliczeń.
Wybierz pozycję Pula platformy Spark usługi Synapse.

Panel puli Attach Synapse Spark (Dołączanie puli platformy Synapse Spark) zostanie otwarty po prawej stronie ekranu. W tym panelu:

Wprowadź nazwę, która odwołuje się do dołączonej puli Platformy Spark usługi Synapse wewnątrz zasobu usługi Azure Machine Edukacja.
Wybierz subskrypcję platformy Azure z menu rozwijanego.
Wybierz obszar roboczy usługi Synapse z menu rozwijanego.
Wybierz pulę platformy Spark z menu rozwijanego.
Przełącz opcję Przypisz tożsamość zarządzaną, aby ją włączyć.
Wybierz typ tożsamości zarządzanej, który ma być używany z tą dołączoną pulą platformy Spark usługi Synapse.
Wybierz pozycję Aktualizuj, aby ukończyć proces dołączania puli platformy Spark usługi Synapse Spark.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (bieżąca)

Za pomocą interfejsu wiersza polecenia usługi Azure Machine Edukacja możemy użyć intuicyjnej składni i poleceń YAML z interfejsu wiersza polecenia, aby dołączyć pulę platformy Synapse Spark i zarządzać nią.

Aby zdefiniować dołączoną pulę platformy Synapse Spark przy użyciu składni YAML, plik YAML powinien obejmować następujące właściwości:

name — nazwa dołączonej puli platformy Synapse Spark.
type — ustaw tę właściwość na synapsesparkwartość .
resource_id — ta właściwość powinna podać wartość identyfikatora zasobu puli Usługi Synapse Spark utworzonej w obszarze roboczym usługi Azure Synapse Analytics. Identyfikator zasobu platformy Azure zawiera
- Identyfikator subskrypcji platformy Azure,
- nazwa grupy zasobów,
- Nazwa obszaru roboczego usługi Azure Synapse Analytics i
- nazwa puli platformy Spark usługi Synapse.
```
name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
```

identity — ta właściwość definiuje typ tożsamości, który ma zostać przypisany do dołączonej puli usługi Synapse Spark. Może to przyjąć jedną z następujących wartości:

system_assigned

user_assigned

name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
type: system_assigned

identity Dla typu user_assignednależy również podać listę user_assigned_identities wartości. Każda tożsamość przypisana przez użytkownika powinna być zadeklarowana jako element listy przy użyciu resource_id wartości tożsamości przypisanej przez użytkownika. Pierwsza tożsamość przypisana przez użytkownika na liście jest używana do przesyłania zadania domyślnie.

name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
  type: user_assigned
  user_assigned_identities:
    - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>

Powyższe pliki YAML mogą być używane w poleceniu az ml compute attach jako parametr .--file Pulę usługi Synapse Spark można dołączyć do obszaru roboczego usługi Azure Machine Edukacja w określonej grupie zasobów subskrypcji za az ml compute attach pomocą polecenia pokazanego tutaj:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

W tym przykładzie przedstawiono oczekiwane dane wyjściowe powyższego polecenia:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Jeśli dołączona pula usługi Synapse Spark o nazwie określonej w pliku specyfikacji YAML już istnieje w obszarze roboczym, az ml compute attach wykonanie polecenia aktualizuje istniejącą pulę z informacjami podanymi w pliku specyfikacji YAML. Możesz zaktualizować

typ tożsamości
tożsamości przypisane przez użytkownika
tags

wartości za pomocą pliku specyfikacji YAML.

Aby wyświetlić szczegóły dołączonej puli platformy Synapse Spark, wykonaj az ml compute show polecenie . Przekaż nazwę dołączonej puli platformy Synapse Spark za pomocą parametru --name , jak pokazano poniżej:

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

W tym przykładzie przedstawiono oczekiwane dane wyjściowe powyższego polecenia:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Aby wyświetlić listę wszystkich obliczeń, w tym dołączone pule platformy Synapse Spark w obszarze roboczym, użyj az ml compute list polecenia . Użyj parametru name, aby przekazać nazwę obszaru roboczego, jak pokazano poniżej:

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

W tym przykładzie przedstawiono oczekiwane dane wyjściowe powyższego polecenia:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

Zestaw AZURE Machine Edukacja Python SDK udostępnia wygodne funkcje do dołączania puli platformy Synapse Spark i zarządzania nią przy użyciu kodu języka Python w usłudze Azure Machine Edukacja Notebooks.

Aby dołączyć usługę Synapse Compute przy użyciu zestawu SDK języka Python, najpierw utwórz wystąpienie klasy azure.ai.ml.MLClient. Zapewnia to wygodne funkcje interakcji z usługami azure Machine Edukacja. Poniższy przykładowy kod używa azure.identity.DefaultAzureCredential metody do nawiązywania połączenia z obszarem roboczym w grupie zasobów określonej subskrypcji platformy Azure. W poniższym przykładzie kodu zdefiniuj element SynapseSparkCompute z następującymi parametrami:

name — zdefiniowana przez użytkownika nazwa nowej dołączonej puli platformy Synapse Spark.
resource_id — identyfikator zasobu puli Platformy Spark usługi Synapse utworzonej wcześniej w obszarze roboczym usługi Azure Synapse Analytics

Wywołanie funkcji azure.ai.ml.MLClient.begin_create_or_update() dołącza zdefiniowaną pulę usługi Synapse Spark do obszaru roboczego usługi Azure Machine Edukacja.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Aby dołączyć pulę platformy Synapse Spark korzystającą z tożsamości przypisanej przez system, przekaż element IdentityConfiguration z typem ustawionym identity na SystemAssigned, jako parametr SynapseSparkCompute klasy. Ten fragment kodu dołącza pulę platformy Spark synapse, która korzysta z tożsamości przypisanej przez system:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Pula usługi Synapse Spark może również używać tożsamości przypisanej przez użytkownika. W przypadku tożsamości przypisanej przez użytkownika można przekazać definicję tożsamości zarządzanej przy użyciu klasy IdentityConfiguration jako identity parametr SynapseSparkCompute klasy . W przypadku definicji tożsamości zarządzanej używanej w ten sposób ustaw wartość typeUserAssigned. Ponadto przekaż user_assigned_identities parametr . Parametr user_assigned_identities jest listą obiektów klasy UserAssignedIdentity. Tożsamość resource_id przypisana przez użytkownika wypełnia każdy UserAssignedIdentity obiekt klasy. Ten fragment kodu dołącza pulę platformy Synapse Spark, która używa tożsamości przypisanej przez użytkownika:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Uwaga

Funkcja azure.ai.ml.MLClient.begin_create_or_update() dołącza nową pulę platformy Synapse Spark, jeśli pula o określonej nazwie jeszcze nie istnieje w obszarze roboczym. Jeśli jednak pula usługi Synapse Spark o określonej nazwie jest już dołączona do obszaru roboczego, wywołanie azure.ai.ml.MLClient.begin_create_or_update() funkcji zaktualizuje istniejącą dołączoną pulę przy użyciu nowej tożsamości lub tożsamości.

Dodawanie przypisań ról w usłudze Azure Synapse Analytics

Aby upewnić się, że dołączona pula platformy Synapse Spark działa prawidłowo, przypisz do niej rolę Administracja istratora z poziomu interfejsu użytkownika programu Azure Synapse Analytics Studio. W poniższych krokach pokazano, jak to zrobić:

Otwórz obszar roboczy usługi Synapse w witrynie Azure Portal.
W okienku po lewej stronie wybierz pozycję Przegląd.
Wybierz pozycję Otwórz program Synapse Studio.
W programie Azure Synapse Analytics Studio wybierz pozycję Zarządzaj w okienku po lewej stronie.
Wybierz pozycję Kontrola dostępu w sekcji Zabezpieczenia w okienku po lewej stronie.
Wybierz Dodaj.
Panel Dodawanie przypisania roli zostanie otwarty po prawej stronie ekranu. W tym panelu:
1. Wybierz pozycję Obszar roboczy w poluZakres.
2. W menu rozwijanym Typ elementu wybierz pozycję Pula platformy Apache Spark.
3. W menu rozwijanym Element wybierz pulę platformy Apache Spark.
4. W menu rozwijanym Rola wybierz pozycję Synapse Administracja istrator.
5. W polu wyszukiwania Wybierz użytkownika rozpocznij wpisywanie nazwy obszaru roboczego usługi Azure Machine Edukacja. Zostanie wyświetlona lista dołączonych pul platformy Synapse Spark. Wybierz żądaną pulę usługi Synapse Spark z listy.
6. Wybierz Zastosuj.

Aktualizowanie puli platformy Spark usługi Synapse

Dołączoną pulę platformy Synapse Spark można zarządzać przy użyciu interfejsu użytkownika usługi Azure Machine Edukacja Studio. Funkcje zarządzania pulą platformy Spark obejmują skojarzone aktualizacje tożsamości zarządzanej dla dołączonej puli platformy Synapse Spark. Podczas aktualizowania puli platformy Synapse Spark można przypisać tożsamość przypisaną przez system lub przypisaną przez użytkownika. Należy utworzyć tożsamość zarządzaną przypisaną przez użytkownika w witrynie Azure Portal przed przypisaniem jej do puli usługi Synapse Spark.

Aby zaktualizować tożsamość zarządzaną dla dołączonej puli platformy Synapse Spark:

Otwórz stronę Szczegóły puli platformy Synapse Spark w usłudze Azure Machine Edukacja Studio.
Znajdź ikonę edycji znajdującą się po prawej stronie sekcji Tożsamość zarządzana.
Aby przypisać tożsamość zarządzaną po raz pierwszy, przełącz opcję Przypisz tożsamość zarządzaną, aby ją włączyć.
Aby przypisać tożsamość zarządzaną przypisaną przez system:
1. Wybierz pozycję Przypisane przez system jako typ tożsamości.
2. Wybierz Aktualizuj.
Aby przypisać tożsamość zarządzaną przypisaną przez użytkownika:
1. Wybierz pozycję Przypisane przez użytkownika jako typ tożsamości.
2. Wybierz subskrypcję platformy Azure z menu rozwijanego.
3. Wpisz kilka pierwszych liter nazwy tożsamości zarządzanej przypisanej przez użytkownika w polu, w którym jest wyświetlany tekst Wyszukaj według nazwy. Zostanie wyświetlona lista z pasującymi nazwami tożsamości zarządzanych przypisanych przez użytkownika. Wybierz tożsamość zarządzaną przypisaną przez użytkownika z listy. Możesz wybrać wiele tożsamości zarządzanych przypisanych przez użytkownika i przypisać je do dołączonej puli usługi Synapse Spark.
4. Wybierz Aktualizuj.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (bieżąca)

Aby zaktualizować tożsamość skojarzoną z dołączoną pulą platformy Synapse Spark, wykonaj az ml compute update polecenie z odpowiednimi parametrami. Aby przypisać tożsamość przypisaną przez system, ustaw --identity parametr w poleceniu na SystemAssignedwartość , jak pokazano poniżej:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

W tym przykładzie przedstawiono oczekiwane dane wyjściowe powyższego polecenia:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Aby przypisać tożsamość przypisaną przez użytkownika, ustaw parametr --identity w poleceniu na UserAssigned. Ponadto należy użyć parametru --user-assigned-identities , aby przekazać identyfikator zasobu dla tożsamości przypisanej przez użytkownika, jak pokazano poniżej:

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

W tym przykładzie przedstawiono oczekiwane dane wyjściowe powyższego polecenia:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Uwaga

Parametr --user-assigned-identities może pobrać listę identyfikatorów zasobów i przypisać wiele tożsamości zdefiniowanych przez użytkownika do dołączonej puli usługi Synapse Spark. Pierwsza tożsamość przypisana przez użytkownika na liście będzie używana do przesyłania zadania domyślnie.

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

Aby użyć tożsamości przypisanej przez system, przekaż IdentityConfigurationelement z typem ustawionym identity na SystemAssigned, jako parametr SynapseSparkCompute klasy . Ten fragment kodu aktualizuje pulę platformy Synapse Spark w celu użycia tożsamości przypisanej przez system:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp)

Pula usługi Synapse Spark może również używać tożsamości przypisanej przez użytkownika. W przypadku tożsamości przypisanej przez użytkownika można przekazać definicję tożsamości zarządzanej przy użyciu klasy IdentityConfiguration jako identity parametr SynapseSparkCompute klasy . W przypadku definicji tożsamości zarządzanej używanej w ten sposób ustaw wartość typeUserAssigned. Ponadto przekaż user_assigned_identities parametr . Parametr user_assigned_identities jest listą obiektów klasy UserAssignedIdentity. Tożsamość resource_idprzypisana przez użytkownika wypełnia każdy UserAssignedIdentity obiekt klasy. Ten fragment kodu aktualizuje pulę platformy Spark usługi Synapse w celu użycia tożsamości przypisanej przez użytkownika:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Uwaga

Jeśli pula o określonej nazwie nie istnieje jeszcze w obszarze roboczym, azure.ai.ml.MLClient.begin_create_or_update() funkcja dołączy nową pulę platformy Synapse Spark. Jeśli jednak pula usługi Synapse Spark o określonej nazwie jest już dołączona do obszaru roboczego, azure.ai.ml.MLClient.begin_create_or_update() wywołanie funkcji zaktualizuje istniejącą dołączoną pulę przy użyciu nowej tożsamości lub tożsamości.

Odłączanie puli usługi Synapse Spark

Możemy chcieć odłączyć dołączoną pulę platformy Synapse Spark, aby wyczyścić obszar roboczy.

Interfejs użytkownika usługi Azure Machine Edukacja Studio umożliwia również odłączanie dołączonej puli platformy Spark usługi Synapse. W tym celu wykonaj następujące kroki:

Otwórz stronę Szczegóły puli Usługi Synapse Spark w usłudze Azure Machine Edukacja Studio.
Wybierz pozycję Odłącz, aby odłączyć dołączoną pulę platformy Synapse Spark.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 2 (bieżąca)

Dołączoną pulę platformy Synapse Spark można odłączyć, wykonując az ml compute detach polecenie o nazwie przekazanej puli, używając parametru --name , jak pokazano poniżej:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

W tym przykładzie przedstawiono oczekiwane dane wyjściowe powyższego polecenia:

Are you sure you want to perform this operation? (y/n): y

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

Użyjemy wywołania MLClient.compute.begin_delete() funkcji. name Przekaż dołączoną pulę platformy Synapse Spark wraz z akcją Detach, do funkcji . Ten fragment kodu odłącza pulę platformy Synapse Spark od obszaru roboczego usługi Azure Machine Edukacja:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Bezserwerowe obliczenia spark na maszynie azure Edukacja

Niektóre scenariusze użytkownika mogą wymagać dostępu do bezserwerowego zasobu obliczeniowego platformy Spark podczas przesyłania zadania usługi Azure Machine Edukacja bez konieczności dołączania puli spark. Integracja usługi Azure Synapse Analytics z usługą Azure Machine Edukacja zapewnia również bezserwerowe środowisko obliczeniowe platformy Spark. Umożliwia to dostęp do obliczeń platformy Spark w zadaniu bez konieczności wcześniejszego dołączania obliczeń do obszaru roboczego. Dowiedz się więcej na temat bezserwerowego środowiska obliczeniowego platformy Spark.

Udostępnij za pośrednictwem

Dołączanie puli platformy Spark usługi Synapse Spark i zarządzanie nią w usłudze Azure Machine Edukacja

Wymagania wstępne

Dołączanie puli usługi Synapse Spark w usłudze Azure Machine Edukacja

Dodawanie przypisań ról w usłudze Azure Synapse Analytics

Aktualizowanie puli platformy Spark usługi Synapse

Odłączanie puli usługi Synapse Spark

Bezserwerowe obliczenia spark na maszynie azure Edukacja

Następne kroki

Dodatkowe zasoby