Использование GitHub Actions с Машинным обучением Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

Приступите к работе с GitHub Actions, чтобы обучить модель в Машинном обучении Azure.

В этой статье описано, как создать рабочий процесс GitHub Actions, который создает и развертывает модель машинного обучения в Машинном обучении Azure. Вы обучите модель линейной регрессии scikit-learn в наборе данных о такси Нью-Йорка.

Рабочий процесс в GitHub Actions определяется файлом YAML-фалом (.yml), который размещается в репозитории (/.github/workflows/). Это определение содержит разные шаги и параметры рабочего процесса.

Необходимые компоненты

Перед выполнением действий, описанных в этой статье, убедитесь, что выполнены следующие необходимые условия:

• Рабочая область Машинного обучения Azure. Если у вас ее нет, создайте ее по инструкциям, приведенным в кратком руководстве по созданию ресурсов рабочей области.

• Чтобы установить пакет SDK для Python версии 2, используйте следующую команду:

  pip install azure-ai-ml azure-identity
  

  Чтобы обновить существующую установку пакета SDK до последней версии, выполните следующую команду:

  pip install --upgrade azure-ai-ml azure-identity
  

  Дополнительные сведения см. в статье "Установка пакета SDK для Python версии 2 для Машинное обучение Azure".

• Учетная запись GitHub. Если у вас ее нет, зарегистрируйтесь бесплатно.

Шаг 1. Получение кода

Создайте вилку для следующего репозитория на GitHub:

https://github.com/azure/azureml-examples

Клонируйте вилку репозитория локально.

git clone https://github.com/YOUR-USERNAME/azureml-examples

Шаг 2. Проверка подлинности с помощью Azure

Сначала необходимо определить способ проверки подлинности в Azure. Вы можете использовать субъект-службу или OpenID Connect.

Создание учетных данных для развертывания.

Субъект-служба

Создайте субъект-службу с помощью командыaz ad sp create-for-rbac в Azure CLI. Чтобы выполнить эту команду, откройте Azure Cloud Shell на портале Azure или нажмите кнопку Попробовать.

az ad sp create-for-rbac --name "myML" --role contributor \
                            --scopes /subscriptions/<subscription-id>/resourceGroups/<group-name> \
                            --json-auth

Параметр --json-auth доступен в версиях >Azure CLI = 2.51.0. Версии до этого использования --sdk-auth с предупреждением об нерекомендуемом.

В указанном выше примере замените заполнители соответствующим идентификатором подписки, именем группы ресурсов и именем приложения. Выходные данные содержат объект JSON с учетными данными назначения роли, которые предоставляют доступ к приложению Службы приложений, как показано ниже. Скопируйте этот объект JSON для последующего использования.

  {
    "clientId": "<GUID>",
    "clientSecret": "<GUID>",
    "subscriptionId": "<GUID>",
    "tenantId": "<GUID>",
    (...)
  }

OpenID Connect

Метод проверки подлинности OpenID Connect использует маркеры с коротким сроком жизни. Настройка OpenID Connect с помощью GitHub Actions выполняется сложнее, но зато обеспечивает более безопасную работу.

1. Если у вас нет существующего приложения, зарегистрируйте новое приложение Microsoft Entra и субъект-службу, которое может получить доступ к ресурсам.

   az ad app create --display-name myApp
   

   Эта команда выводит код JSON с объектом appId, который представляет client-id. APPLICATION-OBJECT-ID Он objectId используется для создания федеративных учетных данных с помощью вызовов API Graph. Сохраните это значение, чтобы позднее применить в качестве секрета GitHub AZURE_CLIENT_ID.

2. Создание субъекта-службы. Замените $appID значением appId из выходных данных в формате JSON. Эта команда создает выходные данные JSON с другим objectId будет использоваться на следующем шаге. Новое значение objectId представляет assignee-object-id.

   Эта команда создает выходные данные в формате JSON с другим значением objectId, которое вы примените на следующем шаге. Новое значение objectId представляет assignee-object-id.

   Скопируйте appOwnerTenantId, чтобы позднее применить в качестве секрета GitHub AZURE_TENANT_ID.

    az ad sp create --id $appId
   

3. Создайте назначение ролей для подписки и объекта. По умолчанию назначение ролей будет привязано к вашей подписке по умолчанию. Замените $subscriptionId идентификатором подписки, $resourceGroupName именем группы ресурсов и $assigneeObjectId созданным assignee-object-id (только что созданный идентификатор объекта субъекта-службы).

   az role assignment create --role contributor --subscription $subscriptionId --assignee-object-id  $assigneeObjectId --assignee-principal-type ServicePrincipal --scope /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName
   

4. Выполните следующую команду, чтобы создать новые федеративные учетные данные удостоверения для приложения Microsoft Entra.

   • Замените APPLICATION-OBJECT-ID объектным идентификатором (созданным при создании приложения) для приложения Microsoft Entra.
   • Задайте значение для CREDENTIAL-NAME, оно понадобится позже.
   • Задайте subject. Значение этого определяется GitHub в зависимости от рабочего процесса:
     • Задания в среде GitHub Actions: repo:< Organization/Repository >:environment:< Name >.
     • Если задания не привязаны к среде, включите путь ссылки для ветви или тега с учетом пути, используемого для запуска рабочего процесса: repo:< Organization/Repository >:ref:< ref path>. Например, repo:n-username/ node_express:ref:refs/heads/my-branch или repo:n-username/ node_express:ref:refs/tags/my-tag.
     • Для рабочих процессов, запускаемых событием запроса на вытягивание: repo:< Organization/Repository >:pull_request.

   az ad app federated-credential create --id <APPLICATION-OBJECT-ID> --parameters credential.json
   ("credential.json" contains the following content)
   {
       "name": "<CREDENTIAL-NAME>",
       "issuer": "https://token.actions.githubusercontent.com",
       "subject": "repo:octo-org/octo-repo:environment:Production",
       "description": "Testing",
       "audiences": [
           "api://AzureADTokenExchange"
       ]
   }
   

Создание секретов

Субъект-служба

1. В GitHub перейдите в репозиторий.

2. Перейдите к Параметры в меню навигации.

3. Выберите "Секреты безопасности>" и "Действия переменных>".

   

4. Нажмите Создать секрет репозитория.

5. Вставьте все выходные данные JSON, полученные из команды Azure CLI, в поле значения секрета. Присвойте секрету имя AZURE_CREDENTIALS.

6. Выберите Добавить секрет.

OpenID Connect

Вам необходимо указать для действия входа идентификатор клиента, идентификатор арендатора и идентификатор подписки вашего приложения. Эти значения могут быть указаны непосредственно в рабочем процессе или храниться в секретах GitHub с указанием ссылок на них в рабочем процессе. Сохранение значений в виде секретов GitHub является более безопасным вариантом.

1. В GitHub перейдите в репозиторий.

2. Выберите "Секреты безопасности>" и "Действия переменных>".

   

3. Нажмите Создать секрет репозитория.

4. Создайте секреты для AZURE_CLIENT_ID, AZURE_TENANT_ID и AZURE_SUBSCRIPTION_ID. Используйте эти значения из приложения Microsoft Entra для секретов GitHub:

   Секрет GitHub	Приложение Microsoft Entra
   AZURE_CLIENT_ID	Идентификатор приложения (клиент)
   AZURE_TENANT_ID	Идентификатор каталога (клиента)
   AZURE_SUBSCRIPTION_ID	ИД подписки

5. Сохраните каждый секрет, выбрав Добавить секрет.

Шаг 3. Обновление setup.sh для подключения к рабочей области Машинное обучение Azure

Вам потребуется обновить переменные файла установки CLI в соответствии с рабочей областью.

1. В вилку репозитория перейдите в azureml-examples/cli/раздел .

2. Измените setup.sh и обновите эти переменные в файле.

   «Переменная»	Description
   ГРУППА	имя группы ресурсов
   LOCATION	Расположение рабочей области (например: eastus2)
   РАБОЧАЯ ОБЛАСТЬ	Имя рабочей области Машинное обучение Azure

Шаг 4. Обновление pipeline.yml с именем вычислительного кластера

Вы будете pipeline.yml использовать файл для развертывания конвейера Машинное обучение Azure. Это конвейер машинного обучения, а не конвейер DevOps. Это обновление необходимо выполнить, только если вы используете имя, отличающееся от значения cpu-cluster для имени кластера компьютера.

1. В вилку репозитория перейдите в azureml-examples/cli/jobs/pipelines/nyc-taxi/pipeline.ymlраздел .
2. При каждом отображении compute: azureml:cpu-cluster обновляйте значение cpu-cluster имени вычислительного кластера. Например, если кластер называется my-cluster, новое значение будет azureml:my-cluster. Доступно пять обновлений.

Шаг 5. Выполнение рабочего процесса GitHub Actions

Ваш рабочий процесс выполняет проверку подлинности в Azure, настраивает CLI Машинного обучения Azure и использует CLI для обучения модели в Машинном обучении Azure.

Субъект-служба

Файл рабочего процесса состоит из раздела триггера и заданий:

• Триггер запускает рабочий процесс в разделе on. Рабочий процесс запускается по умолчанию по расписанию cron и при выполнении запроса на вытягивание из соответствующих ветвей и путей. См. дополнительные сведения о событиях, которые активируют рабочие процессы.
• В разделе заданий рабочего процесса вы можете извлечь код и войти в Azure с помощью секрета субъекта-службы.
• В разделе заданий также содержится действие установки, которое устанавливает и настраивает CLI Машинного обучения (версия 2). После установки CLI действие задания запуска выполняет файл pipeline.yml Машинного обучения Azure для обучения модели с использованием данных о такси Нью-Йорка.

Включение рабочего процесса

1. В вилку репозитория откройте .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml и убедитесь, что рабочий процесс выглядит следующим образом.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
           creds: ${{secrets.AZURE_CREDENTIALS}}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Выберите Просмотреть выполнения.

3. Включите рабочие процессы, выбрав Я понимаю свои рабочие процессы и хочу включить их.

4. Выберите рабочий процесс cli-jobs-pipelines-nyc-taxi-pipeline workflow и выберите Включить рабочий процесс.

5. Выберите Выполнить рабочий процесс и щелкните Выполнить рабочий процесс.

OpenID Connect

Файл рабочего процесса состоит из раздела триггера и заданий:

• Триггер запускает рабочий процесс в разделе on. Рабочий процесс запускается по умолчанию по расписанию cron и при выполнении запроса на вытягивание из соответствующих ветвей и путей. См. дополнительные сведения о событиях, которые активируют рабочие процессы.
• В разделе заданий рабочего процесса вы извлекаете код и входите в Azure с помощью действия входа в Azure с помощью OpenID Connect.
• В разделе заданий также содержится действие установки, которое устанавливает и настраивает CLI Машинного обучения (версия 2). После установки CLI действие задания запуска выполняет файл pipeline.yml Машинного обучения Azure для обучения модели с использованием данных о такси Нью-Йорка.

Включение рабочего процесса

1. В вилку репозитория откройте .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml и убедитесь, что рабочий процесс выглядит следующим образом.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
             client-id: ${{ secrets.AZURE_CLIENT_ID }}
             tenant-id: ${{ secrets.AZURE_TENANT_ID }}
             subscription-id: ${{ secrets.AZURE_SUBSCRIPTION_ID }}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Выберите Просмотреть выполнения.

3. Включите рабочие процессы, выбрав Я понимаю свои рабочие процессы и хочу включить их.

4. Выберите рабочий процесс cli-jobs-pipelines-nyc-taxi-pipeline workflow и выберите Включить рабочий процесс.

   

5. Выберите Выполнить рабочий процесс и щелкните Выполнить рабочий процесс.

   

Шаг 6. Проверка выполнения рабочего процесса

1. Откройте завершенный рабочий процесс и убедитесь, что задание сборки выполнено успешно. Рядом с заданием появится зеленая галочка.

2. Откройте Студию машинного обучения Azure и перейдите к примеру nyc-taxi-pipeline-example. Убедитесь, что каждая часть задания (подготовка, преобразование, обучение, прогнозирование, оценка) завершена и что отображается зеленая галочка.

   

Очистка ресурсов

Когда вы закончите работу с группой ресурсов и репозиторием, очистите развернутые ресурсы, удалив группу ресурсов и репозиторий GitHub.

Следующие шаги

Создание рабочих конвейеров ML с помощью пакета SDK для Python