Plánování úloh importu dat (Preview)

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

V tomto článku se dozvíte, jak programově naplánovat importy dat a pomocí uživatelského rozhraní plánu provést totéž. Plán můžete vytvořit na základě uplynulého času. Plány založené na čase se dají použít k péči o rutinní úlohy, jako je třeba pravidelné importování dat, aby byly aktuální. Po seznámení s vytvářením plánů se dozvíte, jak je načíst, aktualizovat a deaktivovat pomocí rozhraní příkazového řádku, sady SDK a uživatelského rozhraní studia.

Předpoklady

• Abyste mohli používat službu Azure Machine Učení, musíte mít předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet. Vyzkoušejte si bezplatnou nebo placenou verzi služby Azure Machine Učení ještě dnes.

Azure CLI

• Nainstalujte Azure CLI a ml rozšíření. Postupujte podle pokynů k instalaci v části Instalace, nastavení a používání rozhraní příkazového řádku (v2).

• Pokud ho nemáte, vytvořte pracovní prostor azure machine Učení. Informace o vytvoření pracovního prostoru najdete v tématu Instalace, nastavení a použití rozhraní příkazového řádku (v2).

Python SDK

• Pokud ho nemáte, vytvořte pracovní prostor azure machine Učení.
• Sada Azure Machine Učení SDK v2 pro Python.

Studio

• Pracovní prostor služby Azure Machine Learning. Viz Vytvoření prostředků pracovního prostoru.
• Znalost kanálů azure Machine Učení Podívejte se , co jsou kanály strojového učení a jak vytvořit úlohu kanálu v cli v2 nebo sadě SDK v2.

Naplánovat import dat

Pokud chcete data importovat opakovaně, musíte vytvořit plán. Přidruží Schedule akci importu dat a trigger. Triggerem může být cron buď použití výrazu cron k popisu čekání mezi spuštěními, nebo recurrence pomocí toho, jakou frekvenci se má úloha aktivovat. V každém případě musíte nejprve definovat definici importovaných dat. Pro tento postup funguje existující import dat nebo import dat, který je definovaný vložený. Informace o vytvoření importu dat v rozhraní příkazového řádku, sadě SDK a uživatelském rozhraní

Vytvoření plánu

Vytvoření časového plánu s opakováním

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

YAML: Plán importu dat se vzorem opakování

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Naplánování vložené definice importu dat se vzorem opakování ve spravovaném úložišti dat

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

trigger obsahuje následující vlastnosti:

• (Povinné)type určuje typ plánu, buď recurrence nebo cron. Další podrobnosti najdete v následující části.

Pak v rozhraní příkazového řádku spusťte tento příkaz:

> az ml schedule create -f <file-name>.yml

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger obsahuje následující vlastnosti:

• (Povinné) Abychom zajistili lepší možnosti psaní kódu, používáme RecurrenceTrigger pro plán opakování.

Studio

Pokud máte import dat s uspokojivým výkonem a výstupy, můžete nastavit plán pro automatické spuštění tohoto importu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější odkaz na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu libovolného importu dat vyberte Plán –>Vytvořit nový plán a otevřete průvodce vytvořením plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Základní nastavení průvodce vytvořením plánu mají vlastnosti zobrazené na tomto snímku obrazovky:

   

• Název: jedinečný identifikátor plánu v rámci pracovního prostoru.

• Popis: popis plánu.

• Aktivační událost: způsob opakování plánu, který zahrnuje následující vlastnosti.

  • Časové pásmo: Výpočet času triggeru je založený na tomto časovém pásmu; (UTC) Ve výchozím nastavení je koordinovaný univerzální čas.
  • Opakování nebo výraz Cron: vyberte opakování a určete opakující se vzor. V části Opakování můžete určit frekvenci opakování – podle minut, hodin, dnů, týdnů nebo měsíců.
  • Začátek: Plán se nejprve aktivuje k tomuto datu. Ve výchozím nastavení datum vytvoření tohoto plánu.
  • Konec: Plán bude po tomto datu neaktivní. Ve výchozím nastavení je hodnota NONE, což znamená, že plán zůstane aktivní, dokud ho ručně nezakážete.
  • Značky: vybrané značky plánu.

  Po nakonfigurování základního nastavení můžete vybrat Zkontrolovat a vytvořit a plán automaticky odešle import dat na základě zadaného způsobu opakování. Můžete také vybrat další a procházet průvodce a vybrat nebo aktualizovat parametry importu dat.

Poznámka:

Tyto vlastnosti platí pro rozhraní příkazového řádku a sadu SDK:

• (Povinné)frequency určuje jednotku času, která popisuje, jak často se plán aktivuje. Může obsahovat hodnoty minute, , dayhour, weeknebo month.

• (Povinné)interval určuje, jak často se plán aktivuje na základě frekvence, což je počet časových jednotek, které mají čekat, dokud se plán znovu neaktivuje.

• (Volitelné) schedule definuje způsob opakování, který obsahuje hoursminutes, a weekdays.

  • Když frequency se rovná day, vzor může určit hours a minutes.
  • Když frequency se rovná week a month, vzor může určit hours, minutes a weekdays.
  • hours musí být celé číslo nebo seznam v rozsahu od 0 do 23.
  • minutes by mělo být celé číslo nebo seznam v rozsahu od 0 do 59.
  • weekdaysřetězec nebo seznam v rozsahu od monday .sunday
  • Pokud schedule je vynechán, úlohy se aktivují podle logiky start_timefrequency a interval.

• (Volitelné) start_time popisuje počáteční datum a čas s časovým pásmem. Pokud start_time tuto hodnotu vynecháte, start_time se rovná času vytvoření úlohy. V případě času spuštění v minulosti se první úloha spustí při příštím počítaném čase běhu.

• (Volitelné) end_time popisuje koncové datum a čas s časovým pásmem. Pokud end_time tento plán vynecháte, bude plán nadále spouštět úlohy, dokud se plán ručně nezablokuje.

• (Volitelné) time_zone určuje časové pásmo opakování. Pokud tento parametr vynecháte, výchozí časové pásmo je UTC. Další informace o hodnotách časového pásma najdete v dodatku k hodnotám časového pásma.

Vytvoření časového plánu pomocí výrazu cron

Azure CLI

YAML: Naplánování importu dat pomocí výrazu cron

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

YAML: Naplánování importu dat pomocí výrazu cron (Preview)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Plán definice importu dat vložený s výrazem cron (Preview)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Oddíl trigger definuje podrobnosti plánu a obsahuje následující vlastnosti:

• (Povinné)type určuje typ plánu je cron.

> az ml schedule create -f <file-name>.yml

Seznam pokračuje tady:

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Oddíl CronTrigger definuje podrobnosti plánu a obsahuje následující vlastnosti:

• (Povinné) Abychom zajistili lepší možnosti psaní kódu, používáme CronTrigger pro plán opakování.

Seznam pokračuje tady:

Studio

Pokud máte import dat s uspokojivým výkonem a výstupy, můžete nastavit plán pro automatické spuštění tohoto importu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější odkaz na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu libovolného importu dat vyberte Plán –>Vytvořit nový plán a otevřete průvodce vytvořením plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Základní nastavení průvodce vytvořením plánu mají vlastnosti zobrazené na tomto snímku obrazovky:

   

• Název: jedinečný identifikátor plánu v rámci pracovního prostoru.

• Popis: popis plánu.

• Aktivační událost: způsob opakování plánu, který zahrnuje následující vlastnosti.

  • Časové pásmo: Výpočet času triggeru je založený na tomto časovém pásmu; (UTC) Ve výchozím nastavení je koordinovaný univerzální čas.
  • Opakování nebo výraz Cron: vyberte opakování a určete opakující se vzor. Výraz Cron umožňuje zadat flexibilnější a přizpůsobený způsob opakování.
  • Začátek: Plán se nejprve aktivuje k tomuto datu. Ve výchozím nastavení datum vytvoření tohoto plánu.
  • Konec: Plán bude po tomto datu neaktivní. Ve výchozím nastavení je hodnota NONE, což znamená, že plán zůstane aktivní, dokud ho ručně nezakážete.
  • Značky: vybrané značky plánu.

  Po nakonfigurování základního nastavení můžete vybrat Zkontrolovat a vytvořit a plán automaticky odešle import dat na základě zadaného způsobu opakování. Můžete také vybrat další a procházet průvodce a vybrat nebo aktualizovat parametry importu dat.

• (Povinné)expression používá standardní výraz crontab k vyjádření opakujícího se plánu. Jeden výraz se skládá z pěti polí oddělených mezerami:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Jeden zástupný znak (*), který pokrývá všechny hodnoty pole. A *, ve dnech, znamená všechny dny v měsíci (které se liší podle měsíce a roku).

  • Výše expression: "15 16 * * 1" uvedený vzorek znamená každou pondělí 16:15.

  • V další tabulce jsou uvedeny platné hodnoty pro každé pole:

    Pole	Rozsah	Komentář
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Nepodporováno Hodnota je ignorována a považována za *.
    MONTHS	-	Nepodporováno Hodnota je ignorována a považována za *.
    DAYS-OF-WEEK	0-6	Nula (0) znamená neděli. Byly přijaty také názvy dnů.

  • Další informace o výrazech crontab najdete na wikiwebu Crontab Expression na GitHubu.

  Důležité

  DAYS a MONTH nejsou podporovány. Pokud předáte jednu z těchto hodnot, bude ignorována a považována za *.

• (Volitelné) start_time určuje počáteční datum a čas s časovým pásmem plánu. Například znamená, start_time: "2022-05-10T10:15:00-04:00" že plán začíná od 10:15:00 do 10.2022-05-10 v časovém pásmu UTC-4. Pokud start_time tento parametr vynecháte, start_time rovná se času vytvoření plánu. V případě času spuštění v minulosti se první úloha spustí při příštím počítaném čase běhu.

• (Volitelné) end_time popisuje koncové datum a čas s časovým pásmem. Pokud end_time tento plán vynecháte, bude plán nadále spouštět úlohy, dokud se plán ručně nezablokuje.

• (Volitelné) time_zoneurčuje časové pásmo výrazu. Pokud tento parametr vynecháte, časové pásmo je ve výchozím nastavení UTC. Viz dodatek k hodnotám časového pásma.

Omezení:

• V současné době plánování služby Azure Machine Učení v2 nepodporuje triggery založené na událostech.
• Pomocí sady Azure Machine Učení SDK/CLI v2 určete složitý způsob opakování, který obsahuje více časových razítek triggerů. Uživatelské rozhraní zobrazuje jenom složitý vzor a nepodporuje úpravy.
• Pokud nastavíte opakování jako 31. den každého měsíce, plán neaktivuje úlohy v měsících s méně než 31 dny.

Výpis plánů v pracovním prostoru

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule list

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Studio

Na portálu studio v části Rozšíření Úlohy vyberte kartu Všechny plány . Na této kartě se zobrazí všechny plány úloh vytvořené sadou SDK, rozhraním příkazového řádku nebo uživatelským rozhraním v jednom seznamu. V seznamu plánů máte přehled všech plánů v tomto pracovním prostoru, jak je znázorněno na tomto snímku obrazovky:

Kontrola podrobností plánu

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule show -n simple_cron_data_import_schedule

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Studio

Můžete vybrat název plánu, aby se zobrazila stránka s podrobnostmi plánu. Stránka s podrobnostmi plánu obsahuje následující karty, jak je znázorněno na tomto snímku obrazovky:

• Přehled: Základní informace pro zadaný plán

  

• Definice úlohy: definuje úlohu, kterou aktivuje zadaný plán, jak je znázorněno na tomto snímku obrazovky:

  

Aktualizace plánu

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Poznámka:

Pokud chcete aktualizovat více než jen značky nebo popis, doporučujeme použít az ml schedule create --file update_schedule.yml

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Aktualizace definice importu dat na existující plán

Pokud chcete změnit frekvenci importu nebo vytvořit nové přidružení pro úlohu importu dat, můžete aktualizovat definici importu existujícího plánu.

Poznámka:

Pokud chcete aktualizovat existující plán, přidružení plánu k původní definici importu bude odebráno. Plán může mít pouze jednu definici úlohy importu. Několik plánů však může volat jednu definici importu dat.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Pak se otevře stránka Historie importu úloh, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější odkaz na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu jakéhokoli importu dat vyberte Naplánovat ->Aktualizováno na existující plán. Otevře se průvodce výběrem plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Ze seznamu vyberte existující plán, jak je znázorněno na tomto snímku obrazovky:

   

   Důležité

   Nezapomeňte vybrat správný plán, který chcete aktualizovat. Po dokončení aktualizace plán aktivuje různé importy dat.

6. Můžete také upravit zdroj, dotaz a změnit cílovou cestu pro budoucí importy dat, které plán aktivuje.

7. Proces aktualizace dokončíte výběrem možnosti Zkontrolovat a aktualizovat . Dokončená aktualizace odešle oznámení.

8. Novou definici importu dat můžete zobrazit na stránce s podrobnostmi plánu po dokončení aktualizace.

Aktualizace na stránce podrobností plánu

Na stránce s podrobnostmi plánu můžete vybrat aktualizovat nastavení aktualizace, abyste aktualizovali základní i upřesňující nastavení, včetně nastavení vstupu a výstupu úlohy a modulu runtime plánu, jak je znázorněno na tomto snímku obrazovky:

Zakázání plánu

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

Python SDK

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Studio

Aktuální plán můžete zakázat na stránce s podrobnostmi plánu. Plány můžete také zakázat na kartě Všechny plány .

Povolení plánu

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Na stránce s podrobnostmi plánu můžete povolit aktuální plán. Plány můžete povolit také na kartě Všechny plány .

Odstranění plánu

Důležité

Před odstraněním musí být zakázán plán. Odstranění je neopravitelná akce. Po odstranění plánu se k němu nikdy nedostanete ani ho neobnovíte.

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule delete -n simple_cron_data_import_schedule

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Studio

Plán můžete odstranit ze stránky s podrobnostmi plánu nebo na kartě Všechny plány.

Podpora řízení přístupu na základě role (RBAC)

Plány se obvykle používají pro produkční prostředí. Aby se zabránilo problémům, můžou správci pracovního prostoru chtít omezit oprávnění k vytváření plánů a správě v rámci pracovního prostoru.

V současné době existují tři pravidla akcí související s plány a můžete je nakonfigurovat na webu Azure Portal. Přečtěte si, jak spravovat přístup k pracovnímu prostoru Azure Machine Učení. Další informace.

Akce	Popis	Pravidlo
Čtení	Získání a výpis plánů v pracovním prostoru Machine Učení	Microsoft.Machine Učení Services/workspaces/schedules/read
Zapsat	Vytvoření, aktualizace, zakázání a povolení plánů v pracovním prostoru machine Učení	Microsoft.Machine Učení Services/workspaces/schedules/write
Odstranění	Odstranění plánu v pracovním prostoru Učení počítače	Microsoft.Machine Učení Services/workspaces/schedules/delete

Další kroky

• Přečtěte si další informace o schématu YAML plánu importu dat CLI (v2).
• Zjistěte, jak spravovat importované datové prostředky.