Skapa ditt första arbetsflöde med ett Azure Databricks-jobb

  • Artikel

Den här artikeln visar ett Azure Databricks-jobb som samordnar uppgifter för att läsa och bearbeta en exempeldatauppsättning. I den här snabbstarten kommer du att göra följande:

  1. Skapa en ny notebook-fil och lägg till kod för att hämta en exempeldatauppsättning som innehåller populära babynamn per år.
  2. Spara exempeldatauppsättningen i Unity Catalog.
  3. Skapa en ny notebook-fil och lägg till kod för att läsa datamängden från Unity Catalog, filtrera den efter år och visa resultatet.
  4. Skapa ett nytt jobb och konfigurera två uppgifter med hjälp av notebook-filerna.
  5. Kör jobbet och visa resultatet.

Krav

Om din arbetsyta är Unity Catalog-aktiverad och serverlösa arbetsflöden är aktiverade körs jobbet som standard på serverlös beräkning. Du behöver inte behörighet att skapa kluster för att köra jobbet med serverlös beräkning.

Annars måste du ha behörighet att skapa kluster för att skapa jobbberäkning eller behörigheter till beräkningsresurser för alla syften.

Du måste ha en volym i Unity Catalog. Den här artikeln använder en volym med namnet my-volume i ett schema med namnet default i en katalog med namnet main. Du måste också ha följande behörigheter i Unity Catalog:

  • READ VOLUME och WRITE VOLUME, eller ALL PRIVILEGES, för my-volume volymen.
  • USE SCHEMA eller ALL PRIVILEGES för default schemat.
  • USE CATALOG eller ALL PRIVILEGES för main katalogen.

Information om hur du anger dessa behörigheter finns i Behörigheter för Databricks-administratören eller Unity Catalog och skyddsbara objekt.

Skapa anteckningsböckerna

Hämta och spara data

Så här skapar du en notebook-fil för att hämta exempeldatauppsättningen och spara den i Unity Catalog:

  1. Gå till din Azure Databricks-landningssida och klicka på Ny ikonNytt i sidofältet och välj Notebook. Databricks skapar och öppnar en ny tom anteckningsbok i standardmappen. Standardspråket är det språk som du senast använde och notebook-filen kopplas automatiskt till den beräkningsresurs som du senast använde.

  2. Om det behövs ändrar du standardspråket till Python.

  3. Kopiera följande Python-kod och klistra in den i den första cellen i notebook-filen.

    import requests

response = requests.get('https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
csvfile = response.content.decode('utf-8')
dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)

Läsa och visa filtrerade data

Så här skapar du en notebook-fil för att läsa och presentera data för filtrering:

  1. Gå till din Azure Databricks-landningssida och klicka på Ny ikonNytt i sidofältet och välj Notebook. Databricks skapar och öppnar en ny tom anteckningsbok i standardmappen. Standardspråket är det språk som du senast använde och notebook-filen kopplas automatiskt till den beräkningsresurs som du senast använde.

  2. Om det behövs ändrar du standardspråket till Python.

  3. Kopiera följande Python-kod och klistra in den i den första cellen i notebook-filen.

    babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
babynames.createOrReplaceTempView("babynames_table")
years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
years.sort()
dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))

Skapa ett jobb

  1. Klicka på JobbikonArbetsflöden i sidofältet.

  2. Klicka på Knappen Skapa jobb.

    Fliken Uppgifter visas med dialogrutan Skapa aktivitet.

    Dialogrutan Skapa första uppgift

  3. Ersätt Lägg till ett namn för jobbet... med jobbets namn.

  4. I fältet Aktivitetsnamn anger du ett namn för aktiviteten, till exempel retrieve-baby-names.

  5. I listrutan Typ väljer du Anteckningsbok.

  6. Använd filläsaren för att hitta den första notebook-filen som du skapade, klicka på anteckningsbokens namn och klicka på Bekräfta.

  7. Klicka på Skapa uppgift.

  8. Klicka Knappen Lägg till aktivitet under den uppgift som du nyss skapade för att lägga till en annan uppgift.

  9. I fältet Aktivitetsnamn anger du ett namn för aktiviteten, till exempel filter-baby-names.

  10. I listrutan Typ väljer du Anteckningsbok.

  11. Använd filläsaren för att hitta den andra anteckningsboken som du skapade, klicka på anteckningsbokens namn och klicka på Bekräfta.

  12. Klicka på Lägg till under Parametrar. I fältet Nyckel anger du year. I fältet Värde anger du 2014.

  13. Klicka på Skapa uppgift.

Kör jobbet

Om du vill köra jobbet direkt klickar du Knappen Kör nu i det övre högra hörnet. Du kan också köra jobbet genom att klicka på fliken Körningar och klicka på Kör nu i tabellen Aktiva körningar .

Visa körningsinformation

  1. Klicka på fliken Körningar och klicka på länken för körningen i tabellen Aktiva körningar eller i tabellen Slutförda körningar (senaste 60 dagarna).

  2. Klicka på någon av aktiviteterna för att se utdata och information. Klicka till exempel på aktiviteten filter-baby-names för att visa utdata och köra information för filteraktiviteten:

    Visa filternamnresultat

Kör med olika parametrar

Så här kör du jobbet igen och filtrerar babynamn under ett annat år:

  1. Klicka Blue Down Caretbredvid Kör nu och välj Kör nu med olika parametrar eller klicka på Kör nu med olika parametrar i tabellen Aktiva körningar.
  2. I fältet Värde anger du 2015.
  3. Klicka på Kör.