Öğretici: İlk Delta Live Tables işlem hattınızı çalıştırma

Makale
04/19/2024

Önemli

Sunucusuz DLT işlem hatları Genel Önizleme aşamasındadır. Sunucusuz DLT işlem hatlarını etkinleştirme hakkında bilgi edinmek için Azure Databricks hesap ekibinize başvurun.

Bu öğreticide, Databricks not defterindeki koddan Delta Live Tables işlem hattını yapılandırma ve işlem hattı güncelleştirmesini tetikleyerek işlem hattını çalıştırma adımları gösterilmektedir. Bu öğretici, Python ve SQL arabirimlerini kullanarak örnek kod içeren örnek bir veri kümesini almak ve işlemek için örnek bir işlem hattı içerir. Düzgün tanımlanmış Delta Live Tables söz dizimine sahip tüm not defterleriyle işlem hattı oluşturmak için bu öğreticideki yönergeleri de kullanabilirsiniz.

Azure Databricks çalışma alanı kullanıcı arabirimini veya API, CLI, Databricks Varlık Paketleri gibi otomatik araç seçeneklerini kullanarak veya Databricks iş akışında görev olarak Delta Live Tables işlem hatlarını yapılandırabilir ve güncelleştirmeleri tetikleyebilirsiniz. Delta Live Tables'ın işlevleri ve özellikleri hakkında bilgi edinmek için Databricks, işlem hatlarını oluşturmak ve çalıştırmak için önce kullanıcı arabirimini kullanmanızı önerir. Ayrıca, kullanıcı arabiriminde bir işlem hattı yapılandırdığınızda Delta Live Tables, işlem hattınız için programlı iş akışlarınızı uygulamak için kullanılabilecek bir JSON yapılandırması oluşturur.

Delta Live Tables işlevini göstermek için bu öğreticideki örnekler genel kullanıma açık bir veri kümesini indirir. Ancak Databricks'in veri kaynaklarına bağlanmanın ve gerçek dünya kullanım örneklerini uygulayan işlem hatlarının kullanacağı verileri almanın çeşitli yolları vardır. Bkz . Delta Live Tabloları ile veri alma.

Gereksinimler

Sunucusuz olmayan bir işlem hattını başlatmak için, delta Live Tables kümesini tanımlayan bir küme ilkesine küme oluşturma izniniz veya erişiminiz olmalıdır. Delta Live Tables çalışma zamanı, işlem hattınızı çalıştırmadan önce bir küme oluşturur ve doğru izne sahip değilseniz başarısız olur.
Bu öğreticideki örnekleri kullanmak için çalışma alanınızda Unity Kataloğu'nu etkinleştirmeniz gerekir.
Unity Kataloğu'nda aşağıdaki izinlere sahip olmanız gerekir:
- READ VOLUME ve WRITE VOLUME, veya ALL PRIVILEGESbirim için my-volume .
- USE SCHEMA veya ALL PRIVILEGES şema için default .
- USE CATALOG veya ALL PRIVILEGES katalog için main .
Bu izinleri ayarlamak için Databricks yöneticinize veya Unity Kataloğu ayrıcalıklarına ve güvenli hale getirilebilir nesnelere bakın.
Bu öğreticideki örneklerde örnek verileri depolamak için Unity Kataloğu birimi kullanılır. Bu örnekleri kullanmak için bir birim oluşturun ve bu birimin kataloğunu, şemasını ve birim adlarını kullanarak örnekler tarafından kullanılan birim yolunu ayarlayın.

Not

Çalışma alanınızda Unity Kataloğu etkin değilse, Unity Kataloğu gerektirmeyen örnekler içeren not defterleri bu makaleye eklenir. Bu örnekleri kullanmak için işlem hattını oluştururken depolama seçeneği olarak seçin Hive metastore .

Delta Live Tables sorgularını nerede çalıştırabilirsiniz?

Delta Live Tables sorguları öncelikli olarak Databricks not defterlerinde uygulanır, ancak Delta Live Tables not defteri hücrelerinde etkileşimli olarak çalıştırılacak şekilde tasarlanmamıştır. Databricks not defterinde Delta Live Tables söz dizimi içeren bir hücrenin yürütülmesi hata iletisiyle sonuçlanır. Sorgularınızı çalıştırmak için not defterlerinizi bir işlem hattının parçası olarak yapılandırmanız gerekir.

Önemli

Delta Live Tables için sorgu yazarken not defterlerinin hücre hücre yürütme sırasına güvenemezsiniz. Delta Live Tables, not defterlerinde tanımlanan tüm kodları değerlendirir ve çalıştırır, ancak bir not defteri Tümünü çalıştır komutundan farklı bir yürütme modeline sahiptir.
Tek bir Delta Live Tables kaynak kodu dosyasında dilleri karıştıramazsınız. Örneğin, not defteri yalnızca Python sorguları veya SQL sorguları içerebilir. İşlem hattında birden çok dil kullanmanız gerekiyorsa, işlem hattında dile özgü birden çok not defteri veya dosya kullanın.

Dosyalarda depolanan Python kodunu da kullanabilirsiniz. Örneğin, Python işlem hatlarınıza aktarabileceğiniz bir Python modülü oluşturabilir veya SQL sorgularında kullanılacak Python kullanıcı tanımlı işlevleri (UDF) tanımlayabilirsiniz. Python modüllerini içeri aktarma hakkında bilgi edinmek için bkz . Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktarma. Python UDF'lerini kullanma hakkında bilgi edinmek için bkz . Kullanıcı tanımlı skaler işlevler - Python.

Örnek: New York bebek adları verilerini alma ve işleme

Bu makaledeki örnek, New York Eyalet bebek adlarının kayıtlarını içeren genel kullanıma açık bir veri kümesi kullanır. Bu örnekler, aşağıdakiler için Delta Live Tables işlem hattının kullanılmasını gösterir:

Genel kullanıma açık bir veri kümesindeki ham CSV verilerini tabloya okuyun.
Ham veri tablosundaki kayıtları okuyun ve Delta Live Tables beklentilerini kullanarak temizlenmiş veriler içeren yeni bir tablo oluşturun.
Temizlenen kayıtları türetilmiş veri kümeleri oluşturan Delta Live Tables sorgularına giriş olarak kullanın.

Bu kod, madalyon mimarisinin basitleştirilmiş bir örneğini gösterir. Bkz . Madalyon göl evi mimarisi nedir?.

Bu örneğin uygulamaları Python ve SQL arabirimleri için sağlanır. Örnek kodu içeren yeni not defterleri oluşturmak için adımları izleyebilir veya İşlem hattı oluşturma bölümüne atlayabilir ve bu sayfada sağlanan not defterlerinden birini kullanabilirsiniz.

Python ile Delta Live Tables işlem hattı uygulama

Delta Live Tables veri kümeleri oluşturan Python kodu, Spark deneyimi için PySpark veya Pandas kullanan kullanıcılara tanıdık gelen DataFrame'ler döndürmelidir. DataFrames'i tanımayan kullanıcılar için Databricks, SQL arabirimini kullanmanızı önerir. Bkz . SQL ile Delta Live Tables işlem hattı uygulama.

Tüm Delta Live Tabloları Python API'leri modülde dlt uygulanır. Python ile uygulanan Delta Live Tables işlem hattı kodunuzun dlt , Python not defterlerinin ve dosyalarının en üstündeki modülü açıkça içeri aktarması gerekir. Delta Live Tables, birçok Python betikinden önemli bir şekilde farklıdır: Delta Live Tables veri kümeleri oluşturmak için veri alımı ve dönüştürme gerçekleştiren işlevleri çağırmazsınız. Bunun yerine Delta Live Tables, işlem hattına yüklenen tüm dosyalarda modüldeki dlt dekoratör işlevlerini yorumlar ve bir veri akışı grafı oluşturur.

Bu öğreticideki örneği uygulamak için aşağıdaki Python kodunu kopyalayıp yeni bir Python not defterine yapıştırın. Her örnek kod parçacığını not defterindeki kendi hücresine açıklanan sırayla eklemelisiniz. Not defteri oluşturma seçeneklerini gözden geçirmek için bkz . Not defteri oluşturma.

Not

Python arabirimiyle bir işlem hattı oluşturduğunuzda, varsayılan olarak tablo adları işlev adlarıyla tanımlanır. Örneğin, aşağıdaki Python örneği , baby_names_preparedve top_baby_names_2021adlı baby_names_rawüç tablo oluşturur. parametresini kullanarak name tablo adını geçersiz kılabilirsiniz. Bkz . Delta Live Tables gerçekleştirilmiş görünümü veya akış tablosu oluşturma.

Delta Live Tables modülünü içeri aktarma

Tüm Delta Live Tabloları Python API'leri modülde dlt uygulanır. Python not defterlerinin ve dosyalarının en üstündeki modülü açıkça içeri aktarın dlt .

Aşağıdaki örnekte, bu içeri aktarma işleminin yanı sıra için pyspark.sql.functionsiçeri aktarma deyimleri gösterilmektedir.

import dlt
from pyspark.sql.functions import *

Verileri indirme

Bu örnekteki verileri almak için bir CSV dosyası indirir ve bunu birim içinde aşağıdaki gibi depolarsınız:

import os

os.environ["UNITY_CATALOG_VOLUME_PATH"] = "/Volumes/<catalog-name>/<schema-name>/<volume-name>/"
os.environ["DATASET_DOWNLOAD_URL"] = "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"
os.environ["DATASET_DOWNLOAD_FILENAME"] = "rows.csv"

dbutils.fs.cp(f"{os.environ.get('DATASET_DOWNLOAD_URL')}", f"{os.environ.get('UNITY_CATALOG_VOLUME_PATH')}{os.environ.get('DATASET_DOWNLOAD_FILENAME')}")

, <schema-name>ve <volume-name> yerine Unity Kataloğu biriminin katalog, şema ve birim adlarını yazın<catalog-name>.

Nesne depolamadaki dosyalardan tablo oluşturma

Delta Live Tables, Azure Databricks tarafından desteklenen tüm biçimlerden veri yüklemeyi destekler. Bkz. Veri biçimi seçenekleri.

Dekoratör Delta @dlt.table Live Tables'a bir işlev tarafından döndürülen sonucu içeren bir DataFrame tablo oluşturmasını söyler. Delta Live Tables'a @dlt.table yeni bir tablo kaydetmek için Spark DataFrame döndüren herhangi bir Python işlev tanımının önüne dekoratör ekleyin. Aşağıdaki örnek, işlev adını tablo adı olarak kullanmayı ve tabloya açıklayıcı bir açıklama eklemeyi gösterir:

@dlt.table(
  comment="Popular baby first names in New York. This data was ingested from the New York State Department of Health."
)
def baby_names_raw():
  df = spark.read.csv(f"{os.environ.get('UNITY_CATALOG_VOLUME_PATH')}{os.environ.get('DATASET_DOWNLOAD_FILENAME')}", header=True, inferSchema=True)
  df_renamed_column = df.withColumnRenamed("First Name", "First_Name")
  return df_renamed_column

İşlem hattındaki bir yukarı akış veri kümesinden tablo ekleme

Geçerli Delta Live Tables işlem hattınızda bildirilen diğer veri kümelerindeki verileri okumak için kullanabilirsiniz dlt.read() . Yeni tabloların bu şekilde bildirilmesi, Delta Live Tablolarının güncelleştirmeleri yürütmeden önce otomatik olarak çözümlenebilen bir bağımlılık oluşturur. Aşağıdaki kod, veri kalitesini beklentilerle izleme ve zorlama örnekleri de içerir. Bkz . Delta Live Tablolarıyla veri kalitesini yönetme.

@dlt.table(
  comment="New York popular baby first name data cleaned and prepared for analysis."
)
@dlt.expect("valid_first_name", "First_Name IS NOT NULL")
@dlt.expect_or_fail("valid_count", "Count > 0")
def baby_names_prepared():
  return (
    dlt.read("baby_names_raw")
      .withColumnRenamed("Year", "Year_Of_Birth")
      .select("Year_Of_Birth", "First_Name", "Count")
  )

Zenginleştirilmiş veri görünümleriyle tablo oluşturma

Delta Live Tables işlem hatlarındaki güncelleştirmeleri bir dizi bağımlılık grafiği olarak işlediğinden, belirli iş mantığına sahip tabloları bildirerek panoları, BI'ı ve analizi destekleyen yüksek oranda zenginleştirilmiş görünümler bildirebilirsiniz.

Delta Live Tablolarındaki tablolar kavramsal olarak gerçekleştirilmiş görünümlere eşdeğerdir. Spark'taki geleneksel görünümler, görünüm her sorgulandığında çalıştırılırken, Delta Live Tables tablosu sorgu sonuçlarının en son sürümünü veri dosyalarında depolar. Delta Live Tables bir işlem hattındaki tüm veri kümelerinin güncelleştirmelerini yönettiğinden, gerçekleştirilmiş görünümler için gecikme süresi gereksinimlerini karşılayacak şekilde işlem hattı güncelleştirmeleri zamanlayabilir ve bu tablolardaki sorguların kullanılabilir en son veri sürümünü içerdiğini bilirsiniz.

Aşağıdaki kod tarafından tanımlanan tablo, işlem hattınızdaki yukarı akış verilerinden türetilen gerçekleştirilmiş görünüme kavramsal benzerliği gösterir:

@dlt.table(
  comment="A table summarizing counts of the top baby names for New York for 2021."
)
def top_baby_names_2021():
  return (
    dlt.read("baby_names_prepared")
      .filter(expr("Year_Of_Birth == 2021"))
      .groupBy("First_Name")
      .agg(sum("Count").alias("Total_Count"))
      .sort(desc("Total_Count"))
      .limit(10)
  )

Not defterini kullanan bir işlem hattını yapılandırmak için bkz . İşlem hattı oluşturma.

SQL ile Delta Live Tables işlem hattı uygulama

Databricks, SQL kullanıcılarının Azure Databricks üzerinde yeni ETL, alım ve dönüştürme işlem hatları oluşturması için tercih edilen yol olarak SQL ile Delta Live Tables'ı önerir. Delta Live Tables için SQL arabirimi, standart Spark SQL'i birçok yeni anahtar sözcük, yapı ve tablo değerli işlevle genişletir. Standart SQL'e yapılan bu eklemeler, kullanıcıların yeni araçları veya ek kavramları öğrenmeden veri kümeleri arasındaki bağımlılıkları bildirmesine ve üretim sınıfı altyapıyı dağıtmasına olanak sağlar.

Spark DataFrames hakkında bilgi sahibi olan ve meta programlama işlemleri gibi SQL ile uygulanması zor olan daha kapsamlı test ve işlemler için desteğe ihtiyaç duyan kullanıcılar için Databricks, Python arabiriminin kullanılmasını önerir. Bkz . Örnek: New York bebek adları verilerini alma ve işleme.

Verileri indirme

Bu örnekteki verileri almak için aşağıdaki kodu kopyalayın, yeni bir not defterine yapıştırın ve ardından not defterini çalıştırın. Not defteri oluşturma seçeneklerini gözden geçirmek için bkz . Not defteri oluşturma.

%sh
wget -O "/Volumes/<catalog-name>/<schema-name>/<volume-name>/babynames.csv" "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"

, <schema-name>ve <volume-name> yerine Unity Kataloğu biriminin katalog, şema ve birim adlarını yazın<catalog-name>.

Unity Kataloğu'ndaki dosyalardan tablo oluşturma

Bu örneğin geri kalanında aşağıdaki SQL kod parçacıklarını kopyalayın ve önceki bölümdeki not defterinden ayrı olarak yeni bir SQL not defterine yapıştırın. Her örnek SQL parçacığını not defterindeki kendi hücresine açıklanan sırayla eklemelisiniz.

Delta Live Tables, Azure Databricks tarafından desteklenen tüm biçimlerden veri yüklemeyi destekler. Bkz. Veri biçimi seçenekleri.

Tüm Delta Live Tables SQL deyimleri söz dizimi ve semantiği kullanır CREATE OR REFRESH . Bir işlem hattını güncelleştirdiğinizde Delta Live Tables, tablo için mantıksal olarak doğru sonucun artımlı işleme yoluyla mı yoksa tam yeniden derleme gerekip gerekmediğini belirler.

Aşağıdaki örnek, Unity Kataloğu biriminde depolanan CSV dosyasından veri yükleyerek bir tablo oluşturur:

CREATE OR REFRESH LIVE TABLE baby_names_sql_raw
COMMENT "Popular baby first names in New York. This data was ingested from the New York State Department of Health."
AS SELECT Year, `First Name` AS First_Name, County, Sex, Count FROM read_files(
  '/Volumes/<catalog-name>/<schema-name>/<volume-name>/babynames.csv',
  format => 'csv',
  header => true,
  mode => 'FAILFAST')

, <schema-name>ve <volume-name> yerine Unity Kataloğu biriminin katalog, şema ve birim adlarını yazın<catalog-name>.

Yukarı akış veri kümesinden işlem hattına tablo ekleme

Geçerli Delta Live Tables işlem hattınızda bildirilen diğer veri kümelerinden verileri sorgulamak için sanal şemayı kullanabilirsiniz live . Yeni tabloların bu şekilde bildirilmesi, Delta Live Tablolarının güncelleştirmeleri yürütmeden önce otomatik olarak çözümlenebilen bir bağımlılık oluşturur. Şema live , Delta Live Tablolarında uygulanan ve veri kümelerinizi yayımlamak istiyorsanız hedef şemayla değiştirilebilen özel bir anahtar sözcüktür. Bkz. Delta Live Tables işlem hatlarınızla Unity Kataloğu'nu kullanma ve Delta Live Tables işlem hatlarından Hive meta veri deposuna veri yayımlama.

Aşağıdaki kod, veri kalitesini beklentilerle izleme ve zorlama örnekleri de içerir. Bkz . Delta Live Tablolarıyla veri kalitesini yönetme.

CREATE OR REFRESH LIVE TABLE baby_names_sql_prepared(
  CONSTRAINT valid_first_name EXPECT (First_Name IS NOT NULL),
  CONSTRAINT valid_count EXPECT (Count > 0) ON VIOLATION FAIL UPDATE
)
COMMENT "New York popular baby first name data cleaned and prepared for analysis."
AS SELECT
  Year AS Year_Of_Birth,
  First_Name,
  Count
FROM live.baby_names_sql_raw;

Zenginleştirilmiş veri görünümü oluşturma

Canlı tablolar kavramsal olarak gerçekleştirilmiş görünümlere eşdeğerdir. Spark'taki geleneksel görünümler her sorgulandığında mantığı çalıştırırken canlı tablolar sorgu sonuçlarının en son sürümünü veri dosyalarında depolar. Delta Live Tables bir işlem hattındaki tüm veri kümelerinin güncelleştirmelerini yönettiğinden, gerçekleştirilmiş görünümler için gecikme süresi gereksinimlerini karşılayacak şekilde işlem hattı güncelleştirmeleri zamanlayabilir ve bu tablolardaki sorguların kullanılabilir en son veri sürümünü içerdiğini bilirsiniz.

Aşağıdaki kod, yukarı akış verilerinin zenginleştirilmiş bir gerçekleştirilmiş görünümünü oluşturur:

CREATE OR REFRESH LIVE TABLE top_baby_names_sql_2021
COMMENT "A table summarizing counts of the top baby names for New York for 2021."
AS SELECT
  First_Name,
  SUM(Count) AS Total_Count
FROM live.baby_names_sql_prepared
WHERE Year_Of_Birth = 2021
GROUP BY First_Name
ORDER BY Total_Count DESC
LIMIT 10;

Not defterini kullanan bir işlem hattını yapılandırmak için İşlem hattı oluşturma bölümüne geçin.

İşlem hattı oluşturma

Delta Live Tables, Delta Live Tables söz dizimlerini kullanarak not defterlerinde veya dosyalarda tanımlanan bağımlılıkları (kaynak kodu veya kitaplıklar olarak adlandırılır) çözümleyerek işlem hatları oluşturur. Her kaynak kod dosyası yalnızca bir dil içerebilir, ancak işlem hattınızda farklı dillerdeki kitaplıkları karıştırabilirsiniz.

Kenar çubuğunda Delta Live Tables'a ve ardından İşlem Hattı Oluştur'a tıklayın.
İşlem hattına bir ad verin.
(İsteğe bağlı) Bu işlem hattı için tam olarak yönetilen işlem kullanmak için Sunucusuz onay kutusunu seçin. Sunucusuz seçeneğini belirlediğinizde İşlem ayarları kullanıcı arabiriminden kaldırılır.
(İsteğe bağlı) Bir ürün sürümü seçin.
İşlem Hattı Modu için Tetiklenmiş'i seçin.
İşlem hattının kaynak kodunu içeren bir veya daha fazla not defteri yapılandırın. Yollar metin kutusuna not defterinin yolunu girin veya bir not defteri seçmek için tıklayın.
hive meta veri deposu veya Unity Kataloğu olmak üzere işlem hattı tarafından yayımlanan veri kümeleri için bir hedef seçin. Bkz. Veri kümelerini yayımlama.
- Hive meta veri deposu:
  - (İsteğe bağlı) İşlem hattından çıktı verileri için Depolama bir konum girin. Depolama konumu boş bırakırsanız sistem varsayılan konumu kullanır.
  - (İsteğe bağlı) Veri kümenizi Hive meta veri deposunda yayımlamak için bir Hedef şeması belirtin.
- Unity Kataloğu: Veri kümenizi Unity Kataloğu'na yayımlamak için bir Katalog ve Hedef şeması belirtin.
(İsteğe bağlı) Sunucusuz seçeneğini belirlemediyseniz işlem hattı için işlem ayarlarını yapılandırabilirsiniz. İşlem ayarları seçenekleri hakkında bilgi edinmek için bkz . Delta Live Tables için işlem hattı ayarlarını yapılandırma.
(İsteğe bağlı) İşlem hattı olaylarının bildirimlerini almak üzere bir veya daha fazla e-posta adresi yapılandırmak için Bildirim ekle'ye tıklayın. Bkz. İşlem hattı olayları için e-posta bildirimleri ekleme.
(İsteğe bağlı) İşlem hattı için gelişmiş ayarları yapılandırın. Gelişmiş ayarlarla ilgili seçenekler hakkında bilgi edinmek için bkz . Delta Live Tables için işlem hattı ayarlarını yapılandırma.
Oluştur’a tıklayın.

Oluştur'a tıkladıktan sonra sistem İşlem Hattı Ayrıntıları sayfasını görüntüler. Delta Live Tables sekmesinde işlem hattı adına tıklayarak da işlem hattınıza erişebilirsiniz.

İşlem hattı güncelleştirmesini başlatma

İşlem hattı güncelleştirmesi başlatmak için üst paneldeki düğmeye tıklayın . Sistem, işlem hattınızın başlatıldığını onaylayan bir ileti döndürür.

Güncelleştirmeyi başarıyla başlattıktan sonra Delta Live Tables sistemi:

Delta Live Tables sistemi tarafından oluşturulan bir küme yapılandırmasını kullanarak bir küme başlatır. Özel bir küme yapılandırması da belirtebilirsiniz.
Var olmayan tablolar oluşturur ve şemanın mevcut tablolar için doğru olmasını sağlar.
Kullanılabilir en son verileri içeren tabloları Güncelleştirmeler.
Güncelleştirme tamamlandığında kümeyi kapatır.

Not

Yürütme modu varsayılan olarak Üretim olarak ayarlanır ve bu ayar her güncelleştirme için kısa ömürlü işlem kaynaklarını dağıtır. Geliştirme modunu kullanarak bu davranışı değiştirebilir ve geliştirme ve test sırasında aynı işlem kaynaklarının birden çok işlem hattı güncelleştirmesi için kullanılmasını sağlayabilirsiniz. Bkz . Geliştirme ve üretim modları.

Veri kümelerini yayımlama

Hive meta veri deposunda veya Unity Kataloğu'nda tablo yayımlayarak Delta Live Tables veri kümelerini sorgulama için kullanılabilir hale getirebilirsiniz. Verileri yayımlamak için bir hedef belirtmezseniz, Delta Live Tables işlem hatlarında oluşturulan tablolara yalnızca aynı işlem hattındaki diğer işlemler tarafından erişilebilir. Bkz . Delta Live Tables işlem hatlarından Hive meta veri deposuna veri yayımlama ve Delta Live Tables işlem hatlarınızla Unity Kataloğu'nu kullanma.

Örnek kaynak kodu not defterleri

Bu not defterlerini bir Azure Databricks çalışma alanına aktarabilir ve Delta Live Tables işlem hattı dağıtmak için kullanabilirsiniz. Bkz. İşlem hattı oluşturma.

Delta Live Tables Python not defterini kullanmaya başlama

Not defterini alma

Delta Live Tables SQL not defterini kullanmaya başlama

Not defterini alma

Unity Kataloğu olmayan çalışma alanları için örnek kaynak kod not defterleri

Unity Kataloğu etkinleştirilmeden bu not defterlerini bir Azure Databricks çalışma alanına aktarabilir ve delta Live Tables işlem hattını dağıtmak için kullanabilirsiniz. Bkz. İşlem hattı oluşturma.

Delta Live Tables Python not defterini kullanmaya başlama

Not defterini alma

Delta Live Tables SQL not defterini kullanmaya başlama

Not defterini alma

Öğretici: İlk Delta Live Tables işlem hattınızı çalıştırma

Gereksinimler

Delta Live Tables sorgularını nerede çalıştırabilirsiniz?

Örnek: New York bebek adları verilerini alma ve işleme

Python ile Delta Live Tables işlem hattı uygulama

Delta Live Tables modülünü içeri aktarma

Verileri indirme

Nesne depolamadaki dosyalardan tablo oluşturma

İşlem hattındaki bir yukarı akış veri kümesinden tablo ekleme

Zenginleştirilmiş veri görünümleriyle tablo oluşturma

SQL ile Delta Live Tables işlem hattı uygulama

Verileri indirme

Unity Kataloğu'ndaki dosyalardan tablo oluşturma

Yukarı akış veri kümesinden işlem hattına tablo ekleme

Zenginleştirilmiş veri görünümü oluşturma

İşlem hattı oluşturma

İşlem hattı güncelleştirmesini başlatma

Veri kümelerini yayımlama

Örnek kaynak kodu not defterleri

Delta Live Tables Python not defterini kullanmaya başlama

Delta Live Tables SQL not defterini kullanmaya başlama

Unity Kataloğu olmayan çalışma alanları için örnek kaynak kod not defterleri

Delta Live Tables Python not defterini kullanmaya başlama

Delta Live Tables SQL not defterini kullanmaya başlama

Geri Bildirim

Geri Bildirim

Ek kaynaklar