Azure Data Factory kullanarak Azure Blob depolamadan Azure SQL Veritabanı'daki bir veritabanına veri kopyalama

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, Azure Data Factory kullanıcı arabirimini (UI) kullanarak bir veri fabrikası oluşturursunuz. Bu veri fabrikasındaki işlem hattı, Verileri Azure Blob depolamadan Azure SQL Veritabanı bir veritabanına kopyalar. Bu öğreticideki yapılandırma düzeni, dosya tabanlı bir veri deposundan ilişkisel bir veri deposuna kopyalama için geçerlidir. Kaynak ve havuz olarak desteklenen veri depolarının listesi için desteklenen veri depoları tablosuna bakın.

Dekont

İlk kez Data Factory kullanıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

  • Veri fabrikası oluşturma.
  • Kopyalama etkinliğiyle işlem hattı oluşturma.
  • İşlem hattında test çalıştırması yapma.
  • İşlem hattını el ile tetikleme.
  • İşlem hattını bir zamanlamaya göre tetikleme.
  • İşlem hattı ve etkinlik çalıştırmalarını izleme.

Önkoşullar

  • Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir Azure hesabı oluşturun.
  • Azure depolama hesabı. Blob depolama alanını kaynak veri deposu olarak kullanabilirsiniz. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma.
  • Azure SQL Veritabanı. Veritabanını havuz veri deposu olarak kullanabilirsiniz. Azure SQL Veritabanı'da veritabanınız yoksa, oluşturma adımları için Azure SQL Veritabanı'da veritabanı oluşturma bölümüne bakın.

Bir blob ve SQL tablosu oluşturma

Aşağıdaki adımları uygulayarak öğretici için Blob depolama alanınızı ve SQL veritabanınızı hazırlayın.

Kaynak blob oluşturma

  1. Not Defteri'ni başlatın. Aşağıdaki metni kopyalayın ve diskinizde emp.txt dosyası olarak kaydedin:

    FirstName,LastName
John,Doe
Jane,Doe

  2. Blob depolama alanınızda adftutorial adlı bir kapsayıcı oluşturun. Bu kapsayıcıda input adlı bir klasör oluşturun. Sonra, emp.txt dosyasını input klasörüne yükleyin. Bu görevleri yerine getirmek için Azure Portal'ı veya Azure Depolama Gezgini gibi araçları kullanın.

Havuz SQL tablosu oluşturma

  1. Veritabanınızda dbo.emp tablosunu oluşturmak için aşağıdaki SQL betiğini kullanın:

    CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

  2. Azure hizmetlerinin SQL Server’a erişmesine izin verin. Data Factory’nin SQL Server’ınıza veri yazabilmesi için SQL Server’ınız için Azure hizmetlerine erişime izin ver ayarının AÇIK olduğundan emin olun. Bu ayarı doğrulamak ve açmak için mantıksal SQL sunucusuna > Genel Bakış > Sunucu güvenlik duvarını> ayarlama bölümüne gidin ve Azure hizmetlerine erişime izin ver seçeneğini AÇI olarak ayarlayın.

Veri fabrikası oluşturma

Bu adımda, bir veri fabrikası oluşturacak ve veri fabrikasında bir işlem hattı oluşturmak için Data Factory kullanıcı arabirimini başlatacaksınız.

  1. Microsoft Edge veya Google Chrome'u açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.

  2. Soldaki menüde Kaynak>oluştur Integration>Data Factory'yi seçin.

  3. Data Factory Oluştur sayfasında, Temel Bilgiler sekmesinde, veri fabrikasını oluşturmak istediğiniz Azure Aboneliği'ni seçin.

  4. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

    a. Açılan listeden mevcut bir kaynak grubunu seçin.

    b. Yeni oluştur'u seçin ve yeni bir kaynak grubunun adını girin.

    Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

  5. Bölge'nin altında veri fabrikası için bir konum seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka bölgelerde olabilir.

  6. Ad alanına ADFTutorialDataFactory girin.

    Azure data factory adı küresel olarak benzersiz olmalıdır. Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

    New data factory error message for duplicate name.

  7. Sürüm bölümünde V2'yi seçin.

  8. Üst kısımdaki Git yapılandırması sekmesini seçin ve Git'i daha sonra yapılandır onay kutusunu seçin.

  9. Gözden geçir + oluştur'u ve doğrulama geçirildikten sonra Oluştur'u seçin.

  10. Oluşturma işlemi tamamlandıktan sonra Bildirim merkezi'nde bildirimi görürsünüz. Data factory sayfasına gitmek için Kaynağa git'i seçin.

  11. Azure Data Factory kullanıcı arabirimini ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

İşlem hattı oluşturma

Bu adımda, veri fabrikasında kopyalama etkinliği ile bir işlem hattı oluşturacaksınız. Kopyalama etkinliği, verileri Blob depolama alanından SQL Veritabanı'na kopyalar. Hızlı başlangıç eğitiminde, şu adımları izleyerek bir işlem hattı oluşturdunuz:

  1. Bağlı hizmeti oluşturma.
  2. Giriş ve çıkış veri kümelerini oluşturma.
  3. İşlem hattı oluşturma.

Bu öğreticide işlem hattını oluşturmaya başlayacaksınız. Daha sonra işlem hattını yapılandırmanız gerektiğinde bağlı hizmetleri ve veri kümelerini oluşturacaksınız.

  1. Giriş sayfasında Düzenle'yi seçin.

    Screenshot that shows the ADF home page.

  2. Genel panelinde, Özellikler'in altında Ad için CopyPipeline değerini belirtin. Ardından sağ üst köşedeki Özellikler simgesine tıklayarak paneli daraltın.

  3. Etkinlikler araç kutusunda Taşı ve Dönüştür kategorisini genişletin ve Veri Kopyalama etkinliğini araç kutusundan işlem hattı tasarımcısının yüzeyine sürükleyip bırakın. Ad için CopyFromBlobToSql adını belirtin.

    Copy activity

Kaynağı yapılandırma

Bahşiş

Bu öğreticide, kaynak veri deponuzun kimlik doğrulama türü olarak Hesap anahtarını kullanacaksınız, ancak desteklenen diğer kimlik doğrulama yöntemlerini seçebilirsiniz: GEREKIRSE SAS URI'si, Hizmet Sorumlusu ve Yönetilen Kimlik. Ayrıntılar için bu makaledeki ilgili bölümlere bakın. Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanılması da önerilir. Ayrıntılı çizimler için bu makaleye bakın.

  1. Kaynak sekmesine gidin. Kaynak veri kümesi oluşturmak için + Yeni'yi seçin.

  2. Yeni Veri Kümesi iletişim kutusunda Azure Blob Depolama'yi ve ardından Devam'ı seçin. Kaynak veriler bir Blob depolama alanında olduğundan kaynak veri kümesi olarak Azure Blob Depolama Alanı'nı seçmeniz gerekir.

  3. Biçim Seç iletişim kutusunda, verilerinizin biçim türünü seçin ve ardından Devam'ı seçin.

  4. Özellikleri Ayarla iletişim kutusuna Ad için SourceBlobDataset yazın. İlk satır üst bilgi olarak onay kutusunu seçin. Bağlı hizmet metin kutusunun altında + Yeni'yi seçin.

  5. Yeni Bağlı Hizmet (Azure Blob Depolama) iletişim kutusunda ad olarak Azure Depolama LinkedService girin, Depolama hesap adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin, bağlı hizmeti dağıtmak için Oluştur'u seçin.

  6. Bağlı hizmet oluşturulduktan sonra Özellikleri ayarla sayfasına geri gider. Dosya yolu’nun yanındaki Gözat seçeneğini belirleyin.

  7. adftutorial/input klasörüne gidin, emp.txt dosyasını ve ardından Tamam'ı seçin.

  8. Tamam seçeneğini işaretleyin. İşlem hattı sayfasına otomatik olarak gider. Kaynak sekmesinde SourceBlobDataset'in seçili olduğunu onaylayın. Bu sayfadaki verilerin önizlemesini görüntülemek için Veri önizleme ‘yi seçin.

    Source dataset

Havuzu yapılandırma

Bahşiş

Bu öğreticide, havuz veri deponuzun kimlik doğrulama türü olarak SQL kimlik doğrulamasını kullanacaksınız, ancak desteklenen diğer kimlik doğrulama yöntemlerini seçebilirsiniz: Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik. Ayrıntılar için bu makaledeki ilgili bölümlere bakın. Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanılması da önerilir. Ayrıntılı çizimler için bu makaleye bakın.

  1. Havuz sekmesine gidin ve havuz veri kümesi oluşturmak için +Yeni seçeneğini belirleyin.

  2. Yeni Veri Kümesi iletişim kutusunda, bağlayıcıları filtrelemek için arama kutusuna "SQL" yazın, Azure SQL Veritabanı'ı seçin ve ardından Devam'ı seçin. Bu öğreticide verileri bir SQL veritabanına kopyalayacaksınız.

  3. Özellikleri Ayarla iletişim kutusunda, Ad için OutputSqlDataset girin. Bağlı hizmet açılan listesinde + Yeni'yi seçin. Bağlı hizmeti bir veri kümesi ile ilişkilendirilmelidir. Bağlı hizmet, Data Factory'nin çalışma zamanında SQL Veritabanı bağlanmak için kullandığı bağlantı dizesi sahiptir. Veri kümesi, verilerin kopyalanacağı kapsayıcıyı, klasörü ve dosyayı (isteğe bağlı) belirtilir.

  4. Yeni Bağlı Hizmet (Azure SQL Veritabanı) iletişim kutusunda aşağıdaki adımları izleyin:

    a. Ad bölümüne AzureSqlDatabaseLinkedService girin.

    b. Sunucu adı bölümünde SQL Server örneğinizi seçin.

    c. Veritabanı adı'nın altında veritabanınızı seçin.

    d. Kullanıcı adı bölümüne kullanıcının adını girin.

    e. Parola bölümünde kullanıcının parolasını girin.

    f. Bağlantıyı test etmek için Bağlantıyı sına’yı seçin.

    r. Bağlı hizmeti dağıtmak için Oluştur'u seçin.

    Save new linked service

  5. Otomatik olarak Özellikleri Ayarla iletişim kutusuna gider. Tablo’da [dbo].[emp] seçeneğini belirleyin. Ardından Tamam'ı seçin.

  6. İşlem hattının bulunduğu sekmeye gidin ve Havuz Veri Kümesi’nde OutputSqlDataset seçeneğinin belirlendiğinden emin olun.

    Pipeline tab

İsteğe bağlı olarak, kopyalama etkinliğindeki Şema eşlemesini izleyerek kaynağın şemasını ilgili hedef şemasına eşleyebilirsiniz.

İşlem hattını doğrulama

İşlem hattını doğrulamak için araç çubuğundan Doğrula'yı seçin.

Sağ üst taraftaki Kod'a tıklayarak işlem hattıyla ilişkili JSON kodunu görebilirsiniz.

İşlem hattında hata ayıklama ve işlem hattını yayımlama

Yapıtları (bağlı hizmetler, veri kümeleri ve işlem hattı) Data Factory'de veya kendi Azure Repos Git deponuzda yayımlamadan önce işlem hattında hata ayıklayabilirsiniz.

  1. İşlem hattında hata ayıklamak için araç çubuğunda Hata Ayıkla'yı seçin. Pencerenin altındaki Çıkış sekmesinde işlem hattı çalıştırmasının durumu görüntülenir.

  2. İşlem hattı başarıyla çalıştırıldıktan sonra üst araç çubuğunda Tümünü yayımla'yı seçin. Bu eylem, oluşturduğunuz varlıkları (veri kümeleri ve işlem hatları) Data Factory'de yayımlar.

  3. Başarıyla yayımlandı iletisini görene kadar bekleyin. Bildirim iletilerini görmek için sağ üstteki Bildirimleri Göster'e (zil düğmesi) tıklayın.

İşlem hattını el ile tetikleme

Bu adımda, önceki adımda yayımladığınız işlem hattını el ile tetiklersiniz.

  1. Araç çubuğunda Tetikleyici’yi ve sonra Şimdi Tetikle’yi seçin. İşlem Hattı Çalıştırma sayfasında Tamam'ı seçin.

  2. Soldaki İzleyici sekmesine gidin. El ile tetikleme tarafından tetiklenmiş bir işlem hattı çalıştırması görürsünüz. İşlem HATTı ADı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

    Monitor pipeline runs

  3. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görmek için İŞLEM HATTı ADI sütununun altındaki CopyPipeline bağlantısını seçin. Bu örnekte yalnızca bir etkinlik olduğundan listede yalnızca bir girdi görürsünüz. Kopyalama işlemiyle ilgili ayrıntılar için ETKİ ADI sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. İşlem Hattı Çalıştırmaları görünümüne dönmek için üstteki Tüm işlem hattı çalıştırmaları'nı seçin. Görünümü yenilemek için Yenile’yi seçin.

    Monitor activity runs

  4. Veritabanındaki emp tablosuna iki satır daha eklendiğini doğrulayın.

İşlem hattını bir zamanlamaya göre tetikleme

Bu zamanlamada, işlem hattı için bir zamanlayıcı tetikleyicisi oluşturacaksınız. Tetikleyici, işlem hattını saatlik veya günlük gibi belirli bir zamanlamaya göre çalıştırır. Burada tetikleyiciyi belirtilen bitiş tarihi saatine kadar dakikada bir çalışacak şekilde ayarlarsınız.

  1. Sol üstte, izleyici sekmesinin üzerindeki Yazar sekmesine gidin.

  2. İşlem hattınıza gidin, araç çubuğunda Tetikleyici'ye tıklayıp Yeni/Düzenle'yi seçin.

  3. Tetikleyici ekle iletişim kutusunda Tetikleyici alanını seçin için + Yeni'yi seçin.

  4. Yeni Tetikleyici penceresinde aşağıdaki adımları uygulayın:

    a. Ad bölümüne RunEveryMinute girin.

    b. Tetikleyicinizin Başlangıç tarihini güncelleştirin. Tarih geçerli tarih saatinden önceyse, değişiklik yayımlandıktan sonra tetikleyici geçerlilik kazanır.

    c. Saat dilimi'nin altında açılan listeyi seçin.

    d. Yinelenme'yi Her 1 Dakikada Bir olarak ayarlayın.

    e. Bitiş tarihi belirtin onay kutusunu seçin ve Bitiş Tarihi bölümünü geçerli tarih saatinden birkaç dakika sonra olacak şekilde güncelleştirin. Tetikleyicinin etkinleştirilmesi için, önce sizin değişiklikleri yayımlamanız gerekir. Bunu yalnızca birkaç dakika arayla ayarlarsanız ve o zamana kadar yayımlamazsanız tetikleyici çalıştırmasını görmezsiniz.

    f. Etkinleştirildi seçeneği için Evet'i seçin.

    r. Tamam seçeneğini işaretleyin.

    Önemli

    Her bir işlem hattı çalıştırması ile bir maliyet ilişkilendirildiğinden bitiş tarihini uygun bir şekilde ayarlayın.

  5. Tetikleyiciyi düzenle sayfasında uyarıyı gözden geçirin ve Kaydet'i seçin. Bu örnekteki işlem hattı hiçbir parametre almaz.

  6. Değişikliği yayımlamak için Tümünü yayımla'ya tıklayın.

  7. Tetiklenen işlem hattı çalıştırmalarını görmek için sol taraftaki İzleyici sekmesine gidin.

    Triggered pipeline runs

  8. İşlem Hattı Çalıştırmaları görünümünden Tetikleyici Çalıştırmaları görünümüne geçmek için pencerenin sol tarafındaki Tetikleyici Çalıştırmaları'nı seçin.

  9. Listede tetikleyici çalıştırmalarını görürsünüz.

  10. Belirtilen bitiş saatine kadar emp tablosuna dakikada iki satır (her işlem hattı çalıştırması için) eklendiğini doğrulayın.

İlgili içerik

Bu örnekteki işlem hattı, verileri bir konumdan Blob depolama alanındaki başka bir konuma kopyalar. Şunları öğrendiniz:

  • Veri fabrikası oluşturma.
  • Kopyalama etkinliğiyle işlem hattı oluşturma.
  • İşlem hattında test çalıştırması yapma.
  • İşlem hattını el ile tetikleme.
  • İşlem hattını bir zamanlamaya göre tetikleme.
  • İşlem hattı ve etkinlik çalıştırmalarını izleme.

Verileri şirket içinden buluta kopyalamayı öğrenmek için aşağıdaki öğreticiye geçin:

Şirket içinden buluta veri kopyalama