özel uç noktaları kullanarak verileri Azure Blob depolamadan SQL veritabanına güvenli bir şekilde kopyalama

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Bu öğreticide, Azure Data Factory kullanıcı arabirimini (UI) kullanarak bir veri fabrikası oluşturursunuz. bu veri fabrikasındaki işlem hattı, verileri azure Blob depolama 'dan azure SQL veritabanına güvenli bir şekilde kopyalar (her ikisi de yalnızca seçilen ağlara erişime izin verir) Azure Data Factory yönetilen sanal ağdaözel uç noktaları kullanarak. Bu öğreticideki yapılandırma düzeni, dosya tabanlı bir veri deposundan ilişkisel bir veri deposuna kopyalama için geçerlidir. Kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz. desteklenen veri depoları ve biçimler tablosu.

Not

İlk kez Data Factory kullanıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

  • Veri fabrikası oluşturma.
  • Kopyalama etkinliğiyle işlem hattı oluşturma.

Önkoşullar

  • Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir Azure hesabı oluşturun.
  • Azure depolama hesabı. Blob depolama alanını kaynak veri deposu olarak kullanabilirsiniz. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma. Depolama hesabının yalnızca seçili ağlardan erişime izin verdiğinden emin olun.
  • Azure SQL Veritabanı. Veritabanını havuz veri deposu olarak kullanabilirsiniz. Azure SQL veritabanınız yoksa, oluşturma adımları için bkz. SQL veritabanı oluşturma . SQL Veritabanı hesabının yalnızca seçili ağlardan erişime izin verdiğinden emin olun.

Bir blob ve SQL tablosu oluşturma

şimdi aşağıdaki adımları gerçekleştirerek blob depolama alanınızı ve öğretici için SQL veritabanınızı hazırlayın.

Kaynak blob oluşturma

  1. Not Defteri açın. Aşağıdaki metni kopyalayın ve diskinizde emp.txt dosyası olarak kaydedin:

    FirstName,LastName
    John,Doe
    Jane,Doe
    
  2. Blob depolamada adföğreticisi adlı bir kapsayıcı oluşturun. Bu kapsayıcıda input adlı bir klasör oluşturun. Sonra, emp.txt dosyasını input klasörüne yükleyin. Bu görevleri yerine getirmek için Azure Portal'ı veya Azure Depolama Gezgini gibi araçları kullanın.

Havuz SQL tablosu oluşturma

SQL veritabanınızda dbo.emp tablosu oluşturmak için aşağıdaki SQL betiğini kullanın:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Veri fabrikası oluşturma

Bu adımda, bir veri fabrikası oluşturacak ve veri fabrikasında bir işlem hattı oluşturmak için Data Factory kullanıcı arabirimini başlatacaksınız.

  1. Microsoft Edge veya Google Chrome 'ı açın. şu anda yalnızca Microsoft Edge ve Google Chrome web tarayıcıları Data Factory kullanıcı arabirimini destekler.

  2. Sol menüde, kaynak > Analizi > Data Factory oluştur ' u seçin.

  3. Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

    Azure veri fabrikasının adı genel olarak benzersiz olmalıdır. Ad değeri hakkında bir hata iletisi alırsanız, Data Factory için farklı bir ad girin (örneğin, Adınızadftutorialdatafactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

  4. Veri fabrikasını oluşturmak istediğiniz Azure aboneliğinizi seçin.

  5. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

    • Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.
    • Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

    Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

  6. Sürüm bölümünde V2'yi seçin.

  7. Konum bölümünden veri fabrikası için bir konum seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka bölgelerde olabilir.

  8. Oluştur’u seçin.

  9. Oluşturma işlemi tamamlandıktan sonra bildirim merkezinde bildirimi görürsünüz. Data Factory sayfasına gitmek Için Kaynağa Git ' i seçin.

  10. Data Factory Kullanıcı arabirimini ayrı bir sekmede başlatmak için Azure Data Factory Studio kutucuğunda ' ı seçin.

Data Factory yönetilen sanal ağda Azure tümleştirme çalışma zamanı oluşturma

Bu adımda, bir Azure tümleştirme çalışma zamanı oluşturur ve yönetilen sanal ağı Data Factory etkinleştirirsiniz.

  1. Data Factory portalında Yönet ' e gidin ve yeni bir Azure tümleştirme çalışma zamanı oluşturmak için Yeni ' yi seçin.

    Yeni bir Azure tümleştirme çalışma zamanı oluşturmayı gösteren ekran görüntüsü.

  2. Tümleştirme çalışma zamanı kurulumu sayfasında, gereken yeteneklere göre oluşturulacak tümleştirme çalışma zamanını seçin. Bu öğreticide, Azure ve kendiliğinden konak ' ı seçip devam' a tıklayın.

  3. Azure ' ı seçin ve ardından devam ' a tıklayarak bir Azure tümleştirme çalışma zamanı oluşturun.

    Yeni bir Azure tümleştirme çalışma zamanı gösteren ekran görüntüsü.

  4. Sanal ağ yapılandırması (Önizleme) altında Etkinleştir' i seçin.

    Yeni bir Azure tümleştirme çalışma zamanının etkinleştirilmesini gösteren ekran görüntüsü.

  5. Oluştur’u seçin.

İşlem hattı oluşturma

Bu adımda, veri fabrikasında kopyalama etkinliği ile bir işlem hattı oluşturacaksınız. Kopyalama etkinliği, verileri Blob depolama alanından SQL Veritabanı'na kopyalar. Hızlı başlangıç eğitiminde, şu adımları izleyerek bir işlem hattı oluşturdunuz:

  1. Bağlı hizmeti oluşturma.
  2. Giriş ve çıkış veri kümelerini oluşturma.
  3. İşlem hattı oluşturma.

Bu öğreticide, bir işlem hattı oluşturarak başlayın. Daha sonra işlem hattını yapılandırmanız gerektiğinde bağlı hizmetleri ve veri kümelerini oluşturacaksınız.

  1. Giriş sayfasında, organize et ' i seçin.

    ADF giriş sayfasını gösteren ekran görüntüsü.

  2. İşlem hattının Özellikler bölmesinde, işlem hattı adı için Copypipeline girin.

  3. Etkinlikler araç kutusunda taşıma ve dönüştürme kategorisini genişletin ve veri kopyalama etkinliğini araç kutusundan işlem hattı Tasarımcısı yüzeyine sürükleyin. Ad için Copyfromblobtosql girin.

    Kopyalama etkinliğini gösteren ekran görüntüsü.

Kaynak yapılandırma

İpucu

Bu öğreticide, hesap anahtarı ' nı kaynak veri deponuzu kimlik doğrulama türü olarak kullanacaksınız. Ayrıca, SAS URI 'si,hizmet sorumlusu ve gerekirse yönetilen kimlik gibi diğer desteklenen kimlik doğrulama yöntemlerini de seçebilirsiniz. Daha fazla bilgi için Azure Data Factory kullanarak Azure Blob depolamada verileri kopyalama ve dönüştürmebölümündeki ilgili bölümlere bakın.

Veri mağazalarının gizli dizilerini güvenli bir şekilde depolamak için, Azure Key Vault kullanmanızı da öneririz. Daha fazla bilgi ve çizimler için bkz. Azure Key Vault kimlik bilgilerini depolama.

Kaynak veri kümesi ve bağlı hizmet oluşturma

  1. Kaynak sekmesine gidin. Kaynak veri kümesi oluşturmak için + Yeni seçeneğini belirleyin.

  2. yeni veri kümesi iletişim kutusunda Azure Blob Depolama seçin ve ardından devam' ı seçin. Kaynak veriler bir Blob depolama alanında olduğundan kaynak veri kümesi olarak Azure Blob Depolama Alanı'nı seçmeniz gerekir.

  3. Biçim Seç iletişim kutusunda verilerinizin biçim türünü seçin ve ardından devam' ı seçin.

  4. Özellikleri ayarla Iletişim kutusunda ad için sourceblobdataset girin. Üst bilgi olarak ilk satırın onay kutusunu seçin. Bağlı hizmet metin kutusu altında + Yeni' yi seçin.

  5. yeni bağlı hizmet (Azure Blob Depolama) iletişim kutusunda, ad olarak AzureStorageLinkedService girin ve Depolama hesabı adı listesinden depolama hesabınızı seçin.

  6. Etkileşimli yazma özelliğini etkinleştirdiğinizden emin olun. Bu işlem, bir dakika içinde etkinleştirilebilir.

    Etkileşimli yazma gösteren ekran görüntüsü.

  7. Bağlantıyı sına’yı seçin. Depolama hesabı yalnızca Seçili ağlardan erişime izin verir ve Data Factory önce onaylanması gereken özel bir uç nokta oluşturması gerektiği zaman başarısız olmalıdır. Hata iletisinde, yönetilen özel uç nokta oluşturmak için takip etmek istediğiniz özel uç nokta oluşturma bağlantısını görüyorsanız. Alternatif olarak doğrudan Yönet sekmesine gidip sonraki bölümdeki yönergeleri izleyerek yönetilen özel uç nokta oluşturabilirsiniz.

    Not

    Yönet sekmesi tüm veri fabrikası örnekleri için kullanılamıyor olabilir. Bunu görmüyorsanız, Yazar Bağlantıları Özel Uç Noktası'ı seçerek özel uç > > noktalara erişebilirsiniz.

  8. İletişim kutusunu açık bırakarak depolama hesabınıza gidin.

  9. Özel bağlantıyı onaylamak için bu bölümdeki yönergeleri izleyin.

  10. Geri dön iletişim kutusuna tıklayın. Bağlantıyı yeniden sına'ya ve ardından Oluştur'a seçerek bağlı hizmeti dağıtın.

  11. Bağlı hizmet oluşturulduktan sonra Özellikleri ayarla sayfasına geri döner. Dosya yolu’nun yanındaki Gözat seçeneğini belirleyin.

  12. adftutorial/input klasörüne gidin, emp.txt dosyasını seçin ve tamam'ı seçin.

  13. Tamam’ı seçin. otomatik olarak işlem hattı sayfasına gider. Kaynak sekmesinde SourceBlobDataset'in seçili olduğunu onaylayın. Bu sayfadaki verilerin önizlemesini görüntülemek için Veri önizleme‘yi seçin.

    Kaynak veri kümesi gösteren ekran görüntüsü.

Yönetilen özel uç nokta oluşturma

Bağlantıyı test edinken köprüyü seçmediyebilirsiniz. Yolu izleyin. Şimdi oluşturduğunuz bağlı hizmete bağlanacak yönetilen bir özel uç nokta oluşturmanız gerekir.

  1. Yönet sekmesine gidin.

    Not

    Yönet sekmesi tüm örneklerde Data Factory olabilir. Bunu görmüyorsanız, Yazar Bağlantıları Özel Uç Noktası'ı seçerek özel uç > > noktalara erişebilirsiniz.

  2. Yönetilen özel uç noktalar bölümüne gidin.

  3. Yönetilen özel uç noktalar'ın altında + Yeni'yi seçin.

    Yönetilen özel uç noktaları Yeni düğmesini gösteren ekran görüntüsü.

  4. Listeden Azure Blob Depolama kutucuğunu seçin ve Devam'ı seçin.

  5. Oluşturduğunuz depolama hesabının adını girin.

  6. Oluştur’u seçin.

  7. Birkaç saniye sonra, oluşturulan özel bağlantının onay gerektiğini görüyoruz.

  8. Oluşturduğunuz özel uç noktayı seçin. Depolama hesabı düzeyinde özel uç noktayı onaylamanız için size yol açacak bir köprü görüyorsunuz.

    Yönetilen özel uç nokta bölmesini gösteren ekran görüntüsü.

  1. Depolama hesabında, depolama hesabı altındaki Özel uç nokta bağlantıları'Ayarlar gidin.

  2. Oluşturduğunuz özel uç noktanın onay kutusunu işaretleyin ve Onayla'ya tıklayın.

    Özel uç nokta için Onayla düğmesini gösteren ekran görüntüsü.

  3. Bir açıklama ekleyin ve evet'i seçin.

  4. Geri dön'daki Yönet sekmesinin Yönetilen özel noktalar bölümüne Data Factory.

  5. Yaklaşık bir veya iki dakika sonra özel uç nokta onayını kullanıcı arabiriminde Data Factory gerekir.

Havuz yapılandırma

İpucu

Bu öğreticide, havuz SQL kimlik doğrulaması türü olarak kimlik doğrulamasını kullanırız. Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik gibi desteklenen diğer kimlik doğrulama yöntemlerini de seçebilirsiniz. Daha fazla bilgi için, Azure Data Factory kullanarak verileri Azure SQL Veritabanı veri kopyalama ve Azure Data Factory.

Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için gizli dizileri Azure Key Vault. Daha fazla bilgi ve çizimler için bkz. Kimlik bilgilerini Azure Key Vault.

Havuz veri kümesi ve bağlı hizmet oluşturma

  1. Havuz sekmesine gidin ve havuz veri kümesi oluşturmak için +Yeni seçeneğini belirleyin.

  2. Yeni Veri Kümesi iletişim kutusunda, bağlayıcıları SQL için arama kutusuna Yeni Veri Kümesi yazın. Öğesini Azure SQL Veritabanı ve ardından Devam'ı seçin. Bu öğreticide verileri bir SQL veritabanına kopyalayacaksınız.

  3. Özellikleri Ayarla iletişim kutusunda Ad için OutputSqlDataset girin. Bağlı hizmet açılan listesinden + Yeni'yi seçin. Bağlı hizmeti bir veri kümesi ile ilişkilendirilmelidir. Bağlı hizmet, Data Factory’nin çalışma zamanında SQL veritabanına bağlanmak için kullandığı bağlantı dizesini içerir. Veri kümesi, verilerin kopyalanacağı kapsayıcıyı, klasörü ve dosyayı (isteğe bağlı) belirtilir.

  4. Yeni bağlı hizmet (Azure SQL Veritabanı) iletişim kutusunda aşağıdaki adımları uygulayın:

    1. Ad bölümüne AzureSqlDatabaseLinkedService girin.
    2. Sunucu adı bölümünde SQL Server örneğinizi seçin.
    3. Etkileşimli yazma'nın etkinleştirildi olduğundan emin olun.
    4. Veritabanı adı bölümünde SQL veritabanınızı seçin.
    5. Kullanıcı adı bölümüne kullanıcının adını girin.
    6. Parola bölümüne kullanıcının parolasını girin.
    7. Bağlantıyı sına’yı seçin. SQL sunucusu yalnızca Seçili ağlardan erişime izin Data Factory ve özel uç nokta oluşturması gerektiği için başarısız olmalıdır. Bu uç nokta, bu sunucuyu kullanmadan önce onaylanır. Hata iletisinde, yönetilen özel uç nokta oluşturmak için takip etmek istediğiniz özel uç nokta oluşturma bağlantısını görüyorsanız. Alternatif olarak doğrudan Yönet sekmesine gidip sonraki bölümdeki yönergeleri izleyerek yönetilen özel uç nokta oluşturabilirsiniz.
    8. İletişim kutusunu açık bırakarak seçtiğiniz sunucuya SQL.
    9. Özel bağlantıyı onaylamak için bu bölümdeki yönergeleri izleyin.
    10. Geri dön iletişim kutusuna tıklayın. Bağlantıyı yeniden sına'ya ve ardından Oluştur'a seçerek bağlı hizmeti dağıtın.
  5. Otomatik olarak Özellikleri Ayarla iletişim kutusuna gider. Tablo’da [dbo].[emp] seçeneğini belirleyin. Ardından Tamam’ı seçin.

  6. İşlem hattının olduğu sekmeye gidin ve Havuz veri kümesi'nin içinde OutputSqlDataset'in seçili olduğunu onaylayın.

    İşlem Hattı sekmesini gösteren ekran görüntüsü.

kopyalama etkinliğinde Şema eşlemesi'ne göre isteğe bağlı olarak kaynağın şemasını hedefin ilgili şemasına eşlersiniz.

Yönetilen özel uç nokta oluşturma

Bağlantıyı test edinken köprüyü seçmediyebilirsiniz. Yolu izleyin. Şimdi oluşturduğunuz bağlı hizmete bağlanacak yönetilen bir özel uç nokta oluşturmanız gerekir.

  1. Yönet sekmesine gidin.

  2. Yönetilen özel uç noktalar bölümüne gidin.

  3. Yönetilen özel uç noktalar'ın altında + Yeni'yi seçin.

    Yönetilen özel uç noktaları Yeni düğmesini gösteren ekran görüntüsü.

  4. Listeden Azure SQL Veritabanı kutucuğunu seçin ve Devam'ı seçin.

  5. Seçtiğiniz SQL adını girin.

  6. Oluştur’u seçin.

  7. Birkaç saniye sonra, oluşturulan özel bağlantının onay gerektiğini görüyoruz.

  8. Oluşturduğunuz özel uç noktayı seçin. Özel uç noktayı sunucu düzeyinde onaylamanız için size yol SQL görüyorsunuz.

  1. SQL bölümünde Özel uç nokta bağlantıları bölümüne Ayarlar.
  2. Oluşturduğunuz özel uç noktanın onay kutusunu işaretleyin ve Onayla'ya tıklayın.
  3. Bir açıklama ekleyin ve evet'i seçin.
  4. Geri dön'daki Yönet sekmesinin Yönetilen özel noktalar bölümüne Data Factory.
  5. Onayın özel uç noktanız için görünmesi bir veya iki dakika sürer.

İşlem hattında hata ayıklama ve işlem hattını yayımlama

Yapıtları (bağlı hizmetler, veri kümeleri ve işlem hattı) Data Factory'de veya kendi Azure Repos Git deponuzda yayımlamadan önce işlem hattında hata ayıklayabilirsiniz.

  1. İşlem hattında hata ayıklamak için araç çubuğunda Hata Ayıkla'yı seçin. Pencerenin altındaki Çıkış sekmesinde işlem hattı çalıştırmasının durumu görüntülenir.
  2. İşlem hattı başarıyla çalıştırılana kadar üst araç çubuğundan Hepsini yayımla'yı seçin. Bu eylem, oluşturduğunuz varlıkları (veri kümeleri ve işlem hatları) yayımlar ve Data Factory.
  3. Başarıyla yayımlandı iletisini görene kadar bekleyin. Bildirim iletilerini görmek için sağ üst köşedeki Bildirimleri Göster 'i (zil düğmesi) seçin.

Özet

Bu örnekteki işlem hattı, Yönetilen Sanal Ağ'daki özel uç SQL Veritabanı blob depolamadan Data Factory kopyalar. Şunları öğrendiniz:

  • Veri fabrikası oluşturma.
  • Kopyalama etkinliğiyle işlem hattı oluşturma.