Özel uç noktaları kullanarak verileri Azure Blob depolamadan SQL veritabanına güvenli bir şekilde kopyalama

  • Makale

ŞUNLAR IÇIN GEÇERLIDIR: Azure Synapse Analytics Azure Data Factory

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, Azure Data Factory kullanıcı arabirimini (UI) kullanarak bir veri fabrikası oluşturursunuz. Bu veri fabrikasındaki işlem hattı, Azure Data Factory Yönetilen Sanal Ağ özel uç noktaları kullanarak verileri Azure Blob depolamadan Azure SQL veritabanına (her ikisi de yalnızca seçili ağlara erişime izin verir) güvenli bir şekilde kopyalar. Bu öğreticideki yapılandırma düzeni, dosya tabanlı bir veri deposundan ilişkisel bir veri deposuna kopyalama için geçerlidir. Kaynak ve havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları ve biçimleri tablosuna bakın.

Not

İlk kez Data Factory kullanıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

  • Veri fabrikası oluşturma.
  • Kopyalama etkinliğiyle işlem hattı oluşturma.

Önkoşullar

  • Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir Azure hesabı oluşturun.
  • Azure depolama hesabı. Blob depolama alanını kaynak veri deposu olarak kullanabilirsiniz. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma. Depolama hesabının yalnızca seçili ağlardan erişime izin verdiğinden emin olun.
  • Azure SQL Veritabanı. Veritabanını havuz veri deposu olarak kullanabilirsiniz. Azure SQL veritabanınız yoksa, oluşturma adımları için bkz. SQL veritabanı oluşturma. SQL Veritabanı hesabının yalnızca seçili ağlardan erişime izin verdiğinden emin olun.

Bir blob ve SQL tablosu oluşturma

Şimdi aşağıdaki adımları gerçekleştirerek blob depolama alanınızı ve SQL veritabanınızı öğreticiye hazırlayın.

Kaynak blob oluşturma

  1. Not Defteri'ne tıklayın. Aşağıdaki metni kopyalayın ve diskinizde emp.txt dosyası olarak kaydedin:

    FirstName,LastName
John,Doe
Jane,Doe

  2. Blob depolama alanınızda adftutorial adlı bir kapsayıcı oluşturun. Bu kapsayıcıda input adlı bir klasör oluşturun. Sonra, emp.txt dosyasını input klasörüne yükleyin. Bu görevleri yerine getirmek için Azure Portal'ı veya Azure Depolama Gezgini gibi araçları kullanın.

Havuz SQL tablosu oluşturma

SQL veritabanınızda dbo.emp tablosu oluşturmak için aşağıdaki SQL betiğini kullanın:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Veri fabrikası oluşturma

Bu adımda, bir veri fabrikası oluşturacak ve veri fabrikasında bir işlem hattı oluşturmak için Data Factory kullanıcı arabirimini başlatacaksınız.

  1. Microsoft Edge veya Google Chrome'u açın. Şu anda Data Factory kullanıcı arabirimini yalnızca Microsoft Edge ve Google Chrome web tarayıcıları desteklemektedir.

  2. Soldaki menüde Kaynak> oluşturAnalytics>Data Factory'yi seçin.

  3. Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

    Azure veri fabrikasının adı genel olarak benzersiz olmalıdır. Ad değeri hakkında bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

  4. Veri fabrikasını oluşturmak istediğiniz Azure aboneliğinizi seçin.

  5. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

    • Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.
    • Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

    Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

  6. Sürüm bölümünde V2'yi seçin.

  7. Konum bölümünden veri fabrikası için bir konum seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka bölgelerde olabilir.

  8. Oluştur’u seçin.

  9. Oluşturma işlemi tamamlandıktan sonra Bildirim merkezinde bildirimi görürsünüz. Data Factory sayfasına gitmek için Kaynağa git'i seçin.

  10. Data Factory kullanıcı arabirimini ayrı bir sekmede başlatmak için Azure Data Factory Studio Aç kutucuğunda Aç'ı seçin.

Data Factory Yönetilen Sanal Ağ'nde Azure tümleştirme çalışma zamanı oluşturma

Bu adımda, bir Azure tümleştirme çalışma zamanı oluşturur ve Data Factory Yönetilen Sanal Ağ etkinleştirirsiniz.

  1. Data Factory portalında Yönet'e gidin ve Yeni'yi seçerek yeni bir Azure tümleştirme çalışma zamanı oluşturun.

    Yeni bir Azure tümleştirme çalışma zamanı oluşturmayı gösteren ekran görüntüsü.

  2. Tümleştirme çalışma zamanı kurulumu sayfasında, gerekli özelliklere göre hangi tümleştirme çalışma zamanının oluşturulacağını seçin. Bu öğreticide Azure, Şirket İçinde Barındırılan'ı seçip Devam'a tıklayın.

  3. Azure'ı seçin ve ardından Devam'a tıklayarak bir Azure Tümleştirme çalışma zamanı oluşturun.

    Yeni bir Azure tümleştirme çalışma zamanını gösteren ekran görüntüsü.

  4. Sanal ağ yapılandırması (Önizleme) altındaEtkinleştir'i seçin.

    Yeni bir Azure tümleştirme çalışma zamanını etkinleştirmeyi gösteren ekran görüntüsü.

  5. Oluştur’u seçin.

İşlem hattı oluşturma

Bu adımda, veri fabrikasında kopyalama etkinliği ile bir işlem hattı oluşturacaksınız. Kopyalama etkinliği, verileri Blob depolama alanından SQL Veritabanı'na kopyalar. Hızlı başlangıç eğitiminde, şu adımları izleyerek bir işlem hattı oluşturdunuz:

  1. Bağlı hizmeti oluşturma.
  2. Giriş ve çıkış veri kümelerini oluşturma.
  3. İşlem hattı oluşturma.

Bu öğreticide başlangıç olarak bir işlem hattı oluşturacaksınız. Daha sonra işlem hattını yapılandırmanız gerektiğinde bağlı hizmetleri ve veri kümelerini oluşturacaksınız.

  1. Giriş sayfasında Düzenle'yi seçin.

    Orchestrate düğmesinin vurgulandığı veri fabrikası giriş sayfasını gösteren ekran görüntüsü.

  2. İşlem hattının özellikler bölmesinde, işlem hattı adı olarak CopyPipeline girin.

  3. Etkinlikler araç kutusunda Taşı ve Dönüştür kategorisini genişletin ve Veri kopyalama etkinliğini araç kutusundan işlem hattı tasarımcısının yüzeyine sürükleyin. Ad olarak CopyFromBlobToSql girin.

    Kopyalama etkinliğini gösteren ekran görüntüsü.

Kaynağı yapılandırma

İpucu

Bu öğreticide, kaynak veri deponuzun kimlik doğrulama türü olarak Hesap anahtarını kullanacaksınız. Gerekirse SAS URI,HizmetSorumlusu ve Yönetilen Kimlik gibi desteklenen diğer kimlik doğrulama yöntemlerini de seçebilirsiniz. Daha fazla bilgi için Azure Data Factory kullanarak Azure Blob depolamada verileri kopyalama ve dönüştürme bölümündeki ilgili bölümlere bakın.

Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanmanızı da öneririz. Daha fazla bilgi ve çizim için bkz. Kimlik bilgilerini Azure Key Vault'de depolama.

Kaynak veri kümesi ve bağlı hizmet oluşturma

  1. Kaynak sekmesine gidin. Kaynak veri kümesi oluşturmak için + Yeni'yi seçin.

  2. Yeni Veri Kümesi iletişim kutusunda Azure Blob Depolama'ı ve ardından Devam'ı seçin. Kaynak veriler bir Blob depolama alanında olduğundan kaynak veri kümesi olarak Azure Blob Depolama Alanı'nı seçmeniz gerekir.

  3. Biçim Seç iletişim kutusunda, verilerinizin biçim türünü seçin ve ardından Devam'ı seçin.

  4. Özellikleri Ayarla iletişim kutusunda, Ad için SourceBlobDataset girin. İlk satır üst bilgi olarak onay kutusunu seçin. Bağlı hizmet metin kutusunun altında + Yeni'yi seçin.

  5. Yeni bağlı hizmet (Azure Blob Depolama) iletişim kutusunda Ad olarak AzureStorageLinkedService yazın ve Depolama hesabı adı listesinden depolama hesabınızı seçin.

  6. Etkileşimli yazma'yı etkinleştirdiğinizden emin olun. Etkinleştirilmesi yaklaşık bir dakika sürebilir.

    Etkileşimli yazma işlemini gösteren ekran görüntüsü.

  7. Bağlantıyı sına’yı seçin. Depolama hesabı yalnızca Seçili ağlardan erişime izin verdiğinde ve Data Factory'nin kullanmadan önce onaylanması gereken özel bir uç nokta oluşturmasını gerektirdiğinde başarısız olmalıdır. Hata iletisinde, yönetilen özel uç nokta oluşturmak için izleyebileceğiniz bir özel uç nokta oluşturma bağlantısını görmeniz gerekir. Alternatif olarak, doğrudan Yönet sekmesine gidip bir sonraki bölümde yer alan yönergeleri izleyerek yönetilen özel uç nokta oluşturabilirsiniz.

    Not

    Yönet sekmesi tüm veri fabrikası örnekleri için kullanılamayabilir. Bunu görmüyorsanız,Bağlantıları>Yaz>Özel Uç Noktası'nı seçerek özel uç noktalara erişebilirsiniz.

  8. İletişim kutusunu açık tutun ve depolama hesabınıza gidin.

  9. Özel bağlantıyı onaylamak için bu bölümdeki yönergeleri izleyin.

  10. İletişim kutusuna Geri dön. Bağlantıyı yeniden test et'i seçin ve bağlantılı hizmeti dağıtmak için Oluştur'u seçin.

  11. Bağlı hizmet oluşturulduktan sonra Özellikleri ayarla sayfasına geri döner. Dosya yolu’nun yanındaki Gözat seçeneğini belirleyin.

  12. adftutorial/input klasörüne gidin, emp.txt dosyasını seçin ve ardından Tamam'ı seçin.

  13. Tamam’ı seçin. İşlem hattı sayfasına otomatik olarak gider. Kaynak sekmesinde SourceBlobDataset'in seçili olduğunu onaylayın. Bu sayfadaki verilerin önizlemesini görüntülemek için Veri önizleme ‘yi seçin.

    Kaynak veri kümesini gösteren ekran görüntüsü.

Yönetilen özel uç nokta oluşturma

Bağlantıyı test ederken köprüyü seçmediyseniz yolu izleyin. Şimdi, oluşturduğunuz bağlı hizmete bağlanacağınız yönetilen bir özel uç nokta oluşturmanız gerekir.

  1. Yönet sekmesine gidin.

    Not

    Yönet sekmesi tüm Data Factory örnekleri için kullanılamayabilir. Bunu görmüyorsanız,Bağlantıları>Yaz>Özel Uç Noktası'nı seçerek özel uç noktalara erişebilirsiniz.

  2. Yönetilen özel uç noktalar bölümüne gidin.

  3. Yönetilen özel uç noktalar altında + Yeni'yi seçin.

    Yönetilen özel uç noktalar Yeni düğmesini gösteren ekran görüntüsü.

  4. Listeden Azure Blob Depolama kutucuğunu seçin ve Devam'ı seçin.

  5. Oluşturduğunuz depolama hesabının adını girin.

  6. Oluştur’u seçin.

  7. Birkaç saniye sonra, oluşturulan özel bağlantının bir onay gerektiğini görmeniz gerekir.

  8. Oluşturduğunuz özel uç noktayı seçin. Depolama hesabı düzeyinde özel uç noktayı onaylamanıza yol açacak bir köprü görebilirsiniz.

    Yönetilen özel uç nokta bölmesini gösteren ekran görüntüsü.

  1. Depolama hesabında Ayarlar bölümünün altında Özel uç nokta bağlantıları'na gidin.

  2. Oluşturduğunuz özel uç noktanın onay kutusunu işaretleyin ve Onayla'yı seçin.

    Özel uç nokta için Onayla düğmesini gösteren ekran görüntüsü.

  3. Açıklama ekleyin ve evet'i seçin.

  4. Data Factory'de Yönet sekmesinin Yönetilen özel uç noktalar bölümüne Geri dön.

  5. Yaklaşık bir veya iki dakika sonra Data Factory kullanıcı arabiriminde özel uç noktanızın onayını görmeniz gerekir.

Havuz yapılandırma

İpucu

Bu öğreticide, havuz veri deponuzun kimlik doğrulama türü olarak SQL kimlik doğrulamasını kullanacaksınız. Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik gibi desteklenen diğer kimlik doğrulama yöntemlerini de seçebilirsiniz. Daha fazla bilgi için Azure Data Factory kullanarak Azure SQL Veritabanında verileri kopyalama ve dönüştürme bölümündeki ilgili bölümlere bakın.

Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanmanızı da öneririz. Daha fazla bilgi ve çizim için bkz. Kimlik bilgilerini Azure Key Vault'de depolama.

Havuz veri kümesi ve bağlı hizmet oluşturma

  1. Havuz sekmesine gidin ve havuz veri kümesi oluşturmak için +Yeni seçeneğini belirleyin.

  2. Yeni Veri Kümesi iletişim kutusunda, bağlayıcıları filtrelemek için arama kutusuna SQL yazın. veritabanı Azure SQL ve ardından Devam'ı seçin. Bu öğreticide verileri bir SQL veritabanına kopyalayacaksınız.

  3. Özellikleri Ayarla iletişim kutusunda, Ad için OutputSqlDataset girin. Bağlı hizmet açılan listesinden + Yeni'yi seçin. Bağlı hizmeti bir veri kümesi ile ilişkilendirilmelidir. Bağlı hizmet, Data Factory’nin çalışma zamanında SQL veritabanına bağlanmak için kullandığı bağlantı dizesini içerir. Veri kümesi, verilerin kopyalanacağı kapsayıcıyı, klasörü ve dosyayı (isteğe bağlı) belirtilir.

  4. Yeni bağlı hizmet (Azure SQL Veritabanı) iletişim kutusunda aşağıdaki adımları uygulayın:

    1. Ad bölümüne AzureSqlDatabaseLinkedService girin.
    2. Sunucu adı bölümünde SQL Server örneğinizi seçin.
    3. Etkileşimli yazma'yı etkinleştirdiğinizden emin olun.
    4. Veritabanı adı bölümünde SQL veritabanınızı seçin.
    5. Kullanıcı adı bölümüne kullanıcının adını girin.
    6. Parola bölümüne kullanıcının parolasını girin.
    7. Bağlantıyı sına’yı seçin. SQL sunucusu yalnızca Seçili ağlardan erişime izin verdiğinden ve Data Factory'nin bu ağ için özel uç nokta oluşturmasını gerektirdiğinden başarısız olmalıdır. Bu, kullanmadan önce onaylanması gerekir. Hata iletisinde, yönetilen özel uç nokta oluşturmak için izleyebileceğiniz bir özel uç nokta oluşturma bağlantısını görmeniz gerekir. Alternatif olarak, doğrudan Yönet sekmesine gidip bir sonraki bölümde yer alan yönergeleri izleyerek yönetilen özel uç nokta oluşturabilirsiniz.
    8. İletişim kutusunu açık tutun ve ardından seçili SQL sunucunuza gidin.
    9. Özel bağlantıyı onaylamak için bu bölümdeki yönergeleri izleyin.
    10. İletişim kutusuna Geri dön. Bağlantıyı yeniden test et'i seçin ve bağlantılı hizmeti dağıtmak için Oluştur'u seçin.

  5. Otomatik olarak Özellikleri Ayarla iletişim kutusuna gider. Tablo’da [dbo].[emp] seçeneğini belirleyin. Ardından Tamam’ı seçin.

  6. İşlem hattının olduğu sekmeye gidin ve Havuz veri kümesindeOutputSqlDataset'in seçili olduğunu onaylayın.

    İşlem Hattı sekmesini gösteren ekran görüntüsü.

kopyalama etkinliğinde Şema eşlemesini izleyerek isteğe bağlı olarak kaynağın şemasını hedefin ilgili şemasına eşleyebilirsiniz.

Yönetilen özel uç nokta oluşturma

Bağlantıyı test ederken köprüyü seçmediyseniz yolu izleyin. Şimdi, oluşturduğunuz bağlı hizmete bağlanacağınız yönetilen bir özel uç nokta oluşturmanız gerekir.

  1. Yönet sekmesine gidin.

  2. Yönetilen özel uç noktalar bölümüne gidin.

  3. Yönetilen özel uç noktalar altında + Yeni'yi seçin.

    Yönetilen özel uç noktalar Yeni düğmesini gösteren ekran görüntüsü.

  4. Listeden Azure SQL Veritabanı kutucuğunu seçin ve Devam'ı seçin.

  5. Seçtiğiniz SQL sunucusunun adını girin.

  6. Oluştur’u seçin.

  7. Birkaç saniye sonra, oluşturulan özel bağlantının bir onay gerektiğini görmeniz gerekir.

  8. Oluşturduğunuz özel uç noktayı seçin. SQL server düzeyinde özel uç noktayı onaylamanıza yol açacak bir köprü görebilirsiniz.

  1. SQL server'da Ayarlar bölümünün altında Özel uç nokta bağlantıları'na gidin.
  2. Oluşturduğunuz özel uç noktanın onay kutusunu seçin ve Onayla'yı seçin.
  3. Bir açıklama ekleyin ve Evet'i seçin.
  4. Data Factory'de Yönet sekmesinin Yönetilen özel uç noktalar bölümüne Geri dön.
  5. Onayın özel uç noktanız için görünmesi bir veya iki dakika sürmelidir.

İşlem hattında hata ayıklama ve işlem hattını yayımlama

Yapıtları (bağlı hizmetler, veri kümeleri ve işlem hattı) Data Factory'de veya kendi Azure Repos Git deponuzda yayımlamadan önce işlem hattında hata ayıklayabilirsiniz.

  1. İşlem hattında hata ayıklamak için araç çubuğunda Hata Ayıkla'yı seçin. Pencerenin altındaki Çıkış sekmesinde işlem hattı çalıştırmasının durumu görüntülenir.
  2. İşlem hattı başarıyla çalıştırıldıktan sonra üst araç çubuğunda Tümünü yayımla'yı seçin. Bu eylem, oluşturduğunuz varlıkları (veri kümeleri ve işlem hatları) Data Factory'de yayımlar.
  3. Başarıyla yayımlandı iletisini görene kadar bekleyin. Bildirim iletilerini görmek için sağ üst köşedeki Bildirimleri Göster'i (zil düğmesi) seçin.

Özet

Bu örnekteki işlem hattı, Data Factory Yönetilen Sanal Ağ özel uç noktaları kullanarak verileri Blob depolamadan SQL Veritabanı kopyalar. Şunları öğrendiniz:

  • Veri fabrikası oluşturma.
  • Kopyalama etkinliğiyle işlem hattı oluşturma.