Azure Data Factory ile Azure Data Lake Storage 2. Nesil veri yükleme

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Data Lake Storage 2. Nesil, yerleşik olarak büyük veri analizine ayrılmış bir özellik kümesidirAzure Blob depolama. Hem dosya sistemi hem de nesne depolama paradigmalarını kullanarak verilerinizle arabirim oluşturmanızı sağlar.

Azure Data Factory (ADF), tam olarak yönetilen bir bulut tabanlı veri tümleştirme hizmetidir. Hizmeti kullanarak gölü zengin bir şirket içi ve bulut tabanlı veri depolarından alınan verilerle doldurabilir ve analiz çözümlerinizi oluştururken zaman kazanabilirsiniz. Desteklenen bağlayıcıların ayrıntılı listesi için Desteklenen veri depoları tablosuna bakın.

Azure Data Factory ölçeği genişleten, yönetilen bir veri taşıma çözümü sunar. ADF'nin ölçeği genişletme mimarisi nedeniyle verileri yüksek aktarım hızıyla alabilir. Ayrıntılar için bkz. performans Kopyalama etkinliği.

Bu makalede, Data Factory Veri Kopyalama aracını kullanarak Amazon Web Services S3 hizmetinden Azure Data Lake Storage 2. Nesil'a veri yüklemeyi öğreneceksiniz. Diğer veri depolarından veri kopyalamak için benzer adımları izleyebilirsiniz.

Bahşiş

Azure Data Lake Storage 1. Nesil'den 2. Nesil'e veri kopyalamak için bu kılavuza bakın.

Önkoşullar

  • Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
  • Data Lake Storage 2. Nesil etkin azure Depolama hesabı: Depolama hesabınız yoksa bir hesap oluşturun.
  • Veri içeren bir S3 demetine sahip AWS hesabı: Bu makalede Amazon S3'ten veri kopyalama gösterilmektedir. Benzer adımları izleyerek diğer veri depolarını kullanabilirsiniz.

Veri fabrikası oluşturma

  1. Veri fabrikanızı henüz oluşturmadıysanız Hızlı Başlangıç: Azure portalını ve Azure Data Factory Studio'yu kullanarak veri fabrikası oluşturma bölümünde yer alan adımları izleyin. Oluşturduktan sonra Azure portalında veri fabrikasına göz atın.

    Home page for the Azure Data Factory, with the Open Azure Data Factory Studio tile.

  2. Veri Entegrasyonu uygulamasını ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Azure Data Lake Storage 2. Nesil'e verileri yükleme

  1. Azure Data Factory'nin giriş sayfasında Veri Kopyalama aracını başlatmak için Alma kutucuğunu seçin.

  2. Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni seçin ve Görev temposu veya görev zamanlaması altında Şimdi çalıştır'ı ve ardından İleri'yi seçin.

    Properties page

  3. Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

    1. + Yeni bağlantı'yı seçin. Bağlayıcı galerisinden Amazon S3'i ve ardından Devam'ı seçin.

      Source data store s3 page

    2. Yeni bağlantı (Amazon S3) sayfasında aşağıdaki adımları uygulayın:

      1. Erişim Anahtarı Kimliği değerini belirtin.
      2. Gizli Dizi Erişim Anahtarı değerini belirtin.
      3. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.

      Specify Amazon S3 account

    3. Kaynak veri deposu sayfasında, yeni oluşturulan Amazon S3 bağlantısının Bağlan bloğunda seçildiğinden emin olun.

    4. Dosya veya klasör bölümünde, üzerine kopyalamak istediğiniz klasöre ve dosyaya göz atın. Klasörü/dosyayı ve ardından Tamam'ı seçin.

    5. Yinelemeli ve İkili kopyalama seçeneklerini denetleyerek kopyalama davranışını belirtin. İleri'yi seçin.

    Screenshot that shows the source data store page.

  4. Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın.

    1. + Yeni bağlantı'yı ve ardından Azure Data Lake Storage 2. Nesil'ı ve devam'ı seçin.

      Destination data store page

    2. Yeni bağlantı (Azure Data Lake Storage 2. Nesil) sayfasında, "Depolama hesap adı" açılan listesinden Data Lake Storage 2. Nesil özellikli hesabınızı seçin ve bağlantıyı oluşturmak için Oluştur'u seçin.

      Specify Azure Data Lake Storage Gen2 account

    3. Hedef veri deposu sayfasında, Bağlan bloğunda yeni oluşturulan bağlantıyı seçin. Ardından Klasör yolu altında çıkış klasörü adı olarak copyfroms3 yazın ve İleri'yi seçin. ADF, mevcut değilse kopya sırasında ilgili ADLS 2. Nesil dosya sistemini ve alt klasörleri oluşturur.

      Screenshot that shows the destination data store page.

  5. Ayarlar sayfasında, Görev adı alanı için CopyFromAmazonS3ToADLS öğesini belirtin ve varsayılan ayarları kullanmak için İleri'yi seçin.

    Settings page

  6. Özet sayfasında ayarları gözden geçirin ve İleri'yi seçin.

    Summary page

  7. Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.

  8. İşlem hattı çalıştırması başarıyla tamamlandığında, el ile tetiklenen bir işlem hattı çalıştırması görürsünüz. İşlem hattı adı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

    Monitor pipeline runs

  9. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görmek için İşlem hattı adı sütununun altındaki CopyFromAmazonS3ToADLS bağlantısını seçin. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik adı sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Kaynaktan havuza kopyalanan veri hacmi, veri aktarım hızı, ilgili süreye sahip yürütme adımları ve kullanılan yapılandırma gibi ayrıntıları izleyebilirsiniz.

    Monitor activity runs

    Monitor activity run details

  10. Görünümü yenilemek için Yenile’yi seçin. "İşlem hattı çalıştırmaları" görünümüne dönmek için üstteki Tüm işlem hattı çalıştırmaları'nı seçin.

  11. Verilerin Data Lake Storage 2. Nesil hesabınıza kopyalandığını doğrulayın.

İlgili içerik