Azure Data Factory ile Azure Data Lake Depolama 2. Nesil'e veri Azure Data Factory

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Azure Data Lake Depolama 2. Nesil, Azure Blob depolama alanında yerleşik olarak yer alan büyük veri analizine ayrılmış bir özellik kümesidir. Hem dosya sistemi hem de nesne depolama paradigmalarını kullanarak verilerinizle arabirim oluşturmanızı sağlar.

Azure Data Factory (ADF), tam olarak yönetilen bir bulut tabanlı veri tümleştirme hizmetidir. Hizmeti kullanarak gölü zengin bir şirket içi ve bulut tabanlı veri depolarından gelen verilerle doldurmak ve analiz çözümlerinizi hazırlarken zamandan tasarruf etmek için kullanabilirsiniz. Desteklenen bağlayıcıların ayrıntılı listesi için Desteklenen veri depoları tablosuna bakın.

Azure Data Factory, ölçek ölçeğini ölçeklendiren, yönetilen bir veri taşıma çözümü sunar. ADF'nin ölçeğini artıran mimarisi nedeniyle verileri yüksek aktarım hızıyla alabilirsiniz. Ayrıntılar için bkz. Kopyalama etkinliği.

Bu makalede, Data Factory Veri Kopyalama S3 hizmetlerinden Azure Data Lake Amazon Web Services 2. Nesil'e veri yüklemek için Depolama kullanılır. Diğer veri depoları türlerinden veri kopyalamak için benzer adımları takip edin.

İpucu

Azure Data Lake Depolama 1. Nesil'den 2. Nesil'e veri kopyalamak için bu kılavuza bakın.

Önkoşullar

  • Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
  • Data Lake Depolama 2. Nesil'Depolama Azure Depolama hesabı: Depolama hesabınız yoksa bir hesap oluşturun.
  • Veri içeren bir S3 demeti olan AWS hesabı: Bu makalede, Amazon S3'te verilerin nasıl kopyalan olduğu açıklanmıştır. Benzer adımları kullanarak diğer veri depolarını kullanabilirsiniz.

Veri fabrikası oluşturma

  1. Sol menüde Kaynak oluştur Tümleştirmesi'Data Factory: > >

    Data Factory bölmesinde seçim " " yapın

  2. Yeni veri fabrikası sayfasında aşağıdaki alanlar için değerler girin:

    • Ad: Azure veri fabrikanız için genel olarak benzersiz bir ad girin. "YourDataFactoryName veri fabrikası adı kullanılamıyor" hatasını alırsanız, veri fabrikası için farklı bir ad girin. Örneğin, adınız __ADFTutorialDataFactory adını kullanabilirsiniz. Veri fabrikasını oluşturmayı yeniden deneyin. Data Factory yapıtlarını adlandırma kuralları için bkz. Data Factory adlandırma kuralları.
    • Abonelik: Veri fabrikasının oluşturularak Azure aboneliğinizi seçin.
    • Kaynak Grubu: Açılan listeden mevcut bir kaynak grubunu seçin veya Yeni oluştur seçeneğini belirleyin ve kaynak grubunun adını girin. Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
    • Sürüm: V2'yi seçin.
    • Konum: Veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları başka konumlarda ve bölgelerde olabilir.
  3. Oluştur’u seçin.

  4. Oluşturma işlemi tamamlandıktan sonra veri fabrikanıza gidin. Aşağıdaki görüntüde Data Factory giriş sayfasını görebilirsiniz:

    Azure Data Factory Studio kutucuğunun yer Azure Data Factory giriş sayfası.

    Veri Tümleştirme Uygulamasını ayrı bir sekmede başlatmak için Open Azure Data Factory Studio kutucuğunu aç'ı seçin.

Azure Data Lake Storage 2. Nesil'e verileri yükleme

  1. Uygulamanın giriş sayfasında Azure Data Factory kutucuğunu seçerek veri Veri Kopyalama başlatabilirsiniz.

  2. Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ne tıklayın ve Görev temposuz veya görev zamanlaması altında Şimdi bir kez çalıştır'ı ve ardından Sonraki'yi seçin.

    Özellikler sayfası

  3. Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

    1. + Yeni bağlantı'ya seçin. Bağlayıcı galerisinden Amazon S3'ü ve ardından Devam'ı seçin.

      Kaynak veri deposu s3 sayfası

    2. Yeni bağlantı (Amazon S3) sayfasında aşağıdaki adımları uygulayın:

      1. Erişim Anahtarı Kimliği değerini belirtin.
      2. Gizli Erişim Anahtarı değerini belirtin.
      3. Ayarları doğrulamak için Bağlantıyı sına'ya ve ardından Oluştur'a tıklayın.

      Amazon S3 hesabını belirtme

    3. Kaynak veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan Amazon S3 bağlantısının seçildiğinden emin olun.

    4. Dosya veya klasör bölümünde, kopyalamak istediğiniz klasöre ve dosyaya göz atabilirsiniz. Klasörü/dosyayı ve ardından Tamam'ı seçin.

    5. Recursively ve İkili kopyalama seçeneklerini kontrol ederek kopyalama davranışını belirtin. İleri’yi seçin.

    Kaynak veri deposu sayfasını gösteren ekran görüntüsü.

  4. Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın.

    1. + Yeni bağlantı'ya ve ardından Azure Data Lake Depolama 2. Nesil'i seçin ve Devam'ı seçin.

      Hedef veri deposu sayfası

    2. Yeni bağlantı (Azure Data Lake Depolama 2. Nesil) sayfasında, "Depolama hesap adı" açılan listesinden Data Lake Depolama 2. Nesil özellikli hesabı seçin ve bağlantıyı oluşturmak için Oluştur'a tıklayın.

      Azure Data Lake Depolama 2. Nesil hesabını belirtme

    3. Hedef veri deposu sayfasında Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin. Ardından Klasör yolu'nın altına çıkış klasörü adı olarak copyfroms3 yazın ve Sonraki'yi seçin. ADF, mevcut ADLS 2. Nesil sırasında ilgili dosya sistemini ve alt klasörleri oluşturacak.

      Hedef veri deposu sayfasını gösteren ekran görüntüsü.

  5. Bu Ayarlar, Görev adı alanı olarak CopyFromAmazonS3ToADLS belirtin ve varsayılan ayarları kullanmak için Sonraki'yi seçin.

    Ayarlar sayfası

  6. Özet sayfasında, ayarları gözden geçirerek Sonraki'yi seçin.

    Özet sayfası

  7. Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.

  8. İşlem hattı çalıştırması başarıyla tamamlandığında, el ile tetikleyici tarafından tetiklenen bir işlem hattı çalıştırması görüyorsunuz. Etkinlik ayrıntılarını görüntülemek ve işlem hattını yeniden çalıştırmak için İşlem hattı adı sütunundaki bağlantıları kullanabilirsiniz.

    İşlem hattı çalıştırmalarını izleme

  9. İşlem hattı çalıştırması ile ilişkili etkinlik çalıştırmalarını görmek için İşlem hattı adı sütunlarının altındaki CopyFromAmazonS3ToADLS bağlantısını seçin. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik adı sütununu altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Kaynaktan havuza kopyalanan veri hacmi, veri aktarım hızı, karşılık gelen süreye sahip yürütme adımları ve kullanılan yapılandırma gibi ayrıntıları izleyebilirsiniz.

    Etkinlik çalıştırmalarını izleme

    Etkinlik çalıştırma ayrıntılarını izleme

  10. Görünümü yenilemek için Yenile’yi seçin. Üst kısmından Tüm işlem hattı çalıştırmaları'ı seçerek "İşlem hattı çalıştırmaları" görünümüne geri gidin.

  11. Verilerin Data Lake Depolama 2. Nesil hesabınıza kopyalanmış olduğunu doğrulayın.

Sonraki adımlar