Azure Data Factory ile Azure Data Lake Depolama 2. Nesil'e veri Azure Data Factory
Uygulama hedefi: 
Azure SYNAPSE Analytics 'i Azure Data Factory
Azure Data Lake Depolama 2. Nesil, Azure Blob depolama alanında yerleşik olarak yer alan büyük veri analizine ayrılmış bir özellik kümesidir. Hem dosya sistemi hem de nesne depolama paradigmalarını kullanarak verilerinizle arabirim oluşturmanızı sağlar.
Azure Data Factory (ADF), tam olarak yönetilen bir bulut tabanlı veri tümleştirme hizmetidir. Hizmeti kullanarak gölü zengin bir şirket içi ve bulut tabanlı veri depolarından gelen verilerle doldurmak ve analiz çözümlerinizi hazırlarken zamandan tasarruf etmek için kullanabilirsiniz. Desteklenen bağlayıcıların ayrıntılı listesi için Desteklenen veri depoları tablosuna bakın.
Azure Data Factory, ölçek ölçeğini ölçeklendiren, yönetilen bir veri taşıma çözümü sunar. ADF'nin ölçeğini artıran mimarisi nedeniyle verileri yüksek aktarım hızıyla alabilirsiniz. Ayrıntılar için bkz. Kopyalama etkinliği.
Bu makalede, Data Factory Veri Kopyalama S3 hizmetlerinden Azure Data Lake Amazon Web Services 2. Nesil'e veri yüklemek için Depolama kullanılır. Diğer veri depoları türlerinden veri kopyalamak için benzer adımları takip edin.
İpucu
Azure Data Lake Depolama 1. Nesil'den 2. Nesil'e veri kopyalamak için bu kılavuza bakın.
Önkoşullar
- Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
- Data Lake Depolama 2. Nesil'Depolama Azure Depolama hesabı: Depolama hesabınız yoksa bir hesap oluşturun.
- Veri içeren bir S3 demeti olan AWS hesabı: Bu makalede, Amazon S3'te verilerin nasıl kopyalan olduğu açıklanmıştır. Benzer adımları kullanarak diğer veri depolarını kullanabilirsiniz.
Veri fabrikası oluşturma
Sol menüde Kaynak oluştur Tümleştirmesi'Data Factory: > >
Yeni veri fabrikası sayfasında aşağıdaki alanlar için değerler girin:
- Ad: Azure veri fabrikanız için genel olarak benzersiz bir ad girin. "YourDataFactoryName veri fabrikası adı kullanılamıyor" hatasını alırsanız, veri fabrikası için farklı bir ad girin. Örneğin, adınız __ADFTutorialDataFactory adını kullanabilirsiniz. Veri fabrikasını oluşturmayı yeniden deneyin. Data Factory yapıtlarını adlandırma kuralları için bkz. Data Factory adlandırma kuralları.
- Abonelik: Veri fabrikasının oluşturularak Azure aboneliğinizi seçin.
- Kaynak Grubu: Açılan listeden mevcut bir kaynak grubunu seçin veya Yeni oluştur seçeneğini belirleyin ve kaynak grubunun adını girin. Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
- Sürüm: V2'yi seçin.
- Konum: Veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları başka konumlarda ve bölgelerde olabilir.
Oluştur’u seçin.
Oluşturma işlemi tamamlandıktan sonra veri fabrikanıza gidin. Aşağıdaki görüntüde Data Factory giriş sayfasını görebilirsiniz:
Veri Tümleştirme Uygulamasını ayrı bir sekmede başlatmak için Open Azure Data Factory Studio kutucuğunu aç'ı seçin.
Azure Data Lake Storage 2. Nesil'e verileri yükleme
Uygulamanın giriş sayfasında Azure Data Factory kutucuğunu seçerek veri Veri Kopyalama başlatabilirsiniz.
Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ne tıklayın ve Görev temposuz veya görev zamanlaması altında Şimdi bir kez çalıştır'ı ve ardından Sonraki'yi seçin.
Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:
+ Yeni bağlantı'ya seçin. Bağlayıcı galerisinden Amazon S3'ü ve ardından Devam'ı seçin.
Yeni bağlantı (Amazon S3) sayfasında aşağıdaki adımları uygulayın:
- Erişim Anahtarı Kimliği değerini belirtin.
- Gizli Erişim Anahtarı değerini belirtin.
- Ayarları doğrulamak için Bağlantıyı sına'ya ve ardından Oluştur'a tıklayın.
Kaynak veri deposu sayfasında, Bağlantı bloğunda yeni oluşturulan Amazon S3 bağlantısının seçildiğinden emin olun.
Dosya veya klasör bölümünde, kopyalamak istediğiniz klasöre ve dosyaya göz atabilirsiniz. Klasörü/dosyayı ve ardından Tamam'ı seçin.
Recursively ve İkili kopyalama seçeneklerini kontrol ederek kopyalama davranışını belirtin. İleri’yi seçin.
Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın.
+ Yeni bağlantı'ya ve ardından Azure Data Lake Depolama 2. Nesil'i seçin ve Devam'ı seçin.
Yeni bağlantı (Azure Data Lake Depolama 2. Nesil) sayfasında, "Depolama hesap adı" açılan listesinden Data Lake Depolama 2. Nesil özellikli hesabı seçin ve bağlantıyı oluşturmak için Oluştur'a tıklayın.
Hedef veri deposu sayfasında Bağlantı bloğunda yeni oluşturulan bağlantıyı seçin. Ardından Klasör yolu'nın altına çıkış klasörü adı olarak copyfroms3 yazın ve Sonraki'yi seçin. ADF, mevcut ADLS 2. Nesil sırasında ilgili dosya sistemini ve alt klasörleri oluşturacak.
Bu Ayarlar, Görev adı alanı olarak CopyFromAmazonS3ToADLS belirtin ve varsayılan ayarları kullanmak için Sonraki'yi seçin.
Özet sayfasında, ayarları gözden geçirerek Sonraki'yi seçin.
Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.
İşlem hattı çalıştırması başarıyla tamamlandığında, el ile tetikleyici tarafından tetiklenen bir işlem hattı çalıştırması görüyorsunuz. Etkinlik ayrıntılarını görüntülemek ve işlem hattını yeniden çalıştırmak için İşlem hattı adı sütunundaki bağlantıları kullanabilirsiniz.
İşlem hattı çalıştırması ile ilişkili etkinlik çalıştırmalarını görmek için İşlem hattı adı sütunlarının altındaki CopyFromAmazonS3ToADLS bağlantısını seçin. Kopyalama işlemiyle ilgili ayrıntılar için Etkinlik adı sütununu altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Kaynaktan havuza kopyalanan veri hacmi, veri aktarım hızı, karşılık gelen süreye sahip yürütme adımları ve kullanılan yapılandırma gibi ayrıntıları izleyebilirsiniz.
Görünümü yenilemek için Yenile’yi seçin. Üst kısmından Tüm işlem hattı çalıştırmaları'ı seçerek "İşlem hattı çalıştırmaları" görünümüne geri gidin.
Verilerin Data Lake Depolama 2. Nesil hesabınıza kopyalanmış olduğunu doğrulayın.