Azure Data Factory kullanarak Azure Data Lake Storage 1. verileri yükleme

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

Azure Data Lake Storage 1. (daha önce Azure Data Lake Store olarak bilinir), büyük veri analizi iş yükleri için kurumsal çapta bir hiper ölçek deposudur. Data Lake Storage 1., herhangi bir boyut, tür ve Alım hızında veri yakalamanızı sağlar. Veriler, işletimsel ve keşif analizlerinin tek bir yerinde yakalanır.

Azure Data Factory, tam olarak yönetilen bulut tabanlı bir veri tümleştirme hizmetidir. Bu hizmeti kullanarak Gölü verileri mevcut sisteminizdeki verilerle doldurabilir ve analiz çözümlerinizi oluştururken zamandan tasarruf edebilirsiniz.

Azure Data Factory, verileri Data Lake Storage 1. yüklemek için aşağıdaki avantajları sunmaktadır:

  • Kolayca ayarlanabilir: komut dosyası gerekmeden sezgisel 5 adımlı bir sihirbaz.
  • Zengin veri deposu desteği: zengin bir şirket içi ve bulut tabanlı veri deposu kümesi için yerleşik destek. Ayrıntılı bir liste için desteklenen veri depolarıtablosuna bakın.
  • Güvenli ve uyumlu: veriler HTTPS veya ExpressRoute üzerinden aktarılır. Küresel hizmet varlığı, verilerinizin hiçbir şekilde coğrafi sınır bırakmamasını sağlar.
  • Yüksek performans: en fazla 1 GB/sn veri yükleme hızı Data Lake Storage 1.. Ayrıntılar için bkz. etkinlik performansını kopyalama.

Bu makalede, Data Factory Veri Kopyalama aracının, Amazon S3 'ten Data Lake Storage 1. 'a veri yüklemek için nasıl kullanılacağı gösterilmektedir. Diğer veri deposu türlerinden veri kopyalamak için benzer adımları izleyebilirsiniz.

Önkoşullar

  • Azure aboneliği: bir Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
  • Data Lake Storage 1. Nesil hesabı: Bir Data Lake Storage 1. Nesil hesabınız yoksa, Hesap oluşturma Data Lake Storage 1. Nesil bakın.
  • Amazon S3: Bu makalede, Amazon S3'te verileri kopyalama hakkında bilgi ve bilgiler ve bilgiler yer alanmıştır. Benzer adımları takip edin ve diğer veri depolarını kullanabilirsiniz.

Veri fabrikası oluşturma

  1. Sol menüde Kaynak oluştur Analytics'i seçin > ve > Data Factory:

    “Yeni” bölmesinde Data Factory seçimi

  2. Yeni veri fabrikası sayfasında, aşağıdaki görüntüde gösterilen alanların değerlerini girin:

    Yeni veri fabrikası sayfası

    • Ad: Azure veri fabrikanız için genel olarak benzersiz bir ad girin. "LoadADLSG1Demo veri fabrikası adı kullanılamıyor" hatasını alırsanız veri fabrikası " için farklı bir ad " girin. Örneğin, adınız __ADFTutorialDataFactory adını kullanabilirsiniz. Veri fabrikasını oluşturmayı yeniden deneyin. Data Factory yapıtlarını adlandırma kuralları için bkz. Data Factory adlandırma kuralları.
    • Abonelik: Veri fabrikasının oluşturularak Azure aboneliğinizi seçin.
    • Kaynak Grubu: Açılan listeden mevcut bir kaynak grubunu seçin veya Yeni oluştur seçeneğini belirleyin ve kaynak grubunun adını girin. Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
    • Sürüm: V2'yi seçin.
    • Konum: Veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları başka konumlarda ve bölgelerde olabilir. Bu veri depoları Azure Data Lake Storage 1. Nesil, Azure Depolama, Azure SQL Veritabanı gibi verileri içerir.
  3. Oluştur’u seçin.

  4. Oluşturma işlemi tamamlandıktan sonra veri fabrikanıza gidin. Aşağıdaki görüntüde Data Factory giriş sayfasını görebilirsiniz:

    Data factory giriş sayfası

    Veri Tümleştirme Uygulamasını ayrı bir sekmede açmak için Oluştur ve İzle kutucuğunu seçin.

Verileri Data Lake Storage 1. Nesil

  1. Kullanmaya başlayın sayfasında, Veri Kopyalama aracını başlatmak için Veri Kopyalama seçin:

    Veri Kopyalama aracının kutucuğu

  2. Özellikler sayfasında, Görev adı alanı için CopyFromAmazonS3ToADLS'yi belirtin ve Ardından'ı seçin:

    Özellikler sayfası

  3. Kaynak veri deposu sayfasında + Yeni bağlantı oluştur'a tıklayın:

    Kaynak veri deposu sayfası

    Amazon S3'ü ve ardından Devam'ı seçin

    Kaynak veri deposu s3 sayfası

  4. Amazon S3 bağlantısını belirtin sayfasında aşağıdaki adımları uygulayın:

    1. Erişim Anahtarı Kimliği değerini belirtin.

    2. Gizli Erişim Anahtarı değerini belirtin.

    3. Son'u seçin.

      Değerleri girebilirsiniz Yeni Bağlı Hizmet bölmesini gösteren ekran görüntüsü.

    4. Yeni bir bağlantıyla karşınız olur. İleri’yi seçin.

    Yeni bağlantınızı gösteren ekran görüntüsü.

  5. Giriş dosyasını veya klasörünü seçin sayfasında, üzerine kopyalamak istediğiniz klasöre ve dosyaya göz atın. Klasörü/dosyayı seçin, Seç'i ve ardından Sonraki'yi seçin:

    Girdi dosyasını veya klasörünü seçin

  6. Dosyaları tekrarlı olarak kopyala ve İkili kopya (dosyaları olduğu gibi kopyala) seçeneklerini kullanarak kopyalama davranışını seçin. Sonraki:'yi seçin:

    Dosyayı tekrarlı olarak kopyala ve İkili Kopyala'yi seçerek giriş dosyasını veya klasörünü seçin seçeneğini gösteren ekran görüntüsü.

  7. Hedef veri deposu sayfasında + Yeni bağlantı oluştur'a tıklayın ve ardından Azure Data Lake Storage 1. Nesil'yi seçin ve Devam'ı seçin:

    Hedef veri deposu sayfası

  8. Yeni Bağlı Hizmet (Azure Data Lake Storage 1. Nesil) sayfasında aşağıdaki adımları uygulayın:

    1. Hesap Data Lake Storage 1. Nesil için Data Lake Store seçin.
    2. Kiracı 'yi belirtin ve Son'a seçin.
    3. İleri’yi seçin.

    Önemli

    Bu kılavuzda, Azure kaynaklarının yönetilen kimliğini kullanarak azure Data Lake Storage 1. Nesil doğrularsınız. Bu yönergeleri izleyerek MSI'ye uygun izinleri Data Lake Storage 1. Nesil emin olun.

    Hesap Data Lake Storage 1. Nesil belirtin

  9. Çıktı dosyasını veya klasörünü seçin sayfasında, çıktı klasörü adı olarak copyfroms3 girin ve Sonraki'yi seçin:

    Ekran görüntüsü girdiğiniz klasör yolunu gösterir.

  10. Ayarlar sayfasında, İleri' yi seçin:

    Ayarlar sayfası

  11. Özet sayfasında, ayarları gözden geçirin ve İleri' yi seçin:

    Özet sayfası

  12. Dağıtım sayfasında, işlem hattını (görev) Izlemek için izleyici ' yi seçin:

    Dağıtım sayfası

  13. Soldaki İzleyici sekmesinin otomatik olarak seçildiğine dikkat edin. Eylemler sütunu, etkinlik çalıştırma ayrıntılarını görüntüleme ve işlem hattını yeniden çalıştırma bağlantılarını içerir:

    İşlem hattı çalıştırmalarını izleme

  14. Işlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görüntülemek için Eylemler sütunundaki etkinlik çalıştırmalarını görüntüle bağlantısını seçin. İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan tek bir girdi görürsünüz. İşlem hattı çalıştırmaları görünümüne geri dönmek için üstteki işlem hatları bağlantısını seçin. Listeyi yenilemek için Yenile’yi seçin.

    Etkinlik çalıştırmalarını izleme

  15. Her kopyalama etkinliğinin yürütme ayrıntılarını izlemek için, etkinlik izleme görünümündeki Eylemler altında Ayrıntılar bağlantısını seçin. Kaynaktan havuza, veri işleme, karşılık gelen süre ile yürütme adımlarına ve kullanılan yapılandırmalara kadar olan veri hacmi gibi ayrıntıları izleyebilirsiniz:

    Etkinlik çalıştırma ayrıntılarını izle

  16. Verilerin Data Lake Storage 1. hesabınıza kopyalandığını doğrulayın:

    Çıktıyı Data Lake Storage 1. doğrulama

Sonraki adımlar

Data Lake Storage 1. desteği hakkında bilgi edinmek için aşağıdaki makaleye ilerleyin: