Veri Kopyalama aracını kullanarak bölümlenmiş zaman dosya adına göre yeni dosyaları artımlı olarak kopyalama

Makale
12/09/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, Azure portalını kullanarak bir veri fabrikası oluşturursunuz. Ardından Verileri Kopyala aracını kullanarak azure blob depolamadan Azure Blob depolamaya bölümlenmiş zaman dosya adına göre yeni dosyaları artımlı olarak kopyalayan bir işlem hattı oluşturursunuz.

Dekont

Azure Data Factory kullanmaya yeni başlıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

Veri fabrikası oluşturma.
Veri Kopyalama aracını kullanarak bir işlem hattı oluşturun.
İşlem hattı ve etkinlik çalıştırmalarını izleme.

Önkoşullar

Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Azure depolama hesabı: Blob depolamayı kaynak ve havuz veri deposu olarak kullanın. Azure depolama hesabınız yoksa Depolama hesabı oluşturma bölümündeki yönergelere bakın.

Blob depolamada iki kapsayıcı oluşturma

Bu adımları gerçekleştirerek Blob depolama alanınızı öğreticiye hazırlayın.

source adlı bir kapsayıcı oluşturun. Kapsayıcınızda 2021/07/15/06 olarak bir klasör yolu oluşturun. Boş bir metin dosyası oluşturun ve dosya1.txt olarak adlandırarak. Dosya1.txt dosyasını depolama hesabınızdaki kaynak/2021/07/15/06 klasör yoluna yükleyin. Bu görevleri Azure Depolama Gezgini gibi çeşitli araçlar kullanarak gerçekleştirebilirsiniz.

Dekont

Lütfen klasör adını UTC saatinizle ayarlayın. Örneğin, geçerli UTC saati 15 Temmuz 2021'de 06:10 ise, kaynak/{Year}/{Month}/{Day}/{Hour}/ kuralıyla klasör yolunu kaynak/2021/07/15/06/ olarak oluşturabilirsiniz.
destination adlı bir kapsayıcı oluşturun. Bu görevleri Azure Depolama Gezgini gibi çeşitli araçlar kullanarak gerçekleştirebilirsiniz.

Veri fabrikası oluşturma

Sol menüde Kaynak>oluştur Integration>Data Factory'yi seçin:
Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

Veri fabrikanızın adı genel olarak benzersiz olmalıdır. Aşağıdaki hata iletisini alabilirsiniz:

Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. Örneğin, adınızADFTutorialDataFactory adını kullanın. Data Factory yapıtlarını adlandırma kuralları için bkz. Data Factory adlandırma kuralları.
Yeni veri fabrikasının oluşturulacağı Azure aboneliğini seçin.
Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

a. Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.

b. Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
Sürüm bölümünde V2'yi seçin.
Konum bölümünde veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikanız tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka konumlarda ve bölgelerde olabilir.
Oluştur’u seçin.
Oluşturma işlemi tamamlandıktan sonra Data Factory giriş sayfası görüntülenir.
Azure Data Factory kullanıcı arabirimini (UI) ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Veri Kopyalama aracını kullanarak işlem hattı oluşturma

Azure Data Factory giriş sayfasında Veri Kopyalama aracını başlatmak için Alma başlığını seçin.
Özellikler sayfasında aşağıdaki adımları izleyin:
1. Görev türü altında Yerleşik kopyalama görevi'ni seçin.
2. Görev temposu veya görev zamanlaması altında Atlayan pencere'yi seçin.
3. Yinelenme'nin altında 1 Saat girin.
4. İleri'yi seçin.
Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

a. Bağlantı eklemek için + Yeni bağlantı'ya tıklayın.

b. Galeriden Azure Blob Depolama'i ve ardından Devam'ı seçin.

c. Yeni bağlantı (Azure Blob Depolama) sayfasında bağlantı için bir ad girin. Azure aboneliğinizi seçin ve Depolama hesap adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin ve oluştur'u seçin.

d. Kaynak veri deposu sayfasında, Bağlan ion bölümünde yeni oluşturulan bağlantıyı seçin.

e. Dosya veya klasör bölümünde kaynak kapsayıcıya göz atın ve seçin, ardından Tamam'ı seçin.

f. Dosya yükleme davranışı'nın altında Artımlı yükleme: zaman bölümlenmiş klasör/dosya adları'yı seçin.

r. Dinamik klasör yolunu kaynak/{year}/{month}/{day}/{hour}/ olarak yazın ve aşağıdaki ekran görüntüsünde gösterildiği gibi biçimi değiştirin.

h. İkili kopya'yı işaretleyin ve İleri'yi seçin.
Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın:
1. Veri kaynağı deposuyla aynı depolama hesabı olan AzureBlob Depolama öğesini seçin.
2. Hedef klasöre göz atın ve seçin, ardından Tamam'ı seçin.
3. Dinamik klasör yolunu hedef/{year}/{month}/{day}/{hour}/ olarak yazın ve aşağıdaki ekran görüntüsünde gösterildiği gibi biçimi değiştirin.
4. İleri'yi seçin.
Ayarlar sayfasında, Görev adı'nın altında DeltaCopyFromBlobPipeline yazın ve İleri'yi seçin. Data Factory kullanıcı arabirimi, belirtilen görev adına sahip bir işlem hattı oluşturur.
Özet sayfasında ayarları gözden geçirin ve İleri’yi seçin.
Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.
Soldaki İzleyici sekmesinin otomatik olarak seçildiğine dikkat edin. İşlem hattının otomatik olarak tetiklendiğinde (yaklaşık bir saat sonra) çalıştırılmasını beklemeniz gerekir. Çalıştığında, etkinlik çalıştırması ayrıntılarını görüntülemek veya işlem hattını yeniden çalıştırmak için DeltaCopyFromBlobPipeline işlem hattı adı bağlantısını seçin. Listeyi yenilemek için Yenile’yi seçin.
İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan tek bir girdi görürsünüz. Daha fazla ayrıntı görüntülemek için Kaynak ve Hedef sütunlarının sütun genişliğini ayarlayın (gerekirse), kaynak dosyanın (dosya1.txt) kaynaktan/2021/07/15/06/ hedeften 2021/07/15/06/ hedefine aynı dosya adıyla kopyalandığını görebilirsiniz.

Dosyaları taramak için Azure Depolama Gezgini (https://storageexplorer.com/) kullanarak da aynı doğrulamayı yapabilirsiniz.
Yeni adı file2.txt olan başka bir boş metin dosyası oluşturun. file2.txt dosyasını depolama hesabınızdaki kaynak/2021/07/15/07 klasör yoluna yükleyin. Bu görevleri Azure Depolama Gezgini gibi çeşitli araçlar kullanarak gerçekleştirebilirsiniz.

Dekont

Yeni bir klasör yolunun oluşturulması gerektiğinin farkında olabilirsiniz. Lütfen klasör adını UTC saatinizle ayarlayın. Örneğin, geçerli UTC saati Temmuz'da 07:30 ise. 15. yıl, 2021, {Year}/{Month}/{Day}/{Hour}/ kuralına göre klasör yolunu kaynak/2021/07/15/07/ olarak oluşturabilirsiniz.
İşlem hattı çalıştırmaları görünümüne dönmek için Tüm işlem hatları çalışır'ı seçin ve bir saat sonra aynı işlem hattının otomatik olarak yeniden tetiklenmesini bekleyin.
Geldiğinde ikinci işlem hattı çalıştırması için yeni DeltaCopyFromBlobPipeline bağlantısını seçin ve ayrıntıları gözden geçirmek için aynı işlemi yapın. Kaynak dosyanın (file2.txt) kaynak/2021/07/15/07/2021/07/15/07/ hedefine aynı dosya adıyla kopyalandığını görürsünüz. Hedef kapsayıcıdaki dosyaları taramak için Azure Depolama Gezgini (https://storageexplorer.com/) kullanarak da aynı doğrulamayı yapabilirsiniz.