Hızlı Başlangıç: Azure Data Factory kullanıcı arabirimini kullanarak bir veri fabrikası oluşturma

AŞAĞıDAKILER IÇIN GEÇERLIDIR: Azure Data Factory Azure Synapse Analytics

Bu hızlı başlangıçta, Azure Data Factory UI kullanarak veri fabrikasını oluşturma ve izleme işlemi açıklanır. Bu veri fabrikasında oluşturduğunuz işlem hattı, verileri Azure Blob depolama alanındaki bir klasörden başka bir klasöre kopyalar. Verileri veri akışı kullanarak Azure Data Factory için bkz. Eşleme veri akışı.

Önkoşullar

Azure aboneliği

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Azure rolleri

Data Factory örnekleri oluşturmak için, Azure’da oturum açarken kullandığınız kullanıcı hesabı, katkıda bulunan, sahip veya yönetici rollerinin üyesi ya da bir Azure aboneliğinin yöneticisi olmalıdır. Abonelikte sahip olduğunuz izinleri görüntülemek için Azure Portalgidin, sağ üst köşedeki Kullanıcı adınızı seçin, daha fazla seçenek için "..." simgesini seçin ve sonra izinlerim' i seçin. Birden çok aboneliğe erişiminiz varsa uygun aboneliği seçin.

Data Factory için veri kümeleri, bağlı hizmetler, işlem hatları, tetikleyiciler ve tümleştirme çalışma zamanları gibi alt kaynaklar oluşturup yönetmek için aşağıdaki gereksinimlerin karşılanması gerekir:

• Azure portal alt kaynakları oluşturmak ve yönetmek için, kaynak grubu düzeyinde veya yukarıdaki Data Factory katkıda bulunan rolüne ait olmanız gerekir.
• PowerShell veya SDK ile alt öğe oluşturup yönetebilmek için kaynak düzeyinde katkıda bulunan rolü veya daha üst düzey bir rol yeterli olacaktır.

Kullanıcı rolü eklemeye ilişkin örnek yönergeler için Rol ekleme makalesine bakın.

Daha fazla bilgi için aşağıdaki makalelere bakın:

• Data Factory Katılımcısı rolü
• Azure Data Factory için roller ve izinler

Azure Storage hesabı

Bu hızlı başlangıçta, genel amaçlı bir Azure Depolama hesabını (özel olarak BLOB depolama) hem kaynak hem de hedef veri deposu olarak kullanırsınız. Genel amaçlı bir Azure depolama hesabınız yoksa, bir depolama hesabı oluşturmak için bkz. hesap oluşturma.

Depolama hesabı adını al

Bu hızlı başlangıç için Azure depolama hesabınızın adına ihtiyacınız vardır. Aşağıdaki yordam, depolama hesabınızın adını almak için gereken adımları sağlar:

1. Bir Web tarayıcısında Azure Portal gidin ve Azure Kullanıcı adınızı ve parolanızı kullanarak oturum açın.
2. Azure Portal menüsünde tüm hizmetler' i ve ardından depolama > depolama hesapları' nı seçin. Ayrıca, herhangi bir sayfadan depolama hesaplarını arayabilir ve seçebilirsiniz.
3. Depolama hesapları sayfasında, depolama hesabınız için filtre uygulayın (gerekirse) ve ardından depolama hesabınızı seçin.

Ayrıca, herhangi bir sayfadan depolama hesaplarını arayabilir ve seçebilirsiniz.

Blob kapsayıcısı oluşturma

Bu bölümde, Azure Blob depolama alanında adftutorial adlı bir blob kapsayıcısı oluşturursunuz.

1. Depolama hesabı sayfasında genel bakış > kapsayıcıları' nı seçin.

2. <Account name> - Kapsayıcılar sayfasının araç çubuğunda kapsayıcı' yı seçin.

3. Yeni kapsayıcı iletişim kutusunda ad olarak adftutorial girin ve ardından Tamam’ı seçin. <Account name> - Kapsayıcılar sayfası, kapsayıcılar listesinde adföğreticisi içerecek şekilde güncelleştirilir.

   

Blob kapsayıcısı için bir giriş klasörü ve dosyası ekleyin

Bu bölümde, oluşturduğunuz kapsayıcıda giriş adlı bir klasör oluşturur ve ardından giriş klasörüne örnek bir dosya yüklersiniz. Başlamadan önce, Not defteri gibi bir metin düzenleyicisini açın ve aşağıdaki içeriğe sahip emp.txt adlı bir dosya oluşturun:

John, Doe
Jane, Doe

Dosyayı C:\ADFv2QuickStartPSH klasörüne kaydedin. (Klasör zaten mevcut değilse, oluşturun.) Sonra Azure portal geri dönüp şu adımları izleyin:

1. Kaldığınız <Account name> - kapsayıcılar sayfasında, güncelleştirilmiş kapsayıcı listesinden adföğreticisi ' ni seçin.

   1. Pencereyi kapattıysanız veya başka bir sayfaya bir sorun yaşıyorsanız, Azure Portal yeniden oturum açın.
   2. Azure Portal menüsünde tüm hizmetler' i ve ardından depolama > depolama hesapları' nı seçin. Ayrıca, herhangi bir sayfadan depolama hesaplarını arayabilir ve seçebilirsiniz.
   3. Depolama hesabınızı seçin ve ardından kapsayıcılar > adföğreticisi' ni seçin.

2. Adföğreticisi kapsayıcı sayfasının araç çubuğunda karşıya yükle' yi seçin.

3. Blobu karşıya yükle sayfasında, dosyalar kutusunu seçin ve ardından emp.txt dosyasına gidin ve dosyayı seçin.

4. Gelişmiş başlık ' ı genişletin. Sayfa artık gösterildiği gibi görüntülenir:

   

5. Klasöre yükle kutusuna giriş' i girin.

6. Karşıya Yükle düğmesini seçin. Listede emp.txt dosyasını ve karşıya yükleme durumunu görmeniz gerekir.

7. BLOB yükle sayfasını kapatmak için Kapat simgesini (bir X) seçin.

Adföğreticisi kapsayıcı sayfasını açık tutun. Bu hızlı başlangıcın sonundaki çıktıyı doğrulamak için bu sayfayı kullanırsınız.

Video

Bu videoyu izlemeniz, Data Factory kullanıcı arabirimini anlamanıza yardımcı olur:

Veri fabrikası oluşturma

1. Microsoft Edge veya Google Chrome web tarayıcısını açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.

2. Azure Portal gidin.

3. Azure portalı menüsünden Kaynak oluştur'u seçin.

4. Tümleştirme'yi ve ardından 'ı Data Factory.

   

5. Veri Data Factory sayfasındaki Temel Bilgiler sekmesinde, veri fabrikasını oluşturmak istediğiniz Azure Aboneliğinizi seçin.

6. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

   a. Açılan listeden var olan bir kaynak grubunu seçin.

   b. Yeni oluştur'ı seçin ve yeni bir kaynak grubunun adını girin.

   Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

7. Bölge için veri fabrikasının konumunu seçin.

   Listede yalnızca Data Factory tarafından desteklenen ve Azure Data Factory meta verilerinizin depolanacağı konumlar gösterilir. Bu veri depoları (Azure Depolama Azure SQL Veritabanı gibi) ve diğer bölgelerde Azure HDInsight Data Factory işlem çalıştırabilirsiniz.

8. Ad alanına ADFTutorialDataFactory girin. Azure veri fabrikasının adı genel olarak benzersiz olmalıdır. Aşağıdaki hatayı görüyorsanız veri fabrikasının adını (örneğin adınız < > ADFTutorialDataFactory) değiştirerek oluşturmayı yeniden deneyin. Data Factory yapıtlarının adlandırma kuralları için Data Factory - adlandırma kuralları makalesini inceleyin.

   

9. Sürüm bölümünde V2'yi seçin.

10. Sonraki: Git yapılandırması'nın ardından Git'i daha sonra yapılandır onay kutusunu seçin.

11. Gözden geçir + oluştur'a ve doğrulamadan sonra Oluştur'a seçin. Oluşturma işlemi tamamlandıktan sonra Kaynağa git'i seçerek Data Factory gidin.

12. Azure Data Factory kullanıcı arabirimi (UI) uygulamasını ayrı bir tarayıcı sekmesinde başlatmak için Open Azure Data Factory Studio kutucuğunu aç'ı seçin.

    

    Not

    Web tarayıcısının "Yetkilendirme" konusunda takılı olduğunu görüyorsanız Üçüncü taraf tanımlama bilgilerini ve site verilerini engelle onay kutusunun işaretini kaldırın. Veya seçili tutma, uygulama için bir özel login.microsoftonline.com oluşturun ve uygulamayı yeniden açmayı deneyin.

Bağlı hizmet oluşturma

Bu yordamda, Azure Depolama hesabını veri fabrikasına Depolama bağlı bir hizmet oluşturacağız. Bağlı hizmetler, Data Factory hizmetinin bunlara bağlanmak için çalışma zamanında kullandığı bağlantı bilgilerini içerir.

1. Kullanıcı arabirimi Azure Data Factory sol bölmeden Yönet sekmesini açın.

2. Bağlı hizmetler sayfasında +Yeni'yi seçerek yeni bir bağlı hizmet oluşturun.

   

3. Yeni Bağlı Hizmet sayfasında Azure Blob Depolama’yı seçip Devam’ı seçin.

4. Yeni Bağlı Hizmet (Azure Blob Depolama) sayfasında aşağıdaki adımları tamamlayın:

   a. Ad için AzureStorageLinkedService adını girin.

   b. Hesap Depolama için Azure Depolama seçin.

   c. Data Factory hizmetinin depolama hesabına bağlanabildiğini onaylamak için Bağlantıyı sına'yı seçin.

   d. Bağlı hizmeti kaydetmek için Oluştur'a tıklayın.

   

Veri kümeleri oluşturma

Bu yordamda iki veri kümesi oluşturursunuz: InputDataset ve OutputDataset. Bu veri kümeleri AzureBlob türündedir. Bunlar, önceki bölümde oluşturduğunuz Azure Depolama bağlı hizmetine başvurur.

Giriş veri kümesi, giriş klasöründeki kaynak verileri temsil eder. Giriş veri kümesi tanımında, kaynak verileri içeren blob kapsayıcısını (adftutorial), klasörü (input) ve dosyayı (emp.txt) belirtirsiniz.

Çıkış veri kümesi hedefe kopyalanan verileri temsil eder. Çıkış veri kümesi tanımında, verilerin kopyalandığı blob kapsayıcısını (adftutorial), klasörü (output) ve dosyayı belirtirsiniz. Bir işlem hattının her çalıştırmasıyla ilişkili benzersiz bir Kimlik vardır. Bu kimliğe RunId sistem değişkenini kullanarak erişebilirsiniz. Çıkış dosyasının adı, işlem hattının çalıştırma kimliği temelinde dinamik olarak belirlenir.

Bağlı hizmet ayarlarında, kaynak verileri içeren Azure Depolama hesabını belirttiniz. Kaynak veri kümesi ayarlarında, kaynak verilerin tam olarak nerede durduğunu (blob kapsayıcısı, klasör ve dosya) belirtirsiniz. Havuz veri kümesi ayarlarında, verilerin nereye kopyalandığını (blob kapsayıcısı, klasör ve dosya) belirtirsiniz.

1. Sol bölmeden Yazar sekmesini seçin.

2. +(artı) düğmesini ve ardından Veri Kümesi'ne tıklayın.

   

3. Yeni Veri Kümesi sayfasında Azure Blob depolama alanı'Depolama ve ardından Devam'ı seçin.

4. Biçim Seç sayfasında verilerinizin biçim türünü ve ardından Devam'ı seçin. Bu durumda, içeriği ayrıştırmadan dosyaları olduğu gibi kopyalayıp İkili'yi seçin.

   

5. Özellikleri Ayarla sayfasında aşağıdaki adımları tamamlayın:

   a. Ad alanına InputDataset girin.

   b. Bağlı hizmet için AzureStorageLinkedService hizmetini seçin.

   c. Dosya yolu için Gözat düğmesini seçin.

   d. Dosya veya klasör seçin penceresinde, adftutorial kapsayıcısı içinde giriş klasörüne gidin, emp.txt dosyasını seçin ve tamam'ı seçin.

   e. Tamam’ı seçin.

   

6. Çıktı veri kümesini oluşturmak için adımları yineleyin:

   a. +(artı) düğmesini ve ardından Veri Kümesi'ne tıklayın.

   b. Yeni Veri Kümesi sayfasında Azure Blob depolama alanı'Depolama ve ardından Devam'ı seçin.

   c. Biçim Seç sayfasında verilerinizin biçim türünü ve ardından Devam'ı seçin.

   d. Özellikleri Ayarla sayfasında ad için OutputDataset belirtin. Bağlı hizmet olarak AzureStorageLinkedService'i seçin.

   e. Dosya yolu'nun altına adftutorial/output girin. Çıkış klasörü yoksa kopyalama etkinliği çalışma zamanında klasörü oluşturur.

   f. Tamam’ı seçin.

   

İşlem hattı oluşturma

Bu yordamda, giriş ve çıkış veri kümelerini kullanan kopyalama etkinliğiyle bir işlem hattı oluşturur ve doğrularsınız. Kopyalama etkinliği, giriş veri kümesi ayarlarında belirttiğiniz dosyadaki verileri çıkış veri kümesi ayarlarında belirttiğiniz dosyaya kopyalar. Giriş veri kümesi yalnızca bir klasörü belirtiyorsa (dosya adını belirtmiyorsa), kopyalama etkinliği kaynak klasördeki tüm dosyaları hedefe kopyalar.

1. +(artı) düğmesini ve ardından İşlem Hattı'ı seçin.

2. Özellikler'in altındaki Genel panelinde Ad için CopyPipeline belirtin. Ardından sağ üst köşedeki Özellikler simgesine tıklayarak paneli daraltın.

3. Etkinlikler araç kutusunda Taşı ve Dönüştür’ü genişletin. Etkinlik Veri Kopyalama araç kutusundan işlem hattı tasarımcısının yüzeyine sürükleyin. Ayrıca, Etkinlikler araç kutusunda etkinlikler için arama yapabilirsiniz. Ad için CopyFromBlobToBlob adını belirtin.

   

4. Kopyalama etkinliği ayarlarında Kaynak sekmesine geçin ve Kaynak Veri Kümesi olarak InputDataset öğesini seçin.

5. Kopyalama etkinliği ayarlarında Kaynak sekmesine geçin ve Havuz Veri Kümesi olarak OutputDataset öğesini seçin.

6. İşlem hattı ayarlarını doğrulamak için işlem hattı araç çubuğunda Doğrula'ya tıklayın. İşlem hattının başarıyla doğrulandığını onaylayın. Doğrulama çıkışını kapatmak için sağ üst köşedeki Doğrulama düğmesini seçin.

   

İşlem hattında hata ayıklama

Bu adımda, işlem hattını Data Factory'de dağıtmadan önce hata ayıklama yaparsınız.

1. Tuvalin üzerindeki işlem hattı araç çubuğunun üzerinde Hata Ayıkla'ya tıklayarak test çalıştırması tetikleyin.

2. Alt kısımdaki işlem hattı ayarlarının Çıktı sekmesinde işlem hattı çalıştırmasının durumunu gördüğünüzü onaylayın.

   

3. adftutorial kapsayıcısının output klasöründe bir çıkış dosyası gördüğünüzü onaylayın. Çıkış klasörü yoksa, Data Factory otomatik olarak oluşturur.

İşlem hattını el ile tetikleme

Bu yordamda, varlıkları (bağlı hizmetler, veri kümeleri, işlem hatları) Azure Data Factory'ye dağıtırsınız. Ardından, işlem hattı çalıştırmasını el ile tetiklersiniz.

1. Bir işlem hattını tetiklemeden önce varlıkları Data Factory'de yayımlamanız gerekir. Yayımlamak için üst kısmından Hepsini yayımla'yı seçin.

   

2. İşlem hattını el ile tetiklemek için işlem hattı araç çubuğunda Tetikleyici Ekle'yi ve ardından Şimdi Tetikle'yi seçin. İşlem hattı çalıştırma sayfasında Tamam'ı seçin.

İşlem hattını izleme

1. Soldaki İzleyici sekmesine geçin. Listeyi yenilemek için Yenile düğmesini kullanın.

   

2. CopyPipeline bağlantısını seçin; kopyalama etkinliğinin durumunu bu sayfada görebilirsiniz.

3. Kopyalama işlemiyle ilgili ayrıntıları görüntülemek için Ayrıntılar (gözlük resmi) bağlantısını seçin. Özelliklerle ilgili ayrıntılar için bkz. Kopyalama Etkinliğine genel bakış.

   

4. Çıkış klasöründe yeni bir dosya gördüğünüzü onaylayın.

5. Tüm işlem hattı çalıştırmaları bağlantısını seçerek Etkinlik çalıştırmaları görünümünden İşlem hattı çalıştırmaları görünümüne geri dönebilirsiniz.

İşlem hattını bir zamanlamaya göre tetikleme

Bu yordamda bu adım isteğe bağlıdır. İşlem hattını düzenli aralıklarla (saatlik, günlük, vb.) çalıştırılacak şekilde zamanlamak için bir zamanlayıcı tetikleyicisi oluşturabilirsiniz. Bu yordamda, belirttiğiniz bitiş tarihine ve saatine kadar her dakika çalıştırılacak bir tetikleyici oluşturursunuz.

1. Yazar sekmesine geçin.

2. İşlem hattınıza gidin, işlem hattı araç çubuğunda Tetikleyici Ekle'yi ve ardından Yeni/Düzenle'yi seçin.

3. Tetikleyici Ekle sayfasında Tetikleyici seç’i ve sonra Yeni’yi seçin.

4. Yeni Tetikleyici sayfasında, Bitiş altında, Tarih'i seçin, geçerli tarihten birkaç dakika sonra bir bitiş zamanı belirtin ve tamam'ı seçin.

   Her işlem hattı çalıştırmasının bir maliyeti olduğundan, bitiş saati olarak başlangıç saatinden yalnızca birkaç dakika sonrasını belirtin. Bunun aynı güne ait olduğundan emin olun. Ancak, yayımlama zamanı ile bitiş zamanı arasında işlem hattının çalışması için yeterli zaman olduğundan emin olur. Tetikleyici siz çözümü kullanıcı arabiriminde kaydettiğinizde değil ancak Data Factory'de yayımladığınızda devreye girer.

5. Yeni Tetikleyici sayfasında Etkinleştirildi onay kutusunu ve ardından Tamam'ı seçin.

   

6. Uyarı iletiyi gözden geçirerek Tamam'ı seçin.

7. Değişiklikleri yayımlamak için Hepsini yayımla'yı Data Factory.

8. Soldaki İzleyici sekmesine geçin. Listeyi yenilemek için Yenile’yi seçin. İşlem hattının yayımlama saatinden bitiş saatine kadar dakikada bir çalıştırıldığını görürsünüz.

   TRIGGERED BY sütunundaki değerlere dikkat eder. El ile tetikleyici çalıştırması daha önce uyguladığınız bir adıma (Şimdi Tetikle) aittir.

9. Tetikleyici çalıştırmaları görünümüne geçiş.

10. Çıktı klasöründe belirtilen son tarih ve saate kadar her işlem hattı çalıştırması için bir çıktı dosyası oluşturulduğunu onaylayın.

Sonraki adımlar

Bu örnekteki işlem hattı, verileri bir konumdan Azure Blob depolama alanındaki başka bir konuma kopyalar. Data Factory’yi daha fazla senaryoda kullanma hakkında bilgi almak için öğreticileri okuyun.