Öğretici: Azure Data Factory kullanarak HDInsight 'ta isteğe bağlı Apache Hadoop kümeleri oluşturma

Bu öğreticide, isteğe bağlı olarak Azure HDInsight 'ta Azure Data Factory kullanarak Apache Hadoop kümesi oluşturmayı öğreneceksiniz. Daha sonra Azure Data Factory ' de veri işlem hatlarını kullanarak Hive işlerini çalıştırabilir ve kümeyi silebilirsiniz. Bu öğreticinin sonuna kadar, operationalize küme oluşturma, iş çalıştırma ve küme silme işlemlerinin zamanlamaya göre yapıldığı büyük bir veri işinin nasıl yapılacağını öğrenirsiniz.

Bu öğretici aşağıdaki görevleri kapsar:

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Önkoşullar

• PowerShell az Module yüklendi.

• Bir Azure Active Directory hizmet sorumlusu. Hizmet sorumlusunu oluşturduktan sonra, bağlantılı makaledeki yönergeleri kullanarak uygulama kimliği ve kimlik doğrulama anahtarını almayı unutmayın. Bu öğreticinin ilerleyen kısımlarında bu değerlere ihtiyacınız vardır. Ayrıca, hizmet sorumlusunun aboneliğin veya kümenin oluşturulduğu kaynak grubunun katkıda bulunan rolünün bir üyesi olduğundan emin olun. Gerekli değerleri alma ve doğru rolleri atama yönergeleri için bkz. Azure Active Directory hizmet sorumlusu oluşturma.

Ön Azure nesneleri oluşturma

Bu bölümde, talep üzerine oluşturduğunuz HDInsight kümesi için kullanılacak çeşitli nesneler oluşturursunuz. Oluşturulan depolama hesabı, partitionweblogs.hql küme üzerinde çalışan bir örnek Apache Hive işinin benzetimini yapmak için kullandığınız örnek HiveQL betiğini içerir.

Bu bölümde, depolama hesabını oluşturmak ve depolama hesabı içinde gerekli dosyaların üzerine kopyalamak için bir Azure PowerShell betiği kullanılmaktadır. Bu bölümdeki Azure PowerShell örnek komut dosyası aşağıdaki görevleri yapar:

1. Azure 'da oturum açar.
2. Bir Azure Kaynak grubu oluşturur.
3. Azure Depolama hesabı oluşturur.
4. Depolama hesabında bir blob kapsayıcısı oluşturur
5. Örnek HiveQL betiğini (partitionweblogs. HQL) blob kapsayıcısını kopyalar. Betiği adresinde bulabilirsiniz https://hditutorialdata.blob.core.windows.net/adfhiveactivity/script/partitionweblogs.hql . Örnek betik zaten başka bir genel blob kapsayıcısında kullanılabilir. Aşağıdaki PowerShell betiği, oluşturduğu Azure depolama hesabına bu dosyaların bir kopyasını oluşturur.

Depolama hesabı oluşturma ve dosyaları kopyalama

$resourceGroupName = "<Azure Resource Group Name>"
$storageAccountName = "<Azure Storage Account Name>"
$location = "East US"

$sourceStorageAccountName = "hditutorialdata"  
$sourceContainerName = "adfv2hiveactivity"

$destStorageAccountName = $storageAccountName
$destContainerName = "adfgetstarted" # don't change this value.

####################################
# Connect to Azure
####################################
#region - Connect to Azure subscription
Write-Host "`nConnecting to your Azure subscription ..." -ForegroundColor Green
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

#endregion

####################################
# Create a resource group, storage, and container
####################################

#region - create Azure resources
Write-Host "`nCreating resource group, storage account and blob container ..." -ForegroundColor Green

New-AzResourceGroup `
    -Name $resourceGroupName `
    -Location $location

New-AzStorageAccount `
    -ResourceGroupName $resourceGroupName `
    -Name $destStorageAccountName `
    -Kind StorageV2 `
    -Location $location `
    -SkuName Standard_LRS `
    -EnableHttpsTrafficOnly 1

$destStorageAccountKey = (Get-AzStorageAccountKey `
    -ResourceGroupName $resourceGroupName `
    -Name $destStorageAccountName)[0].Value

$sourceContext = New-AzStorageContext `
    -StorageAccountName $sourceStorageAccountName `
    -Anonymous

$destContext = New-AzStorageContext `
    -StorageAccountName $destStorageAccountName `
    -StorageAccountKey $destStorageAccountKey

New-AzStorageContainer `
    -Name $destContainerName `
    -Context $destContext
#endregion

####################################
# Copy files
####################################
#region - copy files
Write-Host "`nCopying files ..." -ForegroundColor Green

$blobs = Get-AzStorageBlob `
    -Context $sourceContext `
    -Container $sourceContainerName `
    -Blob "hivescripts\hivescript.hql"

$blobs|Start-AzStorageBlobCopy `
    -DestContext $destContext `
    -DestContainer $destContainerName `
    -DestBlob "hivescripts\partitionweblogs.hql"

Write-Host "`nCopied files ..." -ForegroundColor Green
Get-AzStorageBlob `
    -Context $destContext `
    -Container $destContainerName
#endregion

Write-host "`nYou will use the following values:" -ForegroundColor Green
write-host "`nResource group name: $resourceGroupName"
Write-host "Storage Account Name: $destStorageAccountName"
write-host "Storage Account Key: $destStorageAccountKey"

Write-host "`nScript completed" -ForegroundColor Green

Depolama hesabını doğrula

1. Azure Portaloturum açın.
2. Soldan tüm hizmetler > genel > kaynak grupları' na gidin.
3. PowerShell betiğinizdeki oluşturduğunuz kaynak grubu adını seçin. Listelenmiş çok fazla kaynak grubunuz varsa filtreyi kullanın.
4. Genel bakış görünümünden, kaynak grubunu diğer projelerle paylaşmadığınız takdirde bir kaynağı listelenmiş görürsünüz. Bu kaynak, daha önce belirttiğiniz adı taşıyan depolama hesabıdır. Depolama hesabı adını seçin.
5. Kapsayıcılar kutucuğunu seçin.
6. Adfgetstarted kapsayıcısını seçin. Adlı bir klasör görürsünüz hivescripts .
7. Klasörünü açın ve, partitionweblogs. HQL örnek betik dosyasını içerdiğinden emin olun.

Azure Data Factory etkinliğini anlayın

Azure Data Factory , verilerin hareketini ve dönüşümünü düzenler ve otomatiklaştırır. Azure Data Factory, bir giriş veri dilimini işlemek için tam zamanında bir HDInsight Hadoop kümesi oluşturabilir ve işlem tamamlandığında kümeyi silebilir.

Azure Data Factory, veri fabrikasının bir veya daha fazla veri işlem hattı olabilir. Bir veri işlem hattının bir veya daha fazla etkinliği vardır. İki tür etkinlik vardır:

• Veri taşıma etkinlikleri. Veri taşıma etkinliklerini kullanarak bir kaynak veri deposundan hedef veri deposuna veri taşıyabilirsiniz.
• Veri dönüştürme etkinlikleri. Verileri dönüştürmek/işlemek için veri dönüştürme etkinliklerini kullanırsınız. HDInsight Hive etkinliği, Data Factory tarafından desteklenen dönüştürme etkinliklerinden biridir. Bu öğreticide Hive dönüştürme etkinliğini kullanın.

Bu makalede, Hive etkinliğini isteğe bağlı bir HDInsight Hadoop kümesi oluşturacak şekilde yapılandırırsınız. Etkinlik, verileri işlemek için çalıştığında şöyle olur:

1. An HDInsight Hadoop kümesi, dilimi işlemek için tam zamanında otomatik olarak oluşturulur.

2. Giriş verileri, kümede bir HiveQL betiği çalıştırılarak işlenir. Bu öğreticide, Hive etkinliğiyle ilişkili HiveQL betiği aşağıdaki eylemleri yapar:

   • , Başka bir tablo Hivesampleout oluşturmak için var olan tabloyu (hivesampletable) kullanır.
   • Hivesampleout tablosunu özgün hivesampletable içindeki yalnızca belirli sütunlarla doldurur.

3. HDInsight Hadoop kümesi, işlem tamamlandıktan sonra silinir ve küme yapılandırılan süre (timeToLive ayarı) için boşta kalır. Sonraki veri dilimi, bu timeToLive boşta kalma süresi içinde işleme için kullanılabiliyorsa, dilimi işlemek için aynı küme kullanılır.

Veri fabrikası oluşturma

1. Azure portalında oturum açın.

2. Sol menüden + Create a resource > analiz > Data Factory' a gidin.

   

3. Yeni Data Factory kutucuğu için aşağıdaki değerleri girin veya seçin:

   Özellik	Değer
   Ad	Veri Fabrikası için bir ad girin. Bu adın genel olarak benzersiz olması gerekir.
   Sürüm	V2 adresinden ayrılın.
   Abonelik	Azure aboneliğinizi seçin.
   Kaynak grubu	PowerShell betiğini kullanarak oluşturduğunuz kaynak grubunu seçin.
   Konum	Konum, daha önce kaynak grubunu oluştururken belirttiğiniz konuma otomatik olarak ayarlanır. Bu öğreticide, konum Doğu ABD olarak ayarlanır.
   GIT 'i etkinleştir	Bu kutunun işaretini kaldırın.

   

4. Oluştur’u seçin. Bir veri fabrikası oluşturmak 2 ila 4 dakika arasında bir süre sürebilir.

5. Data Factory oluşturulduktan sonra Kaynağa Git düğmesine sahip bir dağıtım başarılı bildirimi alırsınız. Data Factory varsayılan görünümü açmak için Kaynağa Git ' i seçin.

6. Azure Data Factory yazma ve izleme portalını başlatmak için yazar & İzleyicisi ' ni seçin.

   

Bağlı hizmetler oluşturma

Bu bölümde, veri fabrikanızın içinde iki bağlı hizmet yazardınız.

• Bir Azure depolama hesabını veri fabrikasına bağlayan Azure Depolama bağlı hizmeti. Bu depolama alanı, isteğe bağlı HDInsight kümesi tarafından kullanılır. Ayrıca, kümede çalıştırılan Hive betiğini de içerir.
• İsteğe bağlı HDInsight bağlı hizmeti. Azure Data Factory otomatik olarak bir HDInsight kümesi oluşturur ve Hive betiğini çalıştırır. Daha sonra, küme önceden yapılandırılmış bir süre boyunca boşta kaldığında HDInsight kümesini siler.

Azure Depolama bağlı hizmeti oluşturma

1. Başlarken sayfasının sol bölmesinde Yazar simgesini seçin.

   

2. Pencerenin sol alt köşesinden Bağlantılar ' ı seçin ve ardından + Yeni' yi seçin.

   

3. Yeni bağlı hizmet Iletişim kutusunda Azure Blob depolama ' yı seçip devam' ı seçin.

   

4. Depolama bağlı hizmeti için aşağıdaki değerleri sağlayın:

   Özellik	Değer
   Ad	HDIStorageLinkedService yazın.
   Azure aboneliği	Açılır listeden aboneliğinizi seçin.
   Depolama hesabı adı	PowerShell betiğinin bir parçası olarak oluşturduğunuz Azure Depolama hesabını seçin.

   Bağlantıyı Sına ' yı seçin ve başarılı olursa Oluştur' u seçin.

   

İsteğe bağlı bir HDInsight bağlı hizmeti oluşturma

1. Başka bir bağlı hizmet oluşturmak için + Yeni düğmesini tekrar seçin.

2. Yeni bağlı hizmet penceresinde, işlem sekmesini seçin.

3. Azure HDInsight' ı seçin ve ardından devam' ı seçin.

   

4. Yeni bağlı hizmet penceresinde aşağıdaki değerleri girin ve geri kalanını varsayılan olarak bırakın:

   Özellik	Değer
   Ad	HDInsightLinkedService yazın.
   Tür	İsteğe bağlı HDInsight ' ı seçin.
   Azure Storage Bağlı Hizmeti	HDIStorageLinkedService öğesini seçin.
   Küme türü	Hadoop seçin
   Yaşam süresi	HDInsight kümesinin otomatik olarak silinmeden önce kullanılabilir olmasını istediğiniz süreyi belirtin.
   Hizmet sorumlusu KIMLIĞI	Önkoşulların bir parçası olarak oluşturduğunuz Azure Active Directory hizmet sorumlusunun uygulama KIMLIĞINI sağlayın.
   Hizmet sorumlusu anahtarı	Azure Active Directory hizmet sorumlusu için kimlik doğrulama anahtarı sağlayın.
   Küme adı ön eki	Veri Fabrikası tarafından oluşturulan tüm küme türlerine ön eki eklenecek bir değer sağlayın.
   Abonelik	Açılır listeden aboneliğinizi seçin.
   Kaynak grubunu seçme	Daha önce kullandığınız PowerShell betiğinin bir parçası olarak oluşturduğunuz kaynak grubunu seçin.
   İşletim sistemi türü/kümesi SSH Kullanıcı adı	Genellikle bir SSH Kullanıcı adı girin sshuser .
   İşletim sistemi türü/kümesi SSH parolası	SSH kullanıcısı için bir parola belirtin
   İşletim sistemi türü/küme Kullanıcı adı	Genellikle bir küme Kullanıcı adı girin admin .
   İşletim sistemi türü/küme parolası	Küme kullanıcısı için bir parola belirtin.

   Ardından Oluştur’u seçin.

   

İşlem hattı oluşturma

1. +(Artı) düğmesini seçin ve ardından Işlem hattı' nı seçin.

   

2. Etkinlikler araç kutusunda HDInsight' ı genişletin ve Hive etkinliğini ardışık düzen Tasarımcısı yüzeyine sürükleyin. Genel sekmesinde, etkinlik için bir ad belirtin.

   

3. Hive etkinliğinin seçili olduğundan emin olun, HDI kümesi sekmesini seçin. HDInsight bağlı hizmeti açılan listesinden, daha önce HDInsightLinkedService, HDInsight için oluşturduğunuz bağlı hizmeti seçin.

   

4. Betik sekmesini seçin ve aşağıdaki adımları uygulayın:

   1. Betiğe bağlı hizmet için, açılan listeden HDIStorageLinkedService öğesini seçin. Bu değer, daha önce oluşturduğunuz depolama bağlı hizmetidir.

   2. Dosya yolu Için, depolamayı inceleyin ' i seçin ve örnek Hive betiğinin kullanılabildiği konuma gidin. PowerShell betiğini daha önce çalıştırdıysanız, bu konum olmalıdır adfgetstarted/hivescripts/partitionweblogs.hql .

      

   3. Gelişmiş > Parametreler altında öğesini seçin Auto-fill from script . Bu seçenek, Hive betiğindeki, çalışma zamanında değer gerektiren tüm parametreleri arar.

   4. Değer metin kutusunda, varolan klasörü biçiminde ekleyin wasbs://adfgetstarted@<StorageAccount>.blob.core.windows.net/outputfolder/ . Bu yol büyük/küçük harfe duyarlıdır. Bu yol, betiğin çıktısının depolanacağı yerdir. wasbsDepolama hesaplarında varsayılan olarak etkinleştirilmiş güvenli aktarım gerekli olduğundan şema gereklidir.

      

5. İşlem hattını doğrulamak için Doğrula ' yı seçin. >> Doğrulama penceresini kapatmak için (sağ ok) düğmesini seçin.

   

6. Son olarak, yapıAzure Data Factory tları yayımlamak için Tümünü Yayımla ' yı seçin.

   

İşlem hattını tetikleme

1. Tasarımcı yüzeyinde araç çubuğundan şimdi tetikleyici tetikleyicisi Ekle' yi seçin > .

   

2. Açılır taraftaki çubukta Tamam ' ı seçin.

İşlem hattını izleme

1. Soldaki İzleyici sekmesine geçin. İşlem Hattı Çalıştırmaları listesinde bir işlem hattı çalıştırması görürsünüz. Durum sütununun altında çalıştırmanın durumuna dikkat edin.

   

2. Durumu yenilemek için Yenile’yi seçin.

3. Ardışık düzen ile ilişkili etkinlik çalıştırmasını görmek için etkinlik çalıştırmalarını görüntüle simgesini de seçebilirsiniz. Aşağıdaki ekran görüntüsünde, oluşturduğunuz işlem hattında yalnızca bir etkinlik olduğundan yalnızca bir etkinlik çalıştırması görürsünüz. Önceki görünüme geri dönmek için sayfanın üst kısmına doğru işlem hatları ' nı seçin.

   

Çıktıyı doğrulama

1. Çıktıyı doğrulamak için Azure portal, bu öğretici için kullandığınız depolama hesabına gidin. Aşağıdaki klasörleri veya kapsayıcıları görmeniz gerekir:

   • İşlem hattının parçası olarak çalıştırılan Hive betiğinin çıkışını içeren bir adfgerstarted/outputfolder görürsünüz.

   • Bir <linked-service-name> - <timestamp> adfhdidatafactory- Container görürsünüz. Bu kapsayıcı, işlem hattı çalıştırmasının bir parçası olarak oluşturulan HDInsight kümesinin varsayılan depolama konumudur.

   • Azure Data Factory iş günlüklerine sahip bir adfjobs kapsayıcısı görürsünüz.

     

Kaynakları temizleme

İsteğe bağlı HDInsight kümesi oluşturma ile, HDInsight kümesini açıkça silmeniz gerekmez. Küme, işlem hattını oluştururken verdiğiniz yapılandırmaya göre silinir. Küme silindikten sonra bile, kümeyle ilişkilendirilen depolama hesapları var olmaya devam eder. Verilerinizi bozulmadan saklayabilmeniz için bu davranış tasarıma göre yapılır. Ancak, verileri kalıcı hale getirmek istemiyorsanız, oluşturduğunuz depolama hesabını silebilirsiniz.

Ya da, bu öğretici için oluşturduğunuz kaynak grubunun tamamını silebilirsiniz. Bu işlem, oluşturduğunuz depolama hesabını ve Azure Data Factory siler.

Kaynak grubunu silme

1. Azure Portaloturum açın.

2. Sol bölmedeki kaynak grupları ' nı seçin.

3. PowerShell betiğinizdeki oluşturduğunuz kaynak grubu adını seçin. Listelenmiş çok fazla kaynak grubunuz varsa filtreyi kullanın. Kaynak grubunu açar.

4. Kaynak grubunu diğer projelerle paylaşmadığınız takdirde, kaynaklar kutucuğunda, varsayılan depolama hesabı ve veri fabrikasının listelenmesi gerekir.

5. Kaynak grubunu sil'i seçin. Bunu yaptığınızda depolama hesabı ve depolama hesabında depolanan veriler silinir.

   

6. Silmeyi onaylamak için kaynak grubunun adını girin ve Sil' i seçin.

Sonraki adımlar

Bu makalede, isteğe bağlı HDInsight kümesi oluşturmak ve Apache Hive işleri çalıştırmak için Azure Data Factory kullanmayı öğrendiniz. Özel yapılandırmayla HDInsight kümeleri oluşturmayı öğrenmek için bir sonraki makaleye ilerleyin.