Azure İzleyici günlüklerini kullanarak HDInsight kümelerini izleme

  • Makale

HDInsight'ta Hadoop küme işlemlerini izlemek için Azure İzleyici günlüklerini etkinleştirmeyi öğrenin. HdInsight izleme çözümü ekleme.

Azure İzleyici günlükleri , bulut ve şirket içi ortamlarınızı izleyen bir Azure İzleyici hizmetidir. İzleme, kullanılabilirlik ve performanslarını korumaktır. Bulutunuzda, şirket içi ortamlarınızda ve diğer izleme araçlarında bulunan kaynaklar tarafından oluşturulan verileri toplar. Veriler birden çok kaynakta analiz sağlamak için kullanılır.

Not

Bu makale kısa süre önce Log Analytics yerine Azure İzleyici günlükleri terimini kullanacak şekilde güncelleştirildi. Günlük verileri hala bir Log Analytics çalışma alanında depolanır ve yine de aynı Log Analytics hizmeti tarafından toplanır ve analiz edilir. Azure İzleyici'deki günlüklerin rolünü daha iyi yansıtacak şekilde terminolojiyi güncelleştiriyoruz. Ayrıntılar için bkz . Azure İzleyici terminolojisi değişiklikleri .

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Önemli

Yeni Azure İzleyici deneyimi tüm bölgelerde önizleme özelliği olarak kullanılabilir.

Önkoşullar

  • Bir Log Analytics çalışma alanı. Bu çalışma alanını kendi veri deposu, veri kaynakları ve çözümleriyle benzersiz bir Azure İzleyici günlükleri ortamı olarak düşünebilirsiniz. Yönergeler için bkz . Log Analytics çalışma alanı oluşturma.

  • Bir Azure HDInsight kümesi. Şu anda Azure İzleyici günlüklerini aşağıdaki HDInsight küme türleriyle kullanabilirsiniz:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark

    HDInsight kümesi oluşturma yönergeleri için bkz . Azure HDInsight'ı kullanmaya başlama.

  • PowerShell kullanıyorsanız Az Modülü gerekir. En son sürüme sahip olduğunuzdan emin olun. Gerekirse komutunu çalıştırın Update-Module -Name Az.

  • Azure CLI'yı kullanmak istiyorsanız ve henüz yüklemediyseniz bkz . Azure CLI'yi yükleme.

Not

Yeni Azure İzleyici deneyimi yalnızca tüm bölgelerde önizleme özelliği olarak kullanılabilir. Daha iyi performans için hem HDInsight kümesini hem de Log Analytics çalışma alanını aynı bölgeye yerleştirmenizi öneririz.

Portalı kullanarak Azure İzleyici'yi etkinleştirme

Bu bölümde, işleri izlemek, günlüklerde hata ayıklamak vb. için mevcut bir HDInsight Hadoop kümesini Azure Log Analytics çalışma alanı kullanacak şekilde yapılandıracaksınız.

  1. Azure portalda kümenizi seçin. Küme yeni bir portal sayfasında açılır.

  2. Sol taraftaki İzleme'nin altında Tümleştirmeyi İzle'yi seçin.

  3. Ana görünümde, HDInsight kümeleri tümleştirmesi için Azure İzleyici'nin altında Etkinleştir'i seçin.

  4. Çalışma alanı seçin açılan listesinden mevcut bir Log Analytics çalışma alanını seçin.

  5. Kaydet'i seçin. Ayarın kaydedilmesi birkaç dakika sürer.

    Enable monitoring for HDInsight clusters.

Azure İzleyici'yi devre dışı bırakmak istiyorsanız, aynı işlemi bu portalda da yapabilirsiniz.

Azure PowerShell kullanarak Azure İzleyici'yi etkinleştirme

Azure İzleyici günlüklerini Etkinleştirmek için Enable-AzHDInsightAzureMonitor cmdlet'ini kullanabilirsiniz.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Devre dışı bırakmak için Disable-AzHDInsightAzureMonitor cmdlet'ini kullanın:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Azure CLI kullanarak Azure İzleyici'yi etkinleştirme

Azure CLI az hdinsight azure-monitor enable komutunu kullanarak Azure İzleyici günlüklerini etkinleştirebilirsiniz.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Devre dışı bırakmak için komutunu kullanın az hdinsight monitor disable .

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Tek bir kümeyi izlemek için HDInsight ilk çalıştırma Analizler kullanma

HDInsight, hızla içgörü elde etmenize yardımcı olmak için iş yüküne özgü çalışma kitabı sağlar. Bu çalışma kitabı HDInsight kümenizden önemli performans ölçümlerini toplar ve en yaygın senaryolar için görselleştirmeler ve panolar sağlar. İlk çalıştırma içgörüleri, kaynak kullanımı ve uygulama durumu dahil olmak üzere tek bir HDInsight kümesinin tam görünümünü sağlar.

Kullanılabilir HDInsight çalışma kitapları:

  • HDInsight Spark Çalışma Kitabı
  • HDInsight Kafka Çalışma Kitabı
  • HDInsight HBase Çalışma Kitabı
  • HDInsight Hive/LLAP Çalışma Kitabı

Spark Çalışma Kitabı'nın ekran görüntüsü Spark workbook screenshot.

Performans sayaçlarını yapılandırma

Azure izleyicisi, kümenizdeki düğümler için performans ölçümlerini toplamayı ve çözümlemeyi destekler. Daha fazla bilgi için bkz . Azure İzleyici'de Linux performans veri kaynakları.

Küme denetimi

HDInsight, aşağıdaki günlük türlerini içeri aktararak Azure İzleyici günlükleriyle küme denetimini destekler:

  • log_gateway_audit_CL - bu tablo, başarılı ve başarısız oturum açma girişimlerini gösteren küme ağ geçidi düğümlerinden denetim günlükleri sağlar.
  • log_auth_CL - bu tablo başarılı ve başarısız oturum açma girişimleriyle SSH günlükleri sağlar.
  • log_ambari_audit_CL - bu tablo Ambari'den denetim günlükleri sağlar.
  • log_ranger_audti_CL - bu tablo, ESP kümelerinde Apache Ranger'dan denetim günlükleri sağlar.

HDInsight Azure İzleyici Tümleştirmesi tarafından kullanılan Log Analytics (OMS) Aracısını güncelleştirme

Azure İzleyici tümleştirmesi bir kümede etkinleştirildiğinde, Log Analytics aracısı veya Operations Management Suite (OMS) Aracısı kümeye yüklenir ve Azure İzleyici Tümleştirmesini devre dışı bırakmadığınız ve yeniden etkinleştirmediğiniz sürece güncelleştirilmez. Kümede OMS Aracısı'nı güncelleştirmeniz gerekiyorsa aşağıdaki adımları tamamlayın. Bir güvenlik duvarının arkasındaysanız, bu adımları tamamlamadan önce güvenlik duvarının arkasındaki kümeler için önkoşulları tamamlamanız gerekebilir.

  1. Azure portalda kümenizi seçin. Küme yeni bir portal sayfasında açılır.
  2. Sol tarafta İzleme’nin altında Azure İzleyici’yi seçin.
  3. Geçerli Log Analytics çalışma alanınızın adını not alın.
  4. Ana görünümdeki Azure İzleyici Tümleştirmesi’nin altında iki durumlu düğmeyi devre dışı bırakın ve Kaydet’i seçin.
  5. Ayar kaydedildikten sonra Azure İzleyici Tümleştirmesi iki durumlu düğmesini yeniden etkinleştirin ve aynı Log Analytics çalışma alanının seçildiğinden emin olun ve kaydet'i seçin.

Bir kümede Azure İzleyici Tümleştirmesi etkinleştirildiyse, OMS aracısını güncelleştirmek Açık Yönetim Altyapısı (OMI) sürümünü de güncelleştirir. Aşağıdaki komutu çalıştırarak kümedeki OMI sürümünü de kontrol edebilirsiniz:

 sudo /opt/omi/bin/omiserver –version

Sonraki adımlar