Azure İzleyici günlüklerini kullanarak HDInsight kümelerini izleme

  • Makale
  • Okumak için 8 dakika

HDInsight'Azure İzleyici Hadoop küme işlemlerini izlemek için günlüklerin nasıl etkinleştirildiklerini öğrenin. HdInsight izleme çözümü ekleme.

Azure İzleyici günlükleri, bulut Azure İzleyici şirket içi ortamlarınızı izleyen bir hizmettir. İzleme, kullanılabilirlik ve performanslarını korumaktır. Bulut, şirket içi ortamlar ve diğer izleme araçlarından kaynaklar tarafından oluşturulan verileri toplar. Veriler, birden çok kaynakta analiz sağlamak için kullanılır.

Not

Bu makale, son zamanlarda Log Analytics yerine Azure Izleyici günlükleri terimini kullanacak şekilde güncelleştirildi. Günlük verileri hala bir Log Analytics çalışma alanında depolanır ve yine de aynı Log Analytics hizmeti tarafından toplanıp çözümlenmektedir. Azure izleyici 'de günlüklerinrolünü daha iyi yansıtacak şekilde terminolojiyi güncelleştiriyoruz. Ayrıntılar için bkz. Azure izleyici terminolojisi değişiklikleri .

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Önemli

Yeni Azure İzleyici deneyimi yalnızca önizleme Doğu ABD Batı Avrupa olarak kullanılabilir.

Önkoşullar

  • Log Analytics çalışma alanı. Bu çalışma alanını kendi veri deposuna, Azure İzleyici kaynaklarına ve çözümlerine sahip benzersiz bir günlük ortamı olarak düşünebilirsiniz. Yönergeler için bkz. Log Analytics çalışma alanı oluşturma.

  • Bir Azure HDInsight kümesi. Şu anda aşağıdaki HDInsight Azure İzleyici günlüklerini kullanabilirsiniz:

    • Hadoop
    • HBase
    • Interactive Query
    • Kafka
    • Spark
    • Storm

    HDInsight kümesi oluşturma yönergeleri için bkz. Kullanmaya başlayın ile Azure HDInsight.

  • PowerShell kullanıyorsanız Az Modülü'ne ihtiyacınız vardır. En son sürüme sahip olduğundan emin olun. Gerekirse Update-Module -Name Az çalıştırın.

  • Azure CLI kullanmak istiyorsanız ve henüz yüklememişsinizse bkz. Azure CLI'sini yükleme.

Not

Yeni Azure İzleyici deneyimi yalnızca önizleme Doğu ABD Batı Avrupa olarak kullanılabilir. Daha iyi performans için hem HDInsight kümesi hem de Log Analytics çalışma alanının aynı bölgeye yer olması önerilir. Azure İzleyici günlükleri tüm Azure bölgelerinde kullanılamaz.

Portalı Azure İzleyici kullanarak oturumları etkinleştirme

Bu bölümde, mevcut bir HDInsight Hadoop kümesi yapılandırarak işleri izlemek, günlüklerde hata ayıklama yapmak ve bu gibi işlemlerde Azure Log Analytics çalışma alanını kullanmak üzere yapılandıracaksınız.

  1. kaynak Azure portalkümenizi seçin. Küme yeni bir portal sayfasında açılır.

  2. Sol tarafta, İzleme'nin altında Tümleştirmeyi İzleme'yi seçin.

  3. Ana görünümde, HDInsight Kümeleri Azure İzleyici için etkinleştir'in altında Etkinleştir'i seçin.

  4. Çalışma alanı seçin açılan   listesinden var olan bir Log Analytics çalışma alanını seçin.

  5.  Kaydet'i seçin. Ayarı kaydetmek birkaç dakika sürer.

    HDInsight kümeleri için izlemeyi etkinleştirme

Bu hizmeti devre dışı Azure İzleyici, aynı şeyi bu portalda da kullanabilirsiniz.

Azure İzleyici kullanarak Azure PowerShell

Azure İzleyici Azure PowerShell Az modülü Enable-AzHDInsightAzureMonitor cmdlet'ini kullanarak günlük günlüklerini etkinleştirebilirsiniz.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Devre dışı bırakmak için Disable-AzHDInsightAzureMonitor cmdlet'ini kullanın:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Azure CLI kullanarak Azure İzleyici etkinleştirme

Azure CLI Azure İzleyici günlüklerini az hdinsight azure-monitor enable etkinleştirebilirsiniz.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Devre dışı bırakmak için komutunu az hdinsight monitor disable kullanın.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

HdInsight'ı tek bir kümeyi Analizler için ilk önce hdinsight kullanma

HDInsight, hızla içgörü elde etmeye yardımcı olmak için iş yüküne özgü çalışma kitabı sağlar. Bu çalışma kitabı HDInsight kümenizin önemli performans ölçümlerini toplar ve en yaygın senaryolar için görselleştirmeler ve panolar sağlar. İlk gelen içgörüler, kaynak kullanımı ve uygulama durumu dahil olmak üzere tek bir HDInsight kümesine tam bir görünüm sağlar.

Kullanılabilir HDInsight çalışma kitapları:

  • HDInsight Spark Çalışma Kitabı
  • HDInsight Kafka Çalışma Kitabı
  • HDInsight HBase Çalışma Kitabı
  • HDInsight Hive/LLAP Çalışma Kitabı
  • HDInsight Storm Çalışma Kitabı

Spark Çalışma Kitabı Spark çalışma kitabının ekran görüntüsü

Birden çok kümeyi izlemek Analizler uygun ölçekte depolama alanı kullanma

Oturum açmak için Azure portal'ı seçin. Bu Analizler Hub'ı Analizler. Daha sonra HDInsight kümelerini bulabilirsiniz.

Bu görünümde, tek bir yerde birden çok HDInsight kümesi izleyebilirsiniz. Küme izleyicisi içgörüleri ekran görüntüsü

Aboneliği ve izlemek istediğiniz HDInsight kümelerini seçin.

  • İzlemeli Kümeler, tümleştirme için etkinleştirmiş Azure İzleyici gösterir.
  • Takip Olmayan Küme, tüm tümleştirme için etkinleştirmemiş Azure İzleyici gösterir.

Her bölümde ayrıntı kümesi listesini bulabilirsiniz.

İzlemeli Kümeler'in altındaki Genel Bakış sekmesinde küme türünü, kritik Uyarıları ve kaynak kullanımlarını görebilirsiniz. Küme izleyicisi uyarıları ekran görüntüsü

Ayrıca Spark, HBase, Hive, Kafka ve Storm gibi her iş yükü türünde kümeleri de görebilir.

Etkin düğüm yöneticisi sayısı, çalışan uygulama sayısı vb. dahil olmak üzere her iş yükü türünün üst düzey ölçümleri sunulacaktır.

Spark ölçümlerini küme izleme

Performans sayaçlarını yapılandırma

Azure İzleyici, kümenizdeki düğümler için performans ölçümlerini toplamayı ve analiz etme desteği sunar. Daha fazla bilgi için bkz. Linux performans veri kaynakları Azure İzleyici.

Küme denetimi

HDInsight, aşağıdaki günlük Azure İzleyici içeri aktararak küme denetimini destekler:

  • log_gateway_audit_CL - Bu tablo, başarılı ve başarısız oturum açma girişimlerini göstermek için küme ağ geçidi düğümlerinden denetim günlükleri sağlar.
  • log_auth_CL - Bu tablo başarılı ve başarısız oturum açma denemeleriyle SSH günlüklerini sağlar.
  • log_ambari_audit_CL - Bu tablo Ambari'den denetim günlükleri sağlar.
  • log_ranger_audti_CL - Bu tablo ESP kümelerinde Apache Ranger'dan denetim günlükleri sağlar.

HDInsight Tarafından Kullanılan Log Analytics (OMS) Aracısı'Azure İzleyici Güncelleştirme

Kümede Azure İzleyici tümleştirme etkinleştirildiğinde, Log Analytics aracısı veya Operations Management Suite (OMS) Aracısı kümeye yüklenir ve Azure İzleyici Tümleştirmesi'ni devre dışı bırakmadıkça ve yeniden etkinleştirmedikçe güncelleştirilmez. Kümede OMS Aracısı'ni güncelleştirmeniz gerekirse aşağıdaki adımları tamamlayın. Güvenlik duvarının arkasındaysanız, bu adımları tamamlamadan önce güvenlik duvarının arkasındaki kümeler için önkoşulları tamamlamanız gerekebilir.

  1. kaynak Azure portalkümenizi seçin. Küme yeni bir portal sayfasında açılır.
  2. Sol tarafta, İzleme'nin altında, Azure İzleyici.
  3. Geçerli Log Analytics çalışma alanının adını not edin.
  4. Ana görünümden Tümleştirme'Azure İzleyici altında, iki durumlu düğmeyi devre dışı bırakarak Kaydet'i seçin.
  5. Ayar kaydeddikten sonra Azure İzleyici Tümleştirme iki durumlu ayarını yeniden etkinleştirin ve aynı Log Analytics çalışma alanının seçili olduğundan emin olun ve Kaydet'i seçin.

Bir kümede Azure İzleyici Tümleştirme etkinleştirdiyseniz, OMS aracısı güncelleştirildikten sonra Açık Yönetim Altyapısı (OMI) sürümü de güncelleştirmesi gerekir. Aşağıdaki komutu çalıştırarak kümede OMI sürümünü kontrol edin:

 sudo /opt/omi/bin/omiserver –version

Sonraki adımlar