Log Analytics-migreringsguide för Azure HDInsight-kluster

  • Artikel

Azure HDInsight är en företagsklar, hanterad klustertjänst. Den här tjänsten kör analysramverk med öppen källkod som Apache Spark, Hadoop, HBase och Kafka på Azure. Azure HDInsight har integrerats med andra Azure-tjänster så att kunderna kan hantera sina stordataanalysprogram bättre.

Log Analytics tillhandahåller ett verktyg i Azure-portalen för att redigera och köra loggfrågor. Frågorna kommer från data som samlas in av Azure Monitor-loggar och analyserar deras resultat interaktivt. Kunder kan använda Log Analytics-frågor för att hämta poster som matchar specifika villkor. De kan också använda frågor för att identifiera trender, analysera mönster och ge insikter om sina data.

Azure HDInsight-aktiverad integrering med Log Analytics 2017. HDInsight-kunder antog snabbt den här funktionen för att övervaka sina HDInsight-kluster och köra frågor mot loggarna i klustren. Även om implementeringen av den här funktionen har ökat har kunderna lämnat feedback om integreringen:

  • Kunder kan inte bestämma vilka loggar som ska lagras och det kan bli dyrt att lagra alla loggar.
  • Aktuella HDInsight-schemaloggar följer inte konsekventa namngivningskonventioner och vissa tabeller är repetitiva.
  • Kunder vill ha en inbyggd instrumentpanel för att enkelt övervaka KPI:n för sina HDInsight-kluster.
  • Kunder måste hoppa till Log Analytics för att köra enkla frågor.

Översikt över lösningen

Med tanke på kundfeedback har Azure HDInsight-teamet investerat i integrering med Azure Monitor. Den här integreringen möjliggör:

  • En ny uppsättning tabeller på kundernas Log Analytics-arbetsyta. De nya tabellerna levereras via en ny Log Analytics-pipeline.
  • Högre tillförlitlighet
  • Snabbare loggleverans
  • Resursbaserad tabellgruppering och standardfrågor

Kommentar

Ny Azure Montitor-integrering finns i offentlig förhandsversion i alla regioner där HDInsight är tillgängligt.

Fördelar med den nya Azure Monitor-integreringen

Det här dokumentet beskriver ändringarna i Azure Monitor-integreringen och innehåller metodtips för att använda de nya tabellerna.

Omdesignade scheman: Schemaformateringen för den nya Azure Monitor-integreringen är bättre organiserad och lätt att förstå. Det finns två tredjedelar färre scheman för att ta bort så mycket tvetydighet som möjligt i de äldre schemana.

Selektiv loggning: Det finns loggar och mått tillgängliga via Log Analytics. För att hjälpa dig att spara på övervakningskostnader kommer vi att släppa en ny selektiv loggningsfunktion. Använd den här funktionen för att aktivera och inaktivera olika loggar och måttkällor. Med den här funktionen behöver du bara betala för det du använder. Mer information finns i Selektiv loggning

Loggar klusterportalintegrering: Fönstret Loggar är nytt för HDInsight-klusterportalen. Alla som har åtkomst till klustret kan gå till det här fönstret för att fråga alla tabeller som klusterresursen skickar poster till. Användarna behöver inte längre åtkomst till Log Analytics-arbetsytan för att se posterna för en specifik klusterresurs.

Integrering av Insights-klusterportalen: Fönstret Insikter är också nytt för HDInsight-klusterportalen. När du har aktiverat den nya Azure Monitor-integreringen kan du välja fönstret Insikter och en inaktuell instrumentpanel för loggar och mått som är specifika för klustrets typ fylls automatiskt i åt dig. Dessa instrumentpaneler har uppdaterats från våra tidigare Azure-lösningar. De ger dig djupgående insikter om ditt klusters prestanda och hälsa.

Kundscenarier

I följande avsnitt beskrivs hur kunder kan använda den nya Azure Monitor-integreringen i olika scenarier. I avsnittet Aktivera en ny Azure Monitor-integrering beskrivs hur du aktiverar och använder den nya Azure Monitor-integreringen. Avsnittet Migrera från Klassisk Azure Monitor till den nya Azure Monitor-integreringen innehåller ytterligare information för användare som är beroende av den gamla Azure Monitor-integreringen.

Kommentar

Endast kluster som skapades i slutet av september 2020 och efter är berättigade till den nya Azure Monitoring-integreringen.

Aktivera en ny Azure Monitor-integrering

Kommentar

Du måste ha en Log Analytics-arbetsyta som skapats i en prenumeration som du har åtkomst till innan du aktiverar den nya integreringen. Mer information om hur du skapar en Log Analytics-arbetsyta finns i Skapa en Log Analytics-arbetsyta i Azure-portalen.

Aktivera den nya integreringen genom att gå till klustrets portalsida och rulla nedåt på menyn till vänster tills du når avsnittet Övervakning . I avsnittet Övervakning väljer du Övervaka integrering. Välj sedan Aktivera och du kan välja den Log Analytics-arbetsyta som du vill att loggarna ska skickas till. Välj Spara när du har valt din arbetsyta.

Få åtkomst till de nya tabellerna

Det finns två sätt att komma åt de nya tabellerna.

Metod 1:

Det första sättet att komma åt de nya tabellerna är via Log Analytics-arbetsytan.

  1. Gå till den Log Analytics-arbetsyta som du valde när du aktiverade integreringen.
  2. Rulla nedåt på menyn till vänster på skärmen och välj Loggar. En loggfrågeredigerare visas med en lista över alla tabeller på arbetsytan.
  3. Om tabellerna grupperas efter Lösning finns de nya HDI-tabellerna under avsnittet Logghantering .
  4. Om du grupperar tabellerna efter resurstyp finns tabellerna under avsnittet HDInsight-kluster enligt bilden nedan.

Kommentar

Den här processen beskriver hur loggarna användes i den gamla integreringen. Detta kräver att användaren har åtkomst till arbetsytan.

Metod 2:

Det andra sättet att komma åt de nya tabellerna är via åtkomst till klusterportalen.

  1. Gå till portalsidan för klustret och rulla nedåt på menyn till vänster tills du ser avsnittet Övervakning . I det här avsnittet visas fönstret Loggar .
  2. Välj Loggar och en Loggfrågeredigerare visas. Redigeraren innehåller alla loggar som är associerade med klusterresursen. Du skickade loggarna till Log Analytics-arbetsytan när du aktiverade integreringen. Dessa loggar ger resursbaserad åtkomst (RBAC). Med RBAC kan användare som har åtkomst till klustret men inte till arbetsytan se loggarna som är associerade med klustret.

Som jämförelse visar följande skärmbilder den äldre arbetsytevyn för integrering och den nya arbetsytevyn för integrering:

Äldre arbetsytevy för integrering

Skärmbild som visar den äldre arbetsytevyn för integrering.

Ny arbetsytevy för integrering

Skärmbild som visar den nya arbetsytevyn för integrering.

Använda de nya tabellerna

Dessa integreringar kan hjälpa dig att använda de nya tabellerna:

Standardfrågor som ska användas med nya tabeller

I frågeredigeraren för Loggar anger du växlingsknappen till Frågor ovanför tabelllistan. Se till att du grupperar frågorna efter resurstyp och att det inte finns någon filteruppsättning för en annan resurstyp än HDInsight-kluster. Följande bild visar hur resultaten ser ut när de grupperas efter resurstyp och filtreras efter HDInsight-kluster. Välj bara en så visas den i loggfrågeredigeraren. Var noga med att läsa kommentarerna som ingår i frågorna, eftersom vissa kräver att du anger viss information, till exempel ditt klusternamn, för att frågan ska köras korrekt.

Skärmbild som visar standardfrågeresultatet grupperad resurstyp.

Skapa egna frågor

Du kan ange dina egna frågor i loggfrågeredigeraren. Frågor som används i de gamla tabellerna är inte giltiga i de nya tabellerna eftersom många av de nya tabellerna har nya, förfinade scheman. Standardfrågorna är bra referenser för att forma frågor i de nya tabellerna.

Insikter

Insikter är klusterspecifika instrumentpaneler för visualisering som görs med hjälp av Azure-arbetsböcker. Dessa instrumentpaneler ger dig detaljerade diagram och visualiseringar av hur klustret körs. Instrumentpanelerna har avsnitt för varje klustertyp, YARN, systemmått och komponentloggar. Du kan komma åt klustrets instrumentpanel genom att besöka klustrets sida i portalen, rulla ned till avsnittet Övervakning och välja fönstret Insikter . Instrumentpanelen läses in automatiskt om du har aktiverat den nya integreringen. Tillåt några sekunder för graferna att läsas in när de kör frågor mot loggarna.

Skärmbild som visar instrumentpanelen för visualisering.

Anpassade Azure-arbetsböcker

Du kan skapa egna Azure-arbetsböcker med anpassade grafer och visualiseringar. På klustrets portalsida rullar du ned till avsnittet Övervakning och väljer fönstret Arbetsböcker i menyn till vänster. Du kan antingen börja använda en tom mall eller använda någon av mallarna under avsnittet HDInsight-kluster . Det finns en mall för varje klustertyp. Mallar är användbara om du vill spara specifika anpassningar som STANDARD HDInsight Insights inte tillhandahåller. Skicka gärna in begäranden om nya funktioner i HDInsight Insights om du känner att de saknar något.

Aviseringar

Du kan lägga till anpassade aviseringar i dina kluster och arbetsytor i Loggfrågeredigeraren. Gå till loggfrågeredigeraren genom att välja fönstret Loggar från antingen klustret eller arbetsyteportalen. Kör en fråga och välj sedan Ny aviseringsregel enligt följande skärmbild. Mer information finns i konfigurera aviseringar.

Skärmbild som visar den nya regelaviseringen.

Migrera till den nya Azure Monitor-integreringen

Om du använder den klassiska Azure Monitor-integreringen måste du göra vissa justeringar i de nya tabellformaten när du har växlat till den nya Azure Monitor-integreringen.

Om du vill aktivera den nya Azure Monitor-integreringen följer du stegen som beskrivs i avsnittet Aktivera en ny Azure Monitor-integrering .

Köra frågor i Log Analytics

Eftersom det nya tabellformatet skiljer sig från det tidigare måste dina frågor omarbetas så att du kan använda våra nya tabeller. När du har aktiverat den nya Azure Monitor-integreringen kan du bläddra bland tabellerna och schemana för att identifiera de fält som används i dina gamla frågor.

Vi tillhandahåller en mappningstabell mellan den gamla tabellen till den nya tabellen för att hjälpa dig att snabbt hitta de nya fält som du behöver använda för att migrera dina instrumentpaneler och frågor.

Standardfrågor: Vi har skapat standardfrågor som visar hur du använder de nya tabellerna för vanliga situationer. Standardfrågorna visar också vilken information som är tillgänglig i varje tabell. Du kan komma åt standardfrågorna genom att följa anvisningarna i avsnittet Standardfrågor som ska användas med nya tabeller i den här artikeln.

Uppdatera instrumentpaneler för HDInsight-kluster

Om du har skapat flera instrumentpaneler för att övervaka dina HDInsight-kluster måste du justera frågan bakom tabellen när du aktiverar den nya Azure Monitor-integreringen. Tabellnamnet eller fältnamnet kan ändras i den nya integreringen, men all information som du har i den gamla integreringen ingår.

Referera till mappningstabellen mellan den gamla tabellen/schemat till den nya tabellen/schemat för att uppdatera frågan bakom instrumentpanelerna.

Färdiga instrumentpaneler

Vi har också förbättrat de färdiga instrumentpanelerna både på klusternivå. Det finns en knapp längst upp till höger i varje diagram som gör att du kan se den underliggande frågan som genererar informationen. Diagrammet är ett bra sätt att bekanta dig med hur de nya tabellerna kan efterfrågas effektivt.

Aktivera båda integreringarna för att påskynda migreringen

Du kan aktivera både den klassiska och den nya Azure Monitor-integreringen samtidigt i ett kluster som är berättigat till båda integreringarna för att snabbt migrera till den nya Azure Monitor-integreringen. Den nya integreringen är tillgänglig för alla kluster som skapats efter mitten av september 2020.

På så sätt kan du enkelt göra en jämförelse sida vid sida för de frågor du använder.

Aktivera den klassiska integreringen

Om du använder ett kluster som skapats efter mitten av september 2020 visas den nya portalupplevelsen i klustrets portal. Om du vill aktivera den nya pipelinen kan du följa stegen som beskrivs i avsnittet Aktivera en ny Azure Monitor-integrering . Om du vill aktivera den klassiska integreringen i det här klustret går du till klustrets portalsida. Välj fönstret Övervaka integrering i avsnittet Övervakning på menyn till vänster på sidan för klusterportalen. Välj Konfigurera Azure Monitor för HDInsight-klusterintegrering (klassisk). En sidokontext visas med en växlingsknapp som du kan använda för att aktivera och inaktivera den klassiska Azure Monitoring-integreringen.

Kommentar

Du ser inga loggar eller mått från den klassiska integreringen via klusterportalens logg- och insiktssida. Endast de nya integreringsloggarna och måtten finns på dessa platser.

Skärmbild som visar länken för att komma åt den klassiska integreringen.

Det går inte att skapa nya kluster med klassisk Azure Monitor-integrering efter den 1 januari 2023.

Tidslinje för lansering och support

  • Den klassiska Azure Monitoring-integreringen är inte tillgänglig efter den 15 oktober 2021. Du kan inte aktivera klassisk Azure Monitoring-integrering efter det datumet.
  • Befintliga klassiska Azure-övervakningsintegreringar fortsätter att fungera. Det kommer att finnas begränsat stöd för den klassiska Azure Monitoring-integreringen.
    • Problem kommer att undersökas när kunder skickar supportärendet.
    • Om lösningen kräver avbildningsändring bör kunderna gå över till den nya integreringen.
    • Vi kommer inte att korrigera de klassiska Azure Monitoring-integreringsklusterna förutom kritiska säkerhetsproblem.

Bilaga: Tabellmappning

Information om loggtabellmappningar från den klassiska Azure Monitor-integreringen till den nya finns i Loggtabellmappning.

Relaterat innehåll

Fråga Azure Monitor-loggar för att övervaka HDInsight-kluster