Hantera Apache Hadoop-kluster i HDInsight med hjälp av Azure Portal

Med hjälp Azure Portalkan du hantera Apache Hadoop-kluster i Azure HDInsight. Använd flikväljaren ovan för information om hur du hanterar Hadoop-kluster i HDInsight med hjälp av andra verktyg.

Förutsättningar

Ett befintligt Apache Hadoop-kluster i HDInsight. Se Skapa Linux-baserade kluster i HDInsight med hjälp av Azure Portal.

Komma igång

Logga in på https://portal.azure.com.

Lista och visa kluster

Sidan för HDInsight-kluster visar en lista över dina befintliga kluster. Från portalen:

  1. Välj Alla tjänster på den vänstra menyn.
  2. Välj HDInsight-kluster under ANALYTICS.

Klustrets startsida

Välj ditt klusternamn på sidan för HDInsight-kluster. Då öppnas vyn Översikt, som ser ut ungefär som på följande bild:

Azure Portal information om HDInsight-kluster

Översta menyn:

Objekt Beskrivning
Flytta Flyttar klustret till en annan resursgrupp eller till en annan prenumeration.
Ta bort Tar bort klustret.
Uppdatera Uppdaterar vyn.

Menyn Till vänster:

  • Menyn längst upp till vänster

    Objekt Beskrivning
    Översikt Innehåller allmän information för klustret.
    Aktivitetslogg Visa och köra frågor mot aktivitetsloggar.
    Åtkomstkontroll (IAM) Använd rolltilldelningar. Se Tilldela Azure-roller för att hantera åtkomst till dina Azure-prenumerationsresurser.
    Taggar Gör att du kan ange nyckel/värde-par för att definiera en anpassad taxonomi för dina molntjänster. Du kan till exempel skapa en nyckel med namnet project och sedan använda ett gemensamt värde för alla tjänster som är associerade med ett specifikt projekt.
    Diagnostisera och lösa problem Visa felsökningsinformation.
    Snabbstart Visar information som hjälper dig att komma igång med HDInsight.
    Verktyg Hjälpinformation för HDInsight-relaterade verktyg.

  • Menyn Inställningar

    Objekt Beskrivning
    Klusterstorlek Kontrollera, öka och minska antalet klusterarbetarenoder. Se Skala kluster.
    Kvotgränser Visa använda och tillgängliga kärnor för din prenumeration.
    SSH + klusterinloggning Visar anvisningarna för att ansluta till klustret med hjälp av SSH-anslutning (Secure Shell). Mer information finns i Använda SSH med HDInsight.
    Data Lake Storage Gen1 Konfigurera åtkomst till Data Lake Storage Gen1. Se Snabbstart: Konfigurera kluster i HDInsight.
    Lagringskonton Visa lagringskontona och nycklarna. Lagringskontona konfigureras när klustret skapas.
    Program Lägga till/ta bort HDInsight-program. Se Installera anpassade HDInsight-program.
    Skriptåtgärder Kör Bash-skript i klustret. Se Anpassa Linux-baserade HDInsight-kluster med skriptåtgärd.
    Externa metaarkiv Visa metaarkiven Apache Hive Apache Oozie. Metaarkiven kan bara konfigureras när klustret skapas.
    HDInsight-partner Lägg till/ta bort den aktuella HDInsight-partnern.
    Egenskaper Visa klusteregenskaperna.
    Lås Lägg till ett lås för att förhindra att klustret ändras eller tas bort.
    Exportera mall Visa och exportera Azure Resource Manager för klustret. För närvarande kan du bara exportera det beroende Azure Storage-kontot. Se Skapa Linux-baserade Apache Hadoop-kluster i HDInsight med hjälp Azure Resource Manager mallar.

  • Övervakningsmeny

    Objekt Beskrivning
    Aviseringar Hantera aviseringar och åtgärder.
    Mått Övervaka klustermåtten i Azure Monitor loggar.
    Diagnosinställningar Inställningar på var diagnosmåtten ska lagras.
    Azure Monitor Övervaka klustret i Azure Monitor.

  • Support - och felsökningsmeny

    Objekt Beskrivning
    Resurshälsa Se Översikt över Azure Resource Health.
    Ny supportbegäran Gör att du kan skapa en supportbiljett hos Microsoft Support.

Klusteregenskaper

På klustrets startsidagår du till Inställningar väljer Egenskaper.

Objekt Beskrivning
VÄRDNAMN Klusternamn.
KLUSTER-URL URL:en för Ambari-webbgränssnittet.
Privat slutpunkt Den privata slutpunkten för klustret.
Secure Shell (SSH) Användarnamnet och värdnamnet som ska användas vid åtkomst till klustret via SSH.
STATUS Ett av: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Delete, Deleted, Timedout, DeleteQueued, DeleteTimedout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued eller ClusterCustomization.
REGION Azure-plats. En lista över Azure-platser som stöds finns i listrutan Region på HDInsight-priser.
SKAPAD DEN Det datum då klustret distribuerades.
OPERATIVSYSTEM Antingen Windows eller Linux.
TYP Hadoop, HBase, Storm, Spark.
Version Se HDInsight-versioner.
Lägsta TLS-version TLS-versionen.
PRENUMERATION Prenumerationsnamn.
STANDARDDATAKÄLLA Standardfilsystemet för kluster.
Storlekar på arbetsnoder Den valda VM-storleken för arbetsnoderna.
Huvudnodens storlek Den valda VM-storleken för huvudnoderna.
Virtuellt nätverk Namnet på den Virtual Network som klustret distribueras, om ett har valts vid distributionen.

Flytta kluster

Du kan flytta ett HDInsight-kluster till en annan Azure-resursgrupp eller en annan prenumeration.

Från klustrets startsida:

  1. Välj Flytta från den översta menyn.
  2. Välj Flytta till en annan resursgrupp eller Flytta till en annan prenumeration.
  3. Följ instruktionerna från den nya sidan.

Ta bort kluster

Om du tar bort ett kluster tas inte standardlagringskontot bort eller några länkade lagringskonton. Du kan skapa klustret på nytt med samma lagringskonton och samma metaarkiv. Vi rekommenderar att du använder en ny standardblobcontainer när du skapar klustret på nytt.

Från klustrets startsida:

  1. Välj Ta bort på den översta menyn.
  2. Följ instruktionerna från den nya sidan.

Se även Pausa/stänga av kluster.

Lägga till fler lagringskonton

Du kan lägga till Azure Storage-konton och Azure Data Lake Storage-konton när ett kluster har skapats. Mer information finns i Add additional storage accounts to HDInsight (Lägga till fler lagringskonton till HDInsight).

Skala kluster

Med klusterskalningsfunktionen kan du ändra antalet arbetsnoder som används av ett Azure HDInsight kluster utan att behöva skapa klustret på nytt.

Se Skala HDInsight-kluster för fullständig information.

Pausa/stänga av kluster

De flesta Hadoop-jobb är batchjobb som bara körs ibland. För de flesta Hadoop-kluster finns det stora tidsperioder då klustret inte används för bearbetning. Med HDInsight lagras dina data i Azure Storage, så att du på ett säkert sätt kan ta bort ett kluster när det inte används. Du debiteras också för ett HDInsight-kluster, även när det inte används. Eftersom avgifterna för klustret är många gånger högre än avgifterna för lagring är det ekonomiskt klokt att ta bort kluster när de inte används.

Det finns många sätt att programmera processen:

Prisinformation finns i HDInsight-priser. Information om hur du tar bort ett kluster från portalen finns i Ta bort kluster

Uppgradera kluster

Se Uppgradera HDInsight-kluster till en nyare version.

Öppna webbgränssnittet för Apache Ambari

Ambari tillhandahåller ett intuitivt, lättanvändargränssnitt för Hadoop-hanteringswebb som backas upp av dess RESTful-API:er. Ambari gör det möjligt för systemadministratörer att hantera och övervaka Hadoop-kluster.

Från klustrets startsida:

  1. Välj Klusterinstrumentpaneler.

    HDInsight Apache Hadoop-klustermeny

  2. Välj Ambari-start från den nya sidan.

  3. Ange klustrets användarnamn och lösenord. Standardklustrets användarnamn är admin.

Mer information finns i Hantera HDInsight-kluster med apache Ambari-webbgränssnittet.

Ändra lösenord

Ett HDInsight-kluster kan ha två användarkonton. HDInsight-klustrets användarkonto (HTTP-användarkonto) och SSH-användarkontot skapas under skapandeprocessen. Du kan använda portalen för att ändra lösenordet för klustrets användarkonto och skriptåtgärder för att ändra SSH-användarkontot.

Ändra klusteranvändarlösenordet

Anteckning

Om du ändrar lösenordet för klusteranvändaren (admin) kan skriptåtgärder som körs mot det här klustret misslyckas. Om du har några bestående skriptåtgärder som riktar in sig på arbetsnoder kan skripten misslyckas när du lägger till noder i klustret via storleksändringsåtgärder. Mer information om skriptåtgärder finns i Anpassa HDInsight-kluster med skriptåtgärder.

Från klustrets startsida:

  1. Välj SSH + klusterinloggning under Inställningar.
  2. Välj Återställ autentiseringsuppgifter.
  3. Ange och bekräfta nytt lösenord i textrutorna.
  4. Välj OK.

Lösenordet ändras på alla noder i klustret.

Ändra SSH-användarlösenordet eller den offentliga nyckeln

  1. Använd en textredigerare och spara följande text som en fil med namnet changecredentials.sh.

    Viktigt

    Du måste använda en redigerare som använder LF som radslut. Om redigeraren använder CRLF fungerar inte skriptet.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Upload filen till en lagringsplats som kan nås från HDInsight med hjälp av en HTTP- eller HTTPS-adress. Till exempel ett offentligt filarkiv, till exempel OneDrive eller Azure Blob Storage. Spara URI:n (HTTP eller HTTPS-adress) i filen eftersom den här URI:n behövs i nästa steg.

  3. På klustrets startsidaväljer du Skriptåtgärder under Inställningar.

  4. På sidan Skriptåtgärder väljer du Skicka ny.

  5. På sidan Skicka skriptåtgärd anger du följande information:

Anteckning

SSH-lösenord får inte innehålla följande tecken:

" ' ` / \ < % ~ | $ & !
Fält Värde
Skripttyp Välj – Anpassad i listrutan.
Name "Ändra SSH-autentiseringsuppgifter"
URI för Bash-skript URI:en till changecredentials.sh filen
Nodtyper: (Huvud, Arbetsroll, Nimbus, Övervakare eller Zookeeper.) √ för alla nodtyper i listan
Parametrar Ange SSH-användarnamnet och sedan det nya lösenordet. Det bör finnas ett blanksteg mellan användarnamnet och lösenordet.
Spara den här skriptåtgärden ... Lämna det här fältet avmarkerat.
  1. Välj Skapa för att tillämpa skriptet. När skriptet är klart kan du ansluta till klustret med hjälp av SSH med de nya autentiseringsuppgifterna.

Hitta prenumerations-ID:t

Varje kluster är kopplat till en Azure-prenumeration. Azure-prenumerations-ID:t visas på klustrets startsida.

Hitta resursgruppen

I Azure Resource Manager läge skapas varje HDInsight-kluster med en Azure Resource Manager grupp. Den Resource Manager gruppen visas på klustrets startsida.

Hitta lagringskontona

HDInsight-kluster använder antingen ett Azure Storage-konto eller Azure Data Lake-Storage för att lagra data. Varje HDInsight-kluster kan ha ett standardlagringskonto och ett antal länkade lagringskonton. Om du vill visa en lista över lagringskontona går du till klustrets startsida under Inställningar och väljer Storage konton.

Övervaka jobb

Se Hantera HDInsight-kluster med apache Ambari-webbgränssnittet.

Klusterstorlek

Panelen Klusterstorlek från klustrets startsida visar antalet kärnor som allokerats till det här klustret och hur de allokeras för noderna i det här klustret.

Viktigt

Om du vill övervaka de tjänster som tillhandahålls av HDInsight-klustret måste du använda Ambari Web eller Ambari-REST API. Mer information om hur du använder Ambari finns i Hantera HDInsight-kluster med Apache Ambari

Anslut till ett kluster

Nästa steg

I den här artikeln har du lärt dig några grundläggande administrativa funktioner. Mer information finns i följande artiklar: