Správa clusterů Apache Hadoop ve službě HDInsight pomocí webu Azure Portal

  • Článek

Pomocí webu Azure Portal můžete spravovat clustery Apache Hadoop ve službě Azure HDInsight. Pomocí selektoru karet potřebujete informace o správě clusterů Hadoop v HDInsight pomocí jiných nástrojů.

Požadavky

Existující cluster Apache Hadoop ve službě HDInsight. Viz Vytváření linuxových clusterů v HDInsight pomocí webu Azure Portal.

Začínáme

Přihlaste se ke službě https://portal.azure.com.

Výpis a zobrazení clusterů

Na stránce clusterů HDInsight se zobrazí seznam existujících clusterů. Na portálu:

  1. V nabídce vlevo vyberte Všechny služby .
  2. V části ANALYTICS vyberte clustery HDInsight.

Domovská stránka clusteru

Na stránce clusterů HDInsight vyberte název vašeho clusteru . Otevře se zobrazení Přehled , které vypadá podobně jako na následujícím obrázku:

Azure portal HDInsight cluster essentials.

Horní nabídka:

Položka Popis
Přesunout Přesune cluster do jiné skupiny prostředků nebo do jiného předplatného.
Odstranění Odstraní cluster.
Aktualizovat Aktualizuje zobrazení.

Levá nabídka:

  • Levá horní nabídka

    Položka Popis
    Přehled Poskytuje obecné informace o vašem clusteru.
    Protokol aktivit Zobrazení a dotazování protokolů aktivit
    Řízení přístupu (IAM) Použijte přiřazení rolí. Viz Přiřazení rolí Azure pro správu přístupu k prostředkům předplatného Azure.
    Značky Umožňuje nastavit páry klíč/hodnota pro definování vlastní taxonomie cloudových služeb. Můžete například vytvořit klíč pojmenovaný projekt a pak použít společnou hodnotu pro všechny služby přidružené ke konkrétnímu projektu.
    Diagnóza a řešení problémů Zobrazení informací o řešení potíží
    Rychlé zprovoznění Zobrazí informace, které vám pomůžou začít používat HDInsight.
    Nástroje Informace nápovědy pro nástroje související se službou HDInsight

  • nabídka Nastavení

    Položka Popis
    Velikost clusteru Zkontrolujte, zvyšte a snižte počet pracovních uzlů clusteru. Viz Škálování clusterů.
    Maximální kvóty Zobrazení použitých a dostupných jader pro vaše předplatné
    SSH + přihlašovací údaje clusteru Ukazuje pokyny pro připojení ke clusteru pomocí připojení Secure Shell (SSH). Další informace najdete v tématu Použití SSH se službou HDInsight.
    Data Lake Storage Gen1 Konfigurace přístupu ke službě Data Lake Storage Gen1 Viz Rychlý start: Nastavení clusterů ve službě HDInsight.
    Účty úložiště Zobrazte účty úložiště a klíče. Účty úložiště se konfigurují během procesu vytváření clusteru.
    Aplikace Přidání nebo odebrání aplikací HDInsight Viz Instalace vlastních aplikací HDInsight.
    Akce skriptů Spusťte skripty Bash v clusteru. Viz Přizpůsobení clusterů HDInsight se systémem Linux pomocí akce skriptu.
    Externí metastory Prohlédněte si metastory Apache Hive a Apache Oozie . Metastory je možné nakonfigurovat pouze během procesu vytváření clusteru.
    Partner HDInsight Přidejte nebo odeberte aktuálního partnera HDInsight.
    Vlastnosti Zobrazte vlastnosti clusteru.
    Zámky Přidejte zámek, který zabrání úpravě nebo odstranění clusteru.
    Export šablony Zobrazení a export šablony Azure Resource Manageru pro cluster V současné době můžete exportovat pouze závislý účet úložiště Azure. Viz Vytváření linuxových clusterů Apache Hadoop ve službě HDInsight pomocí šablon Azure Resource Manageru.

  • Nabídka Monitorování

    Položka Popis
    Výstrahy Umožňuje spravovat výstrahy a akce.
    Metriky Monitorujte metriky clusteru v protokolech služby Azure Monitor.
    Nastavení diagnostiky Nastavení, kam se mají ukládat metriky diagnostiky.
    Azure Monitor Monitorujte cluster ve službě Azure Monitor.

  • Nabídka Podpora a řešení potíží

    Položka Popis
    Stav prostředků Viz přehled služby Azure Resource Health.
    Nová žádost o podporu Umožňuje vytvořit lístek podpory s podporou Microsoftu.

Vlastnosti clusteru

Na domovské stránce clusteru v části Nastavení vyberte Vlastnosti.

Položka Popis
NÁZEV HOSTITELE Název clusteru
ADRESA URL CLUSTERU Adresa URL webového rozhraní Ambari.
Privátní koncový bod Privátní koncový bod clusteru.
Secure Shell (SSH) Uživatelské jméno a název hostitele, které se mají použít při přístupu ke clusteru přes SSH.
STAV Jedna z těchto možností: Přerušeno, Přijato, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Delete, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued nebo ClusterCustomization.
OBLAST Umístění Azure Seznam podporovaných umístění Azure najdete v rozevíracím seznamu Oblast s cenami služby HDInsight.
DATUM VYTVOŘENÍ Datum nasazení clusteru
OPERAČNÍ SYSTÉM Windows nebo Linux.
TYP Hadoop, HBase, Spark.
Verze Viz verze HDInsight.
Minimální verze protokolu TLS Verze protokolu TLS.
PŘEDPLATNÉ Název předplatného
VÝCHOZÍ ZDROJ DAT Výchozí systém souborů clusteru.
Velikosti pracovních uzlů Vybraná velikost virtuálního počítače pracovních uzlů
Velikost hlavního uzlu Vybraná velikost virtuálního počítače hlavních uzlů.
Virtuální síť Název virtuální sítě, kterou je cluster nasazený, pokud byl vybrán v době nasazení.

Přesun clusterů

Cluster HDInsight můžete přesunout do jiné skupiny prostředků Azure nebo jiného předplatného.

Na domovské stránce clusteru:

  1. V horní nabídce vyberte Přesunout .
  2. Vyberte Přesunout do jiné skupiny prostředků nebo Přesunout do jiného předplatného.
  3. Postupujte podle pokynů na nové stránce.

Odstranění clusterů

Odstranění clusteru neodstraní výchozí účet úložiště ani žádné propojené účty úložiště. Cluster můžete znovu vytvořit pomocí stejných účtů úložiště a stejných metastorů. Při opětovném vytvoření clusteru doporučujeme použít nový výchozí kontejner objektů blob.

Na domovské stránce clusteru:

  1. V horní nabídce vyberte Odstranění.
  2. Postupujte podle pokynů na nové stránce.

Viz také Pozastavení nebo vypnutí clusterů.

Přidání dalších účtů úložiště

Po vytvoření clusteru můžete přidat další účty Azure Storage a účty Azure Data Lake Storage. Další informace najdete v tématu Přidání dalších účtů úložiště do služby HDInsight.

Škálování clusterů

Funkce škálování clusteru umožňuje změnit počet pracovních uzlů používaných clusterem Azure HDInsight, aniž byste museli cluster znovu vytvořit.

Úplné informace najdete v tématu Škálování clusterů HDInsight.

Pozastavení nebo vypnutí clusterů

Většina úloh Hadoopu je dávkové úlohy, které se spouštějí jen občas. U většiny clusterů Hadoop existuje velká doba, po kterou se cluster nepoužívá ke zpracování. S HDInsight jsou vaše data uložená ve službě Azure Storage, takže můžete cluster bezpečně odstranit, když se nepoužívá. Za cluster HDInsight se vám také účtují poplatky, i když se nepoužívá. Vzhledem k tomu, že poplatky za cluster jsou mnohokrát vyšší než poplatky za úložiště, dává smysl odstranit clustery, když se nepoužívají.

Proces můžete programovat mnoha způsoby:

Informace o cenách najdete v tématu Ceny služby HDInsight. Odstranění clusteru z portálu najdete v tématu Odstranění clusterů.

Upgrade clusterů

Viz Upgrade clusteru HDInsight na novější verzi.

Otevření webového uživatelského rozhraní Apache Ambari

Ambari poskytuje intuitivní a snadno použitelné webové uživatelské rozhraní pro správu Hadoop založené na jeho rozhraních RESTful API. Ambari umožňuje správcům systému spravovat a monitorovat clustery Hadoop.

Na domovské stránce clusteru:

  1. Vyberte řídicí panely clusteru.

    HDInsight Apache Hadoop cluster menu.

  2. Na nové stránce vyberte domovskou stránku Ambari.

  3. Zadejte uživatelské jméno a heslo clusteru. Výchozí uživatelské jméno clusteru je správce.

Další informace najdete v tématu Správa clusterů HDInsight pomocí webového uživatelského rozhraní Apache Ambari.

Změna hesel

Cluster HDInsight může mít dva uživatelské účty. Uživatelský účet clusteru HDInsight (uživatelský účet HTTP) a uživatelský účet SSH se vytvoří během procesu vytváření. Pomocí portálu můžete změnit heslo uživatelského účtu clusteru a akce skriptů pro změnu uživatelského účtu SSH.

Změna uživatelského hesla clusteru

Poznámka:

Změna hesla uživatele clusteru (správce) může způsobit selhání akcí skriptu spuštěných u tohoto clusteru. Pokud máte nějaké trvalé akce skriptu, které cílí na pracovní uzly, tyto skripty můžou selhat, když přidáte uzly do clusteru prostřednictvím operací změny velikosti. Další informace o akcích skriptů najdete v tématu Přizpůsobení clusterů HDInsight pomocí akcí skriptů.

Na domovské stránce clusteru:

  1. V části Nastavení vyberte přihlášení ke clusteru SSH a clusteru.
  2. Vyberte Resetovat přihlašovací údaje.
  3. Do textových polí zadejte a potvrďte nové heslo.
  4. Vyberte OK.

Heslo se změní na všech uzlech v clusteru.

Změna uživatelského hesla nebo veřejného klíče SSH

  1. Pomocí textového editoru uložte následující text jako soubor s názvem changecredentials.sh.

    Důležité

    Jako konec řádku musíte použít editor, který používá LF. Pokud editor používá CRLF, skript nefunguje.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Nahrajte soubor do umístění úložiště, ke kterému je možné přistupovat ze služby HDInsight pomocí adresy HTTP nebo HTTPS. Například veřejné úložiště souborů, jako je OneDrive nebo Azure Blob Storage. Uložte identifikátor URI (HTTP nebo adresu HTTPS) do souboru, protože tento identifikátor URI je potřeba v dalším kroku.

  3. Na domovské stránce clusteru vyberte v části Nastavení akce skriptů.

  4. Na stránce Akce skriptu vyberte Odeslat nový.

  5. Na stránce akce Odeslat skript zadejte následující informace:

Poznámka:

Hesla SSH nesmí obsahovat následující znaky:

" ' ` / \ < % ~ | $ & ! #

Pole Hodnota
Typ skriptu V rozevíracím seznamu vyberte – Vlastní .
Název Změna přihlašovacích údajů SSH
Identifikátor URI skriptu Bash Identifikátor URI souboru changecredentials.sh
Typy uzlů: (Head, Worker, Nimbus, Supervisor nebo Zookeeper.) – pro všechny uvedené typy uzlů
Parametry Zadejte uživatelské jméno SSH a nové heslo. Mezi uživatelským jménem a heslem by měla být jedna mezera.
Zachovat tuto akci skriptu... Toto pole nechte nezaškrtnuté.
  1. Vyberte Vytvořit , aby se skript použil. Po dokončení skriptu se můžete ke clusteru připojit pomocí SSH s novými přihlašovacími údaji.

Vyhledání ID předplatného

Každý cluster je svázaný s předplatným Azure. ID předplatného Azure je viditelné na domovské stránce clusteru.

Vyhledání skupiny prostředků

V režimu Azure Resource Manager se každý cluster HDInsight vytvoří se skupinou Azure Resource Manageru. Skupina Resource Manageru je viditelná na domovské stránce clusteru.

Vyhledání účtů úložiště

Clustery HDInsight používají k ukládání dat účet Azure Storage nebo Azure Data Lake Storage. Každý cluster HDInsight může mít jeden výchozí účet úložiště a několik propojených účtů úložiště. Pokud chcete zobrazit seznam účtů úložiště, vyberte na domovské stránce clusteru v části Nastavení účty úložiště.

Monitorování úloh

Viz Správa clusterů HDInsight pomocí webového uživatelského rozhraní Apache Ambari.

Velikost clusteru

Dlaždice Velikost clusteru z domovské stránky clusteru zobrazuje počet jader přidělených tomuto clusteru a způsob jejich přidělení pro uzly v tomto clusteru.

Důležité

Pokud chcete monitorovat služby poskytované clusterem HDInsight, musíte použít web Ambari nebo rozhraní Ambari REST API. Další informace o používání Ambari najdete v tématu Správa clusterů HDInsight pomocí Apache Ambari.

Připojení ke clusteru

Další kroky

V tomto článku jste se naučili některé základní funkce správy. Další informace najdete v těchto článcích: