Správa Apache Hadoop clusterů ve službě HDInsight pomocí Azure Portal

Pomocí Azure Portalmůžete spravovat Apache Hadoop clustery v Azure HDInsight. Informace o správě clusterů Hadoop ve službě HDInsight pomocí jiných nástrojů najdete v selektoru karet výše.

Požadavky

Existující cluster Apache Hadoop ve službě HDInsight. Další informace najdete v tématu Vytváření clusterů se systémem Linux ve službě HDInsight Azure Portal.

Začínáme

Přihlaste se k webu https://portal.azure.com.

Zobrazení a zobrazení clusterů

Na stránce Clustery HDInsight se zobrazí seznam stávajících clusterů. Z portálu:

1. V nabídce vlevo vyberte Všechny služby.
2. V části ANALÝZA vyberte Clustery HDInsight.

Domovská stránka clusteru

Na stránce Clustery HDInsight vyberte název vašeho clusteru. Otevře se zobrazení Přehled, které vypadá podobně jako na následujícím obrázku:

Horní nabídka:

Nabídka vlevo:

• Nabídka vlevo nahoře

  Položka	Popis
  Přehled	Poskytuje obecné informace pro váš cluster.
  Protokol aktivit	Zobrazení a dotazování protokolů aktivit
  Řízení přístupu (IAM)	Použijte přiřazení rolí. Viz Přiřazení rolí Azure pro správu přístupu k prostředkům předplatného Azure.
  Značky	Umožňuje nastavit páry klíč/hodnota a definovat vlastní taxonomii cloudových služeb. Můžete například vytvořit klíč s názvem project a pak použít společnou hodnotu pro všechny služby přidružené ke konkrétnímu projektu.
  Diagnostikovat a řešit problémy	Zobrazení informací o řešení potíží
  Rychlé zprovoznění	Zobrazí informace, které vám pomohou začít používat HDInsight.
  nástroje	Informace nápovědy pro nástroje související se službou HDInsight.

• Nabídka Nastavení

  Položka	Popis
  Velikost clusteru	Zkontrolujte, zvyšte a snižte počet pracovních uzlů clusteru. Viz Škálování clusterů.
  Maximální kvóty	Zobrazte použitá a dostupná jádra pro vaše předplatné.
  SSH a přihlášení ke clusteru	Ukazuje pokyny pro připojení ke clusteru pomocí Secure Shell (SSH). Další informace najdete v tématu Použití SSH se službou HDInsight.
  Data Lake Storage Gen1	Nakonfigurujte přístup ke data lake Storage Gen1. Viz Rychlý start: Nastavení clusterů ve službě HDInsight.
  Účty úložiště	Prohlédněte si účty úložiště a klíče. Účty úložiště se konfiguruje během procesu vytváření clusteru.
  Aplikace	Přidání nebo odebrání aplikací HDInsight. Viz Instalace vlastních aplikací HDInsight.
  Akce skriptů	Spusťte v clusteru skripty Bash. Viz Přizpůsobení clusterů HDInsightse systémem Linux pomocí akce skriptu .
  Externí metastory	Prohlédněte si Apache Hive a metastory Apache Oozie. Metastory je možné nakonfigurovat pouze během procesu vytváření clusteru.
  Partner služby HDInsight	Přidejte nebo odeberte aktuálního partnera HDInsight.
  Vlastnosti	Zobrazení vlastností clusteru
  Zámky	Přidejte zámek, který zabrání chytám nebo odstranění clusteru.
  Export šablony	Zobrazte a exportujte Azure Resource Manager pro cluster. V současné době můžete exportovat pouze závislý účet úložiště Azure. Další informace najdete v tématu Vytváření clusterů Apache Hadoop linuxových clusterů ve službě HDInsight Azure Resource Manager šablonách.

• Nabídka Monitorování

  Položka	Popis
  Výstrahy	Správa výstrah a akcí
  Metriky	Monitorujte metriky clusteru v Azure Monitor protokolech.
  Nastavení diagnostiky	Nastavení, kam uložit diagnostické metriky.
  Azure Monitor	Monitorujte cluster v Azure Monitor.

• Podpora a nabídka řešení potíží

  Položka	Popis
  Stav prostředků	Viz Přehled služby Azure Resource Health.
  Nová žádost o podporu	Umožňuje vytvořit lístek podpory s podporou Microsoftu.

Vlastnosti clusteru

na domovské stránce clusteruv části Nastavení vyberte vlastnosti.

Přesunout clustery

Cluster HDInsight můžete přesunout do jiné skupiny prostředků Azure nebo jiného předplatného.

Z domovské stránky clusteru:

1. V horní nabídce vyberte přesunout .
2. Vyberte přesunout do jiné skupiny prostředků nebo Přejít na jiné předplatné.
3. Postupujte podle pokynů na nové stránce.

Odstranění clusterů

Odstranění clusteru neodstraní výchozí účet úložiště ani žádné propojené účty úložiště. Cluster můžete znovu vytvořit pomocí stejných účtů úložiště a stejného metaúložiště. Při opětovném vytvoření clusteru doporučujeme použít nový výchozí kontejner objektů BLOB.

Z domovské stránky clusteru:

1. V horní nabídce vyberte Odstranit .
2. Postupujte podle pokynů na nové stránce.

Viz také pozastavit/vypnout clustery.

Přidání dalších účtů úložiště

po vytvoření clusteru můžete přidat další účty Azure Storage a účty Azure Data Lake Storage. Další informace najdete v tématu Přidání dalších účtů úložiště do služby HDInsight.

Škálování clusterů

Funkce škálování clusteru umožňuje změnit počet pracovních uzlů používaných clusterem Azure HDInsight, aniž by bylo nutné cluster znovu vytvořit.

Úplné informace najdete v tématu věnovaném škálování clusterů HDInsight .

Pozastavit/vypnout clustery

Většina úloh systému Hadoop je dávkových úloh, které jsou spouštěny pouze občas. Pro většinu clusterů Hadoop je k dispozici velké časové období, po které se cluster nepoužívá ke zpracování. ve službě HDInsight jsou vaše data uložená v Azure Storage, takže můžete cluster bezpečně odstranit, pokud se nepoužívá. Účtují se vám také poplatky za cluster HDInsight, a to i v případě, že se už nepoužívá. Vzhledem k tomu, že se poplatky za cluster mnohokrát účtují rychleji než poplatky za úložiště, má ekonomický smysl odstraňovat clustery, když se nepoužívají.

Proces můžete programovat mnoha způsoby:

• Uživatel Azure Data Factory. Další informace najdete v tématu Vytvoření propojených služeb HDInsight na vyžádání pro systémy Linux Apache Hadoop v HDInsight pomocí Azure Data Factory .
• Použijte Azure PowerShell. Viz Analýza dat o zpoždění letu.
• Použijete Azure CLI Přečtěte si téma Správa clusterů Azure HDInsight pomocí Azure CLI.
• Použijte sadu HDInsight .NET SDK. Viz odeslání Apache Hadoop úloh.

Informace o cenách najdete v tématu ceny služby HDInsight. Postup odstranění clusteru z portálu najdete v tématu odstranění clusterů .

Upgradovat clustery

Viz upgrade clusteru HDInsight na novější verzi.

Otevření webového uživatelského rozhraní Apache Ambari

Ambari poskytuje intuitivní a snadno použitelné webové uživatelské rozhraní správy Hadoop, které zajišťuje rozhraní API pro RESTful. Ambari umožňuje správcům systémů spravovat a monitorovat clustery Hadoop.

Z domovské stránky clusteru:

1. Vyberte řídicí panely clusteru.

   

2. Na nové stránce vyberte Ambari domů .

3. Zadejte uživatelské jméno a heslo clusteru. Výchozí uživatelské jméno clusteru je admin.

Další informace najdete v tématu Správa clusterů HDInsight pomocí webového uživatelského rozhraní Apache Ambari.

Změna hesel

Cluster An HDInsight může mít dva uživatelské účty. Během procesu vytváření se vytvoří uživatelský účet clusteru HDInsight (uživatelský účet HTTP) a uživatelský účet SSH. Portál můžete použít ke změně hesla uživatelského účtu clusteru a akcí skriptů ke změně uživatelského účtu SSH.

Změna hesla uživatele clusteru

Z domovské stránky clusteru:

1. v části Nastavení vyberte SSH + přihlášení clusteru .
2. Vyberte resetovat přihlašovací údaje.
3. Do textových polí zadejte a potvrďte nové heslo.
4. Vyberte OK.

Heslo se změní na všech uzlech v clusteru.

Změna uživatelského hesla nebo veřejného klíče SSH

1. Pomocí textového editoru uložte následující text jako soubor s názvem changecredentials.sh.

   Důležité

   Musíte použít editor, který používá LF jako konec řádku. Pokud editor používá CRLF, skript nefunguje.

   #! /bin/bash
   USER=$1
   PASS=$2
   usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER
   

2. Upload soubor do umístění úložiště, ke které je možné získat přístup ze služby HDInsight pomocí adresy HTTP nebo HTTPS. Například veřejné úložiště souborů, jako je OneDrive úložiště objektů blob v Azure. Uložte identifikátor URI (adresu HTTP nebo HTTPS) do souboru , protože ho potřebujete v dalším kroku.

3. Na domovské stránce clusteru vyberteAkce skriptů v části Nastavení.

4. Na stránce Akce skriptů vyberte Odeslat nový.

5. Na stránce Odeslat akci skriptu zadejte následující informace:

" ' ` / \ < % ~ | $ & ! 

6. Výběrem možnosti Vytvořit skript použijte. Po dokončení skriptu se budete moct připojit ke clusteru pomocí SSH s novými přihlašovacími údaji.

Vyhledání ID předplatného

Každý cluster je svázán s předplatným Azure. ID předplatného Azure je vidět na domovské stránce clusteru.

Vyhledání skupiny prostředků

V Azure Resource Manager se každý cluster HDInsight vytvoří s Azure Resource Manager clusteru. Skupina Resource Manager je viditelná z domovské stránky clusteru.

Vyhledání účtů úložiště

Clustery HDInsight používají k ukládání dat Azure Storage účet služby Azure Data Lake Storage účet služby Azure Data Lake. Každý cluster HDInsight může mít jeden výchozí účet úložiště a několik propojených účtů úložiště. Pokud chcete zobrazit seznam účtů úložiště, na domovské stránce clusteru v části Nastavení vyberte Storage účty.

Monitorování úloh

Viz Správa clusterů HDInsight pomocí webového uživatelského rozhraní Apache Ambari.

Velikost clusteru

Dlaždice Velikost clusteru z domovské stránky clusteru zobrazuje počet jader přidělených tomuto clusteru a způsob jejich přidělení uzlům v tomto clusteru.

Připojení ke clusteru

• Použití Apache Hive se službou HDInsight
• Použití SSH s HDInsightem

Další kroky

V tomto článku jste se naučili některé základní funkce správy. Další informace najdete v těchto článcích:

• Správa služby HDInsight pomocí Azure PowerShell
• Správa SLUŽBY HDInsight pomocí Azure CLI
• Vytváření clusterů HDInsight
• Podrobnosti o používání apache ambari REST API
• Použití Apache Hive v HDInsightu
• Použití Apache Sqoopu ve službě HDInsight
• Použití uživatelem definovaných funkcí (UDF) Pythonu s Apache Hive a Apache Pig ve službě HDInsight
• Jaká verze Apache Hadoop je v Azure HDInsight?