Nainstalovat a používat rozhraní Hue v clusterech HDInsight HadoopInstall and use Hue on HDInsight Hadoop clusters

Zjistěte, jak instalace aplikace Hue v clusterech HDInsight a směrovat požadavky na odstín, který pomocí tunelové propojení.Learn how to install Hue on HDInsight clusters and use tunneling to route the requests to Hue.

Co je Hue?What is Hue?

Odstín, který je sada webových aplikací používaných pro interakci s clusterem Apache Hadoop.Hue is a set of Web applications used to interact with an Apache Hadoop cluster. Použití Hue procházet úložiště spojené s clusterem Hadoop (v případě clusterů HDInsight WASB), spouštět úlohy Hive a Pig skripty a tak dále.You can use Hue to browse the storage associated with a Hadoop cluster (WASB, in the case of HDInsight clusters), run Hive jobs and Pig scripts, and so on. Následující komponenty jsou k dispozici instalace aplikace Hue v clusteru HDInsight Hadoop.The following components are available with Hue installations on an HDInsight Hadoop cluster.

  • Beeswax Hive EditorBeeswax Hive Editor
  • Apache PigApache Pig
  • Správce úložiště metadatMetastore manager
  • Apache OozieApache Oozie
  • FileBrowser (která komunikuje s výchozí kontejner WASB)FileBrowser (which talks to WASB default container)
  • Prohlížeč úlohJob Browser

Varování

Součásti, které jsou součástí clusteru HDInsight jsou plně podporované a Microsoft Support pomáhá izolovat a vyřešit problémy týkající se těchto součástí.Components provided with the HDInsight cluster are fully supported and Microsoft Support will help to isolate and resolve issues related to these components.

Vlastní komponenty získat obchodně přiměřenou podporu můžete-li dále řešit tento problém.Custom components receive commercially reasonable support to help you to further troubleshoot the issue. To může vést řeší problém nebo s výzvou k zapojení dostupné kanály pro open source technologie, ve kterých se nachází rozsáhlé znalosti pro tuto technologii.This might result in resolving the issue OR asking you to engage available channels for the open source technologies where deep expertise for that technology is found. Existuje například mnoho komunitním webům, které lze použít jako: Fórum na webu MSDN pro HDInsight, https://stackoverflow.com .For example, there are many community sites that can be used, like: MSDN forum for HDInsight, https://stackoverflow.com. Také projektů Apache mít projektovým webům na https://apache.org , například: Hadoop.Also Apache projects have project sites on https://apache.org, for example: Hadoop.

Instalace aplikace Hue pomocí akcí skriptůInstall Hue using Script Actions

Skript pro instalaci aplikace Hue do clusteru HDInsight se systémem Linux je k dispozici na https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh. Tento skript můžete použít postup instalace aplikace Hue v clusterech s objekty BLOB Azure Storage (WASB) nebo Azure Data Lake Storage jako výchozí úložiště.The script to install Hue on a Linux-based HDInsight cluster is available at https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh. You can use this script to install Hue on clusters with either Azure Storage Blobs (WASB) or Azure Data Lake Storage as default storage.

Tato část obsahuje informace o tom, jak pomocí skriptu při zřizování clusteru pomocí webu Azure portal.This section provides instructions about how to use the script when provisioning the cluster using the Azure portal.

Poznámka

Prostředí Azure PowerShell, rozhraní příkazového řádku Azure Classic, sady HDInsight .NET SDK nebo šablony Azure Resource Manageru je také možné použití akce skriptu.Azure PowerShell, the Azure Classic CLI, the HDInsight .NET SDK, or Azure Resource Manager templates can also be used to apply script actions. Akce se skripty můžete také použít k už běží clustery.You can also apply script actions to already running clusters. Další informace najdete v tématu HDInsight přizpůsobit clustery pomocí skriptových akcí.For more information, see Customize HDInsight clusters with Script Actions.

  1. Zahajte zřizování clusteru pomocí kroků v zřídit HDInsight clustery v Linuxu, ale nedokončí zřizování.Start provisioning a cluster by using the steps in Provision HDInsight clusters on Linux, but do not complete provisioning.

    Poznámka

    Postup instalace aplikace Hue v clusterech HDInsight, velikost doporučená hlavního uzlu je nejméně A4 (8 jader, 14 GB paměti).To install Hue on HDInsight clusters, the recommended headnode size is at least A4 (8 cores, 14 GB memory).

  2. Na volitelná konfigurace okně vyberte akcí skriptůa zadejte informace, jak je znázorněno níže:On the Optional Configuration blade, select Script Actions, and provide the information as shown below:

    Zadejte parametry akce skriptu pro HueProvide script action parameters for Hue

  3. V dolní části akcí skriptů, použijte vyberte tlačítko, čímž konfiguraci uložíte.At the bottom of the Script Actions, use the Select button to save the configuration. Nakonec použijte vyberte tlačítko v dolní části volitelná konfigurace okno a uložte informace o konfiguraci volitelné.Finally, use the Select button at the bottom of the Optional Configuration blade to save the optional configuration information.

  4. Pokračovat zřizování clusteru, jak je popsáno v zřídit HDInsight clustery v Linuxu.Continue provisioning the cluster as described in Provision HDInsight clusters on Linux.

Použití Hue s clustery HDInsightUse Hue with HDInsight clusters

Tunelové připojení pomocí protokolu SSH je jediný způsob, jak přistupovat k odstín, který v clusteru, jakmile je spuštěna.SSH Tunneling is the only way to access Hue on the cluster once it is running. Tunelovým propojením přes SSH umožní provoz a přejděte rovnou k hlavnímu uzlu clusteru se spuštěným systémem odstín.Tunneling via SSH allows the traffic to go directly to the headnode of the cluster where Hue is running. Po dokončení zřizování clusteru použití Hue v clusteru HDInsight Linux pomocí následujících kroků.After the cluster has finished provisioning, use the following steps to use Hue on an HDInsight Linux cluster.

Poznámka

Doporučujeme, abyste pomocí webového prohlížeče Firefox postupovat podle pokynů níže.We recommend using Firefox web browser to follow the instructions below.

  1. Pomocí informací v používání tunelového propojení SSH pro přístup k webové uživatelské rozhraní Apache Ambari, ResourceManager, JobHistory, NameNode, Oozie a dalším webovým Uživatelským rozhraním vytvoření tunelu SSH z klientského systému do clusteru HDInsight, a potom nakonfigurujte Webový prohlížeč pro použití tunelu SSH jako proxy server.Use the information in Use SSH Tunneling to access Apache Ambari web UI, ResourceManager, JobHistory, NameNode, Oozie, and other web UI's to create an SSH tunnel from your client system to the HDInsight cluster, and then configure your Web browser to use the SSH tunnel as a proxy.

  2. Po vytvoření tunelu SSH a nakonfigurovaný v prohlížeči skrze ni provoz proxy, musíte najít název hostitele primárnímu hlavnímu uzlu.Once you have created an SSH tunnel and configured your browser to proxy traffic through it, you must find the host name of the primary head node. To můžete provést připojení ke clusteru pomocí SSH na portu 22.You can do this by connecting to the cluster using SSH on port 22. Například ssh USERNAME@CLUSTERNAME-ssh.azurehdinsight.net kde uživatelské jméno se svým uživatelským jménem SSH a CLUSTERNAME je název vašeho clusteru.For example, ssh USERNAME@CLUSTERNAME-ssh.azurehdinsight.net where USERNAME is your SSH user name and CLUSTERNAME is the name of your cluster.

    Další informace najdete v tématu Použití SSH se službou HDInsight.For more information, see Use SSH with HDInsight.

  3. Jakmile budete připojeni, použijte následující příkaz získat plně kvalifikovaný název primárnímu hlavnímu uzlu:Once connected, use the following command to obtain the fully qualified domain name of the primary headnode:

     hostname -f
    

    Vrátí název nějak takto:This will return a name similar to the following:

     hn0-myhdi-nfebtpfdv1nubcidphpap2eq2b.ex.internal.cloudapp.net
    

    Toto je název hostitele primárnímu hlavnímu uzlu, kde se nachází na webu Hue.This is the hostname of the primary headnode where the Hue website is located.

  4. Pro otevření portál Hue HTTP použijte prohlížeč://HOSTNAME:8888.Use the browser to open the Hue portal at http://HOSTNAME:8888. Nahraďte názvem hostitele s názvem, který jste získali v předchozím kroku.Replace HOSTNAME with the name you obtained in the previous step.

    Poznámka

    Po přihlášení poprvé vyzve k vytvoření účtu k přihlášení na portál Hue.When you log in for the first time, you will be prompted to create an account to log in to the Hue portal. Přihlašovací údaje, které zadáte tady bude omezená na portálu a nesouvisí se správce nebo přihlašovacích údajů uživatele SSH, které jste zadali během zřizování clusteru.The credentials you specify here will be limited to the portal and are not related to the admin or SSH user credentials you specified while provision the cluster.

    Přihlaste se k portálu HueLogin to the Hue portal

Spuštění dotazu HiveRun a Hive query

  1. Portál Hue, klikněte na dotazu editorya potom klikněte na tlačítko Hive otevřete Hive editor.From the Hue portal, click Query Editors, and then click Hive to open the Hive editor.

    Použití HivuUse Hive

  2. Na pomoct ve skupině databáze, byste měli vidět hivesampletable.On the Assist tab, under Database, you should see hivesampletable. Toto je ukázka tabulky, který je součástí všech clustery Hadoop v HDInsight.This is a sample table that is shipped with all Hadoop clusters on HDInsight. V pravém podokně zadejte ukázkový dotaz a zobrazit výstup na výsledky kartě v podokně pod, jak je znázorněno na snímku obrazovky.Enter a sample query in the right pane and see the output on the Results tab in the pane below, as shown in the screen capture.

    Spuštění dotazu HiveRun Hive query

    Můžete také použít grafu kartu pro zobrazení vizuální znázornění výsledek.You can also use the Chart tab to see a visual representation of the result.

Procházet úložiště clusteruBrowse the cluster storage

  1. Z portálu Hue, klikněte na tlačítko prohlížeč souborů v pravém horním rohu řádku nabídek.From the Hue portal, click File Browser in the top-right corner of the menu bar.

  2. Ve výchozím nastavení se otevře prohlížeč souborů na /uživatel/myuser adresáře.By default the file browser opens at the /user/myuser directory. Klikněte na dopředné lomítko bezprostředně před adresáři uživatele cestu ke kořenové složce kontejneru úložiště Azure, které jsou přidružené ke clusteru.Click the forward slash right before the user directory in the path to go to the root of the Azure storage container associated with the cluster.

    Použití souboru prohlížečeUse file browser

  3. Klikněte pravým tlačítkem na soubor nebo složku, kterou chcete zobrazit dostupné operace.Right-click on a file or folder to see the available operations. Použití nahrát tlačítko v pravém rohu k nahrání souborů do aktuálního adresáře.Use the Upload button in the right corner to upload files to the current directory. Použití nový pro vytvoření nové soubory nebo adresáře.Use the New button to create new files or directories.

Poznámka

Prohlížeč souborů odstín, který lze zobrazit pouze obsah výchozí kontejner přidružené ke clusteru HDInsight.The Hue file browser can only show the contents of the default container associated with the HDInsight cluster. Žádné další účty/kontejnery úložiště, které vám mohou být přidruženy s clusterem nebudou přístupné pomocí prohlížeč souborů.Any additional storage accounts/containers that you might have associated with the cluster will not be accessible using the file browser. Však další kontejnery přidružené ke clusteru bude vždycky dostupný pro úlohy Hive.However, the additional containers associated with the cluster will always be accessible for the Hive jobs. Pokud zadáte tento příkaz například dfs -ls wasb://newcontainer@mystore.blob.core.windows.net v editoru Hive můžete zobrazit obsah i další kontejnery.For example, if you enter the command dfs -ls wasb://newcontainer@mystore.blob.core.windows.net in the Hive editor, you can see the contents of additional containers as well. V tomto příkazu newcontainer není výchozí kontejner související s clusterem.In this command, newcontainer is not the default container associated with a cluster.

Důležité informaceImportant considerations

  1. Skript pro instalaci aplikace Hue ho nainstaluje jenom na primární hlavní uzel clusteru.The script used to install Hue installs it only on the primary headnode of the cluster.

  2. Během instalace restartují se více služby Hadoop (HDFS, YARN, MR2, Oozie) pro aktualizaci konfigurace.During installation, multiple Hadoop services (HDFS, YARN, MR2, Oozie) are restarted for updating the configuration. Po dokončení skriptu instalace aplikace Hue, může trvat nějakou dobu jinými službami Hadoop a spouštění.After the script finishes installing Hue, it might take some time for other Hadoop services to start up. To může ovlivnit výkon vaší aplikace Hue původně.This might affect Hue's performance initially. Po spuštění všech služeb, odstín, který bude plně funkční.Once all services start up, Hue will be fully functional.

  3. Odstín, který nerozumí úlohy Apache Tez, což je výchozí pro Hive.Hue does not understand Apache Tez jobs, which is the current default for Hive. Pokud chcete použít jako Hive prováděcí modul MapReduce, aktualizujte skript, který chcete ve skriptu použijte následující příkaz:If you want to use MapReduce as the Hive execution engine, update the script to use the following command in your script:

     set hive.execution.engine=mr;
    
  4. Linuxové clustery máte scénáře, kde služby běží na primárnímu hlavnímu uzlu a správce prostředků mohl být spuštěn na sekundárním.With Linux clusters, you can have a scenario where your services are running on the primary headnode while the Resource Manager could be running on the secondary. Takový scénář může vést k chybám (viz dole) při použití odstín, který Pokud chcete zobrazit podrobnosti o spouštění úloh na clusteru.Such a scenario might result in errors (shown below) when using Hue to view details of RUNNING jobs on the cluster. Po dokončení úlohy, ale můžete zobrazit podrobnosti o úloze.However, you can view the job details when the job has completed.

    Chyba portál HueHue portal error

    Příčinou je známý problém.This is due to a known issue. Jako alternativní řešení upravte Ambari, tak, aby active Resource Manager je spuštěna také na primárnímu hlavnímu uzlu.As a workaround, modify Ambari so that the active Resource Manager also runs on the primary headnode.

  5. HUE rozumí WebHDFS, zatímco clustery HDInsight se používají služby Azure Storage pomocí wasb://.Hue understands WebHDFS while HDInsight clusters use Azure Storage using wasb://. Vlastní skript použít pomocí akce skriptu tedy nainstaluje WebWasb, což je služba kompatibilních s WebHDFS rozhovor WASB.So, the custom script used with script action installs WebWasb, which is a WebHDFS-compatible service for talking to WASB. Ano, i když portál Hue říká HDFS místech (podobně jako když jste najeďte myší prohlížeč souborů), by měl být interpretován jako WASB.So, even though the Hue portal says HDFS in places (like when you move your mouse over the File Browser), it should be interpreted as WASB.

Další postupNext steps

  • Clustery HDInsight nainstalovat Apache Giraph.Install Apache Giraph on HDInsight clusters. Clustery HDInsight Hadoop nainstalovat Giraph pomocí přizpůsobení clusteru.Use cluster customization to install Giraph on HDInsight Hadoop clusters. Giraph umožňuje provádět zpracování grafů pomocí Hadoopu a jde použít s Azure HDInsight.Giraph allows you to perform graph processing using Hadoop, and it can be used with Azure HDInsight.
  • Nainstalovat jazyk R na clusterech HDInsight.Install R on HDInsight clusters. Přizpůsobení clusteru použijte k instalaci R na clusterech HDInsight Hadoop.Use cluster customization to install R on HDInsight Hadoop clusters. R je open-source jazyk a prostředí pro statistické výpočty.R is an open-source language and environment for statistical computing. Nabízí stovky integrovaných statistické funkce a vlastní programovací jazyk, který kombinuje aspektů funkční a objektově orientované programování.It provides hundreds of built-in statistical functions and its own programming language that combines aspects of functional and object-oriented programming. Také nabízí rozsáhlé možnosti pro grafický.It also provides extensive graphical capabilities.