Installare e usare Hue nei cluster Hadoop di HDInsightInstall and use Hue on HDInsight Hadoop clusters

Informazioni su come installare Hue nei cluster HDInsight e usare il tunneling per instradare le richieste a Hue.Learn how to install Hue on HDInsight clusters and use tunneling to route the requests to Hue.

Importante

I passaggi descritti in questo documento richiedono un cluster HDInsight che usa Linux.The steps in this document require an HDInsight cluster that uses Linux. Linux è l'unico sistema operativo usato in HDInsight versione 3.4 o successiva.Linux is the only operating system used on HDInsight version 3.4 or greater. Per altre informazioni, vedere la sezione relativa al ritiro di HDInsight in Windows.For more information, see HDInsight retirement on Windows.

Informazioni su HueWhat is Hue?

Hue è un insieme di applicazioni Web che consente di interagire con un cluster Hadoop.Hue is a set of Web applications used to interact with a Hadoop cluster. È possibile usare Hue per esplorare lo spazio di archiviazione associato a un cluster Hadoop (WASB nel caso di cluster HDInsight), eseguire processi Hive e script Pig e così via.You can use Hue to browse the storage associated with a Hadoop cluster (WASB, in the case of HDInsight clusters), run Hive jobs and Pig scripts, and so on. I componenti seguenti sono disponibili con l'installazione di Hue in un cluster Hadoop di HDInsight.The following components are available with Hue installations on an HDInsight Hadoop cluster.

  • Editor Hive BeeswaxBeeswax Hive Editor
  • PigPig
  • Metastore ManagerMetastore manager
  • OozieOozie
  • FileBrowser (che interagisce con il contenitore predefinito di WASB)FileBrowser (which talks to WASB default container)
  • Job BrowserJob Browser

Avviso

I componenti forniti con il cluster HDInsight sono supportati in modo completo e il supporto tecnico Microsoft contribuirà a isolare e risolvere i problemi correlati a questi componenti.Components provided with the HDInsight cluster are fully supported and Microsoft Support will help to isolate and resolve issues related to these components.

I componenti personalizzati ricevono supporto commercialmente ragionevole per semplificare la risoluzione dei problemi.Custom components receive commercially reasonable support to help you to further troubleshoot the issue. È possibile che si ottenga la risoluzione dei problemi o che venga richiesto di usare i canali disponibili per le tecnologie open source, in cui è possibile ottenere supporto approfondito per la tecnologia specifica.This might result in resolving the issue OR asking you to engage available channels for the open source technologies where deep expertise for that technology is found. È ad esempio possibile ricorrere a molti siti di community, come il forum MSDN per HDInsight o http://stackoverflow.com. Anche per i progetti Apache sono disponibili siti specifici in http://apache.org, ad esempio Hadoop.For example, there are many community sites that can be used, like: MSDN forum for HDInsight, http://stackoverflow.com. Also Apache projects have project sites on http://apache.org, for example: Hadoop.

Installare Hue mediante azioni scriptInstall Hue using Script Actions

Lo script https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh consente di installare Hue in un cluster HDInsight basato su Linux. Usare questo script per installare Hue nei cluster con Archiviazione BLOB di Azure (WASB) o Azure Data Lake Store come risorsa di archiviazione predefinita.The script to install Hue on a Linux-based HDInsight cluster is available at https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh. You can use this script to install Hue on clusters with either Azure Storage Blobs (WASB) or Azure Data Lake Store as default storage.

Questa sezione fornisce istruzioni su come usare lo script quando si effettua il provisioning del cluster usando il portale di Azure.This section provides instructions about how to use the script when provisioning the cluster using the Azure portal.

Nota

Per applicare le azioni script è possibile usare anche Azure PowerShell, l'interfaccia della riga di comando di Azure, HDInsight .NET SDK o i modelli di Azure Resource Manager.Azure PowerShell, the Azure CLI, the HDInsight .NET SDK, or Azure Resource Manager templates can also be used to apply script actions. È anche possibile applicare azioni script a cluster già in esecuzione.You can also apply script actions to already running clusters. Per altre informazioni, vedere Personalizzare cluster HDInsight basati su Linux tramite Azione script.For more information, see Customize HDInsight clusters with Script Actions.

  1. Avviare il provisioning di un cluster seguendo i passaggi descritti in Effettuare il provisioning di cluster HDInsight in Linux senza completarlo.Start provisioning a cluster by using the steps in Provision HDInsight clusters on Linux, but do not complete provisioning.

    Nota

    Per installare Hue nei cluster HDInsight, la dimensione consigliata del nodo head è minimo A4 (8 core, 14 GB di memoria).To install Hue on HDInsight clusters, the recommended headnode size is at least A4 (8 cores, 14 GB memory).

  2. Nel pannello Configurazione facoltativa selezionare Azioni script e specificare le informazioni come mostrato di seguito:On the Optional Configuration blade, select Script Actions, and provide the information as shown below:

    Specificare i parametri di azione script per HueProvide script action parameters for Hue

  3. Nella parte inferiore di Azioni di script usare il pulsante Seleziona per salvare la configurazione.At the bottom of the Script Actions, use the Select button to save the configuration. Usare infine il pulsante Seleziona nella parte inferiore del pannello Configurazione facoltativa per salvare le informazioni relative alla configurazione facoltativa.Finally, use the Select button at the bottom of the Optional Configuration blade to save the optional configuration information.
  4. Continuare il provisioning del cluster come descritto in Effettuare il provisioning dei cluster HDInsight in Linux.Continue provisioning the cluster as described in Provision HDInsight clusters on Linux.

Usare Hue con i cluster HDInsightUse Hue with HDInsight clusters

Il tunneling SSH è il solo modo di accedere a Hue nel cluster una volta che è in esecuzione.SSH Tunneling is the only way to access Hue on the cluster once it is running. Il tunneling tramite SSH consente al traffico di raggiungere direttamente il nodo head del cluster in cui viene eseguito Hue.Tunneling via SSH allows the traffic to go directly to the headnode of the cluster where Hue is running. Al termine del provisioning del cluster, seguire questa procedura per usare Hue in un cluster HDInsight Linux.After the cluster has finished provisioning, use the following steps to use Hue on an HDInsight Linux cluster.

Nota

È consigliabile utilizzare il browser web di Firefox per seguire le istruzioni seguenti.We recommend using Firefox web browser to follow the instructions below.

  1. Utilizzare le informazioni contenute in Utilizzare SSH Tunneling per accedere all'interfaccia utente Web Ambari, a ResourceManager, JobHistory, NameNode, Oozie e ad altre interfacce utente Web per creare un tunnel SSH dal sistema client al cluster HDInsight e quindi configurare il browser Web per usare il tunnel SSH come proxy.Use the information in Use SSH Tunneling to access Ambari web UI, ResourceManager, JobHistory, NameNode, Oozie, and other web UI's to create an SSH tunnel from your client system to the HDInsight cluster, and then configure your Web browser to use the SSH tunnel as a proxy.

  2. Dopo aver creato un tunnel SSH e configurato il browser per inoltrare il traffico attraverso di esso, è necessario trovare il nome host del nodo head primario.Once you have created an SSH tunnel and configured your browser to proxy traffic through it, you must find the host name of the primary head node. È possibile farlo tramite la connessione al cluster con SSH sulla porta 22.You can do this by connecting to the cluster using SSH on port 22. Ad esempio, ssh USERNAME@CLUSTERNAME-ssh.azurehdinsight.net dove USERNAME è il nome utente SSH e CLUSTERNAME è il nome del cluster.For example, ssh USERNAME@CLUSTERNAME-ssh.azurehdinsight.net where USERNAME is your SSH user name and CLUSTERNAME is the name of your cluster.

    Per altre informazioni, vedere Usare SSH con HDInsight.For more information, see Use SSH with HDInsight.

  3. Una volta connessi, utilizzare il comando seguente per ottenere il nome di dominio completo del nodo head primario:Once connected, use the following command to obtain the fully qualified domain name of the primary headnode:

     hostname -f
    

    Verrà restituito un nome simile al seguente:This will return a name similar to the following:

     hn0-myhdi-nfebtpfdv1nubcidphpap2eq2b.ex.internal.cloudapp.net
    

    Questo è il nome host del nodo head primario in cui si trova il sito Web Hue.This is the hostname of the primary headnode where the Hue website is located.

  4. Usare il browser per aprire il portale di Hue all'indirizzo http://HOSTNAME:8888.Use the browser to open the Hue portal at http://HOSTNAME:8888. Sostituire HOSTNAME con il nome ottenuto nel passaggio precedente.Replace HOSTNAME with the name you obtained in the previous step.

    Nota

    Quando si accede per la prima volta, viene richiesto di creare un account per l'accesso al portale Hue.When you log in for the first time, you will be prompted to create an account to log in to the Hue portal. Le credenziali specificate saranno limitate al portale e non sono correlate alle credenziali amministratore o utente SSH specificate durante il provisioning del cluster.The credentials you specify here will be limited to the portal and are not related to the admin or SSH user credentials you specified while provision the cluster.

    Accedere al portale HueLogin to the Hue portal

Eseguire una query HiveRun a Hive query

  1. Nel portale di Hue fare clic su Query Editors (Editor query) e quindi su Hive per aprire l'editor Hive.From the Hue portal, click Query Editors, and then click Hive to open the Hive editor.

    Usare HiveUse Hive

  2. Nella scheda Assist (Assistenza) in Database dovrebbe essere visibile hivesampletable.On the Assist tab, under Database, you should see hivesampletable. Si tratta di una tabella di esempio inclusa in tutti i cluster Hadoop in HDInsight.This is a sample table that is shipped with all Hadoop clusters on HDInsight. Immettere una query di esempio nel riquadro destro e visualizzare l'output nella scheda Risultati nel riquadro sottostante, come illustrato nella schermata.Enter a sample query in the right pane and see the output on the Results tab in the pane below, as shown in the screen capture.

    Eseguire query HiveRun Hive query

    È anche possibile usare la scheda Grafico per vedere una rappresentazione visiva dei risultati.You can also use the Chart tab to see a visual representation of the result.

Esplorare l'archiviazione clusterBrowse the cluster storage

  1. Nel portale di Hue fare clic su Esplora file nell'angolo superiore destro della barra dei menu.From the Hue portal, click File Browser in the top-right corner of the menu bar.
  2. Per impostazione predefinita, il browser file viene aperto in corrispondenza della directory /user/myuser .By default the file browser opens at the /user/myuser directory. Fare clic sulla barra subito prima della directory user nel percorso per passare alla radice del contenitore di archiviazione di Azure associato al cluster.Click the forward slash right before the user directory in the path to go to the root of the Azure storage container associated with the cluster.

    Usare il browser fileUse file browser

  3. Fare clic son il pulsante destro del mouse su un file o una cartella per visualizzare le operazioni disponibili.Right-click on a file or folder to see the available operations. Usare il pulsante Carica nell'angolo destro per caricare i file nella directory corrente.Use the Upload button in the right corner to upload files to the current directory. Usare il pulsante Nuovo per creare nuovi file o directory.Use the New button to create new files or directories.

Nota

Il browser file Hue può mostrare solo il contenuto del contenitore predefinito associato al cluster HDInsight.The Hue file browser can only show the contents of the default container associated with the HDInsight cluster. Eventuali account di archiviazione o contenitori aggiuntivi associati al cluster non saranno accessibili tramite il browser file.Any additional storage accounts/containers that you might have associated with the cluster will not be accessible using the file browser. I contenitori aggiuntivi associati al cluster saranno comunque sempre accessibili per i processi Hive.However, the additional containers associated with the cluster will always be accessible for the Hive jobs. Ad esempio, se si immette il comando dfs -ls wasb://newcontainer@mystore.blob.core.windows.net nell'editor Hive, è possibile vedere il contenuto anche dei contenitori aggiuntivi.For example, if you enter the command dfs -ls wasb://newcontainer@mystore.blob.core.windows.net in the Hive editor, you can see the contents of additional containers as well. In questo comando newcontainer non è il contenitore predefinito associato a un cluster.In this command, newcontainer is not the default container associated with a cluster.

Considerazioni importantiImportant considerations

  1. Lo script usato per installare Hue ne consente l'installazione solo nel nodo head del cluster.The script used to install Hue installs it only on the primary headnode of the cluster.

  2. Durante l'installazione vengono riavviati più servizi Hadoop (HDFS, YARN, MR2, Oozie) per l'aggiornamento della configurazione.During installation, multiple Hadoop services (HDFS, YARN, MR2, Oozie) are restarted for updating the configuration. Al termine dell'installazione di Hue tramite lo script, è possibile che l'avvio di altri servizi Hadoop richieda qualche istante.After the script finishes installing Hue, it might take some time for other Hadoop services to start up. Ciò potrebbe influire inizialmente sulle prestazioni di Hue.This might affect Hue's performance initially. Una volta avviati tutti i servizi, Hue sarà completamente funzionale.Once all services start up, Hue will be fully functional.

  3. Hue non riconosce i processi di Tez, che attualmente corrisponde all'importazione predefinita per Hive.Hue does not understand Tez jobs, which is the current default for Hive. Se si vuole usare MapReduce come motore di esecuzione di Hive, aggiornare lo script per l'uso dei comandi seguenti:If you want to use MapReduce as the Hive execution engine, update the script to use the following command in your script:

     set hive.execution.engine=mr;
    
  4. Con i cluster Linux è possibile avere uno scenario in cui i servizi vengono eseguiti sul nodo head primario mentre Resource Manager potrebbe essere in esecuzione su quello secondario.With Linux clusters, you can have a scenario where your services are running on the primary headnode while the Resource Manager could be running on the secondary. Questo scenario potrebbe causare errori (illustrati di seguito) quando si usa Hue per visualizzare i dettagli dei processi IN ESECUZIONE nel cluster.Such a scenario might result in errors (shown below) when using Hue to view details of RUNNING jobs on the cluster. I dettagli del processo possono tuttavia essere visualizzati dopo il completamento del processo.However, you can view the job details when the job has completed.

    Errore nel portale di HueHue portal error

    Questo è causato da un problema noto.This is due to a known issue. Come soluzione alternativa, modificare Ambari in modo che anche l'istanza di Resource Manager attiva venga eseguita sul nodo head primario.As a workaround, modify Ambari so that the active Resource Manager also runs on the primary headnode.

  5. Hue riconosce WebHDFS mentre i cluster HDInsight usano Archiviazione di Azure Storage tramite wasb://.Hue understands WebHDFS while HDInsight clusters use Azure Storage using wasb://. Lo script personalizzato usato con l'azione script installa WebWasb, un servizio compatibile con WebHDFS-per comunicare con WASB.So, the custom script used with script action installs WebWasb, which is a WebHDFS-compatible service for talking to WASB. Quindi, anche se in alcuni punti nel portale di Hue è indicato HDFS (come quando si sposta il mouse su File Browser), dovrà essere interpretato come WASB.So, even though the Hue portal says HDFS in places (like when you move your mouse over the File Browser), it should be interpreted as WASB.

Passaggi successiviNext steps

  • Installare Giraph in cluster HDInsight.Install Giraph on HDInsight clusters. Usare la personalizzazione cluster per installare Giraph in cluster Hadoop di HDInsight.Use cluster customization to install Giraph on HDInsight Hadoop clusters. Giraph consente di elaborare grafici con Hadoop e può essere usato con Azure HDInsight.Giraph allows you to perform graph processing using Hadoop, and it can be used with Azure HDInsight.
  • Installare Solr in cluster HDInsight.Install Solr on HDInsight clusters. Usare la personalizzazione cluster per installare Solr in cluster Hadoop di HDInsight.Use cluster customization to install Solr on HDInsight Hadoop clusters. Solr consente di eseguire operazioni di ricerca avanzate sui dati archiviati.Solr allows you to perform powerful search operations on stored data.
  • Installare R nei cluster HDInsight.Install R on HDInsight clusters. Usare la personalizzazione dei cluster per installare R nei cluster Hadoop di HDInsight.Use cluster customization to install R on HDInsight Hadoop clusters. R è un linguaggio open source e un ambiente per l'elaborazione statistica.R is an open-source language and environment for statistical computing. Fornisce centinaia di funzioni statistiche predefinite e un proprio linguaggio che combina aspetti di programmazione funzionale con aspetti di programmazione orientata agli oggetti.It provides hundreds of built-in statistical functions and its own programming language that combines aspects of functional and object-oriented programming. Offre inoltre funzionalità complete di grafica.It also provides extensive graphical capabilities.