Usare le visualizzazioni di Ambari per il debug di processi Tez in HDInsightUse Ambari Views to debug Tez Jobs on HDInsight

L'interfaccia utente Web di Ambari per HDInsight contiene una visualizzazione Tez che può essere usata per la comprensione e il debug di processi che usano Tez.The Ambari Web UI for HDInsight contains a Tez view that can be used to understand and debug jobs that use Tez. La visualizzazione Tez consente di visualizzare il processo come grafico di elementi connessi, esaminare ogni elemento e recuperare statistiche e informazioni sulla registrazione.The Tez view allows you to visualize the job as a graph of connected items, drill into each item, and retrieve statistics and logging information.

Importante

I passaggi descritti in questo documento richiedono un cluster HDInsight che usa Linux.The steps in this document require an HDInsight cluster that uses Linux. Linux è l'unico sistema operativo usato in HDInsight versione 3.4 o successiva.Linux is the only operating system used on HDInsight version 3.4 or greater. Per altre informazioni, vedere Componenti e versioni di Hadoop disponibili in HDInsight.For more information, see HDInsight component versioning.

PrerequisitiPrerequisites

Informazioni su TezUnderstanding Tez

Tez è un framework estendibile per l'elaborazione dati in Hadoop, che garantisce una maggiore velocità rispetto alla tradizionale elaborazione di MapReduce.Tez is an extensible framework for data processing in Hadoop that provides greater speeds than traditional MapReduce processing. Per i cluster HDInsight basati su Linux si tratta del motore predefinito per Hive.For Linux-based HDInsight clusters, it is the default engine for Hive.

Tez crea un grafo aciclico diretto (DAG) che descrive l'ordine delle azioni necessarie per i processi.Tez creates a Directed Acyclic Graph (DAG) that describes the order of actions required by jobs. Le singole azioni sono chiamate vertici ed eseguono una parte dell'intero processo.Individual actions are called vertices, and execute a piece of the overall job. L'esecuzione vera e propria del lavoro descritta da un vertice è chiamata attività e può essere distribuita in più nodi nel cluster.The actual execution of the work described by a vertex is called a task, and may be distributed across multiple nodes in the cluster.

Informazioni sulla visualizzazione TezUnderstanding the Tez view

La visualizzazione Tez fornisce informazioni sulla cronologia e sui processi in esecuzione.The Tez view provides both historical information and information on processes that are running. Queste informazioni mostrano in che modo un processo viene distribuito tra i cluster.This information shows how a job is distributed across clusters. Visualizza anche i contatori usati da attività e vertici e le informazioni sull'errore relazionato al processo.It also displays counters used by tasks and vertices, and error information related to the job. Può offrire informazioni utili negli scenari seguenti:It may offer useful information in the following scenarios:

  • Monitoraggio di processi con esecuzione prolungata, visualizzazione dello stato delle attività di mapping e riduzione.Monitoring long-running processes, viewing the progress of map and reduce tasks.
  • Analisi dei dati cronologici per i processi riusciti o non riusciti per capire come migliorare l'elaborazione o perché non è riuscita.Analyzing historical data for successful or failed processes to learn how processing could be improved or why it failed.

Generare un DAGGenerate a DAG

La visualizzazione Tez contiene dati solo se un processo che usa il motore Tez è attualmente in esecuzione o è stato eseguito precedentemente.The Tez view only contains data if a job that uses the Tez engine is currently running, or has been ran previously. Le query Hive semplici possono essere risolte senza usare Tez.Simple Hive queries can be resolved without using Tez. Query più complesse che eseguono filtraggio, raggruppamento, ordinamento, unione e così via.More complex queries that do filtering, grouping, ordering, joins, etc. Usare il motore Tez.use the Tez engine.

Usare la procedura seguente per eseguire una query Hive che usa Tez:Use the following steps to run a Hive query that uses Tez:

  1. In un Web browser passare a https://NOMECLUSTER.azurehdinsight.net, dove NOMECLUSTER è il nome del cluster HDInsight.In a web browser, navigate to https://CLUSTERNAME.azurehdinsight.net, where CLUSTERNAME is the name of your HDInsight cluster.

  2. Dal menu nella parte superiore della pagina selezionare l'icona delle visualizzazioni.From the menu at the top of the page, select the Views icon. La presente icona ha l'aspetto di una serie di quadrati.This icon looks like a series of squares. Nell'elenco a discesa visualizzato, selezionare Hive View (Visualizzazione Hive).In the dropdown that appears, select Hive view.

    Selezione della visualizzazione Hive

  3. Quando viene caricata la visualizzazione Hive, incollare la query seguente nell'editor di query e quindi fare clic su execute (esegui).When the Hive view loads, paste the following query into the Query Editor, and then click execute.

     select market, state, country from hivesampletable where deviceplatform='Android' group by market, country, state;
    

    Al termine del processo, l'output verrà visualizzato nella sezione Query Process Results (Risultati elaborazione query).Once the job has completed, you should see the output displayed in the Query Process Results section. I risultati dovrebbero essere simili al testo seguente:The results should be similar to the following text:

     market  state       country
     en-GB   Hessen      Germany
     en-GB   Kingston    Jamaica
    
  4. Selezionare la scheda Log. Vengono restituite informazioni simili al seguente testo:Select the Log tab. You see information similar to the following text:

     INFO : Session is already open
     INFO :
    
     INFO : Status: Running (Executing on YARN cluster with App id application_1454546500517_0063)
    

    Salvare il valore App id, poiché tale valore viene usato nella sezione successiva.Save the App id value, as this value is used in the next section.

Usare la visualizzazione TezUse the Tez View

  1. Dal menu nella parte superiore della pagina selezionare l'icona delle visualizzazioni.From the menu at the top of the page, select the Views icon. Nell'elenco a discesa visualizzato selezionare Tez View (Visualizzazione Tez).In the dropdown that appears, select Tez view.

    Selezione della visualizzazione Tez

  2. Quando la visualizzazione Tez viene caricata, viene visualizzato un elenco di query Hive che sono attualmente in esecuzione o che sono stati eseguiti nel cluster.When the Tez view loads, you see a list of hive queries that are currently running, or have been ran on the cluster.

    Tutti i DAG

  3. Se è presente una sola voce, è quella relativa alla query eseguita nella sezione precedente.If you have only one entry, it is for the query that you ran in the previous section. Se si dispone di più voci, è possibile eseguire una ricerca con i campi nella parte superiore della pagina.If you have multiple entries, you can search by using the fields at the top of the page.

  4. Selezionare il ID Query per una query Hive.Select the Query ID for a Hive query. Verranno visualizzate informazioni sulla query.Information about the query is displayed.

    DAG Details

  5. Le schede in questa pagina consentono di visualizzare le informazioni seguenti:The tabs on this page allow you to view the following information:

    • Informazioni sulla query: informazioni dettagliate sulla query Hive.Query Details: Details about the Hive query.
    • Tempistiche: informazioni sulla durata di ogni fase dell'elaborazione.Timeline: Information about how long each stage of processing took.
    • Configurazioni: la configurazione usata per questa query.Configurations: The configuration used for this query.

      Da Dettagli query è possibile usare i collegamenti per trovare le informazioni sull'applicazione o il DAG per questa query.From Query Details you can use the links to find information about the Application or the DAG for this query.

    • Il collegamento Applicazione consente di visualizzare informazioni sull'applicazione YARN per questa query.The Application link displays information about the YARN application for this query. Da qui è possibile accedere ai registri dell'applicazione YARN.From here you can access the YARN application logs.

    • Il collegamento DAG consente di visualizzare le informazioni su un grafo aciclico diretto per questa query.The DAG link displays information about the directed acyclic graph for this query. Da qui è possibile visualizzare una rappresentazione grafica del DAG.From here you can view a graphical representation of the DAG. È anche possibile trovare informazioni sui vertici all'interno del DAG.You can also find information on the vertices within the DAG.

Passaggi successiviNext Steps

A questo punto, dopo avere appreso come usare la visualizzazione Tez, è possibile trovare altre informazioni in Uso di Hive in HDInsight.Now that you have learned how to use the Tez view, learn more about Using Hive on HDInsight.

Per informazioni tecniche più dettagliate su Tez, vedere la pagina di Tez in Hortonworks.For more detailed technical information on Tez, see the Tez page at Hortonworks.

Per altre informazioni sull'uso di Ambari con HDInsight, vedere Gestire i cluster HDInsight usando l'interfaccia utente Web di AmbariFor more information on using Ambari with HDInsight, see Manage HDInsight clusters using the Ambari Web UI