Używanie Data Lake narzędzi dla programu Visual Studio do nawiązywania połączenia z usługą Azure HDInsight i uruchamiania zapytań Apache HiveUse Data Lake Tools for Visual Studio to connect to Azure HDInsight and run Apache Hive queries

Dowiedz się, jak używać narzędzi Microsoft Azure Data Lake i Stream Analytics Tools for Visual Studio (nazywanych również narzędziami Data Lake) do łączenia się z klastrami Apache Hadoop w usłudze Azure HDInsight i przesyłania zapytań programu Hive.Learn how to use Microsoft Azure Data Lake and Stream Analytics Tools for Visual Studio (also called Data Lake Tools) to connect to Apache Hadoop clusters in Azure HDInsight and submit Hive queries.

Aby uzyskać więcej informacji na temat korzystania z usługi HDInsight, zobacz Rozpoczynanie pracy z usługą HDInsight.For more information about using HDInsight, see Get started with HDInsight.

Aby uzyskać więcej informacji na temat nawiązywania połączenia z klastrem Apache Storm, zobacz Tworzenie C# topologii dla Apache Storm przy użyciu narzędzi Data Lake Tools for Visual Studio.For more information about connecting to an Apache Storm cluster, see Develop C# topologies for Apache Storm by using the Data Lake tools for Visual Studio.

Możesz użyć narzędzia Data Lake Tools for Visual Studio do uzyskiwania dostępu do usług Azure Data Lake Analytics i HDInsight.You can use Data Lake Tools for Visual Studio to access Azure Data Lake Analytics and HDInsight. Aby uzyskać informacje na temat narzędzi Data Lake Tools, zobacz Tworzenie skryptów U-SQL przy użyciu narzędzi Data Lake Tools for Visual Studio.For information about Data Lake Tools, see Develop U-SQL scripts by using Data Lake Tools for Visual Studio.

Wymagania wstępnePrerequisites

Aby ukończyć ten artykuł i korzystać z narzędzi Data Lake Tools for Visual Studio, potrzebne są następujące elementy:To complete this article and use Data Lake Tools for Visual Studio, you need the following items:

Instalacja narzędzi Data Lake Tools for Visual StudioInstall Data Lake Tools for Visual Studio

Postępuj zgodnie z odpowiednimi instrukcjami, aby zainstalować narzędzia Data Lake dla używanej wersji programu Visual Studio:Follow the appropriate instructions to install Data Lake Tools for your version of Visual Studio:

  • Dla programu Visual Studio 2017 lub Visual Studio 2019:For Visual Studio 2017 or Visual Studio 2019:

    Podczas instalacji programu Visual Studio upewnij się, że dołączysz obciążenie Programowanie na platformie Azure lub Magazyn danych i obciążenie przetwarzaniem .During Visual Studio installation, make sure you include the Azure development workload or the Data storage and processing workload.

    W przypadku istniejących instalacji programu Visual Studio przejdź do paska menu IDE, a następnie wybierz pozycję narzędzia > Pobierz narzędzia i funkcje , aby otworzyć Instalator programu Visual Studio.For existing Visual Studio installations, go to the IDE menu bar, and select Tools > Get Tools and Features to open Visual Studio Installer. Na karcie obciążenia wybierz co najmniej obciążenie Programowanie na platformie Azure (w obszarze chmura & sieci Web) lub obciążenie magazynu i przetwarzania danych (w obszarze inne zestawy narzędzi).In the Workloads tab, select at least the Azure development workload (under Web & Cloud) or the Data storage and processing workload (under Other Toolsets).

    Wybór obciążenia, Instalator programu Visual Studio

  • Dla programu Visual Studio 2015:For Visual Studio 2015:

    Pobierz narzędzia Data Lake.Download Data Lake Tools. Należy wybrać wersję narzędzi Data Lake Tools zgodną z używaną wersją programu Visual Studio.Choose the version of Data Lake Tools that matches your version of Visual Studio.

Narzędzia aktualizacji Data Lake Tools for Visual StudioUpdate Data Lake Tools for Visual Studio

Następnie upewnij się, że Data Lake narzędzia zostały zaktualizowane do najnowszej wersji.Next, make sure you update Data Lake Tools to the most recent version.

  1. Otwórz program Visual Studio.Open Visual Studio.

  2. W oknie uruchamiania wybierz pozycję Kontynuuj bez kodu.In the Start window, select Continue without code.

  3. Na pasku menu środowiska IDE programu Visual Studio wybierz pozycję rozszerzenia > Zarządzanie rozszerzeniami.In the Visual Studio IDE menu bar, choose Extensions > Manage Extensions.

  4. W oknie dialogowym Zarządzanie rozszerzeniami rozwiń węzeł aktualizacje .In the Manage Extensions dialog box, expand the Updates node.

  5. Jeśli lista dostępnych aktualizacji zawiera narzędzia Azure Data Lake i Stream Analytics, zaznacz je.If the list of available updates includes Azure Data Lake and Stream Analytic Tools, select it. Następnie wybierz przycisk Aktualizuj .Then select its Update button. Po wyświetleniu i usunięciu okna dialogowego pobieranie i Instalowanie programu Visual Studio dodaje do harmonogramu aktualizacji rozszerzenie " Azure Data Lake i Stream Analytics Tools ".After the Download and Install dialog box appears and disappears, Visual Studio adds the Azure Data Lake and Stream Analytic Tools extension to the update schedule.

  6. Zamknij wszystkie okna programu Visual Studio.Close all Visual Studio windows. Zostanie wyświetlone okno dialogowe Instalator VSIX .The VSIX Installer dialog box appears.

  7. Wybierz licencję , aby odczytać postanowienia licencyjne, a następnie wybierz pozycję Zamknij , aby powrócić do okna dialogowego Instalator VSIX .Select License to read the license terms, then select Close to return to the VSIX Installer dialog box.

  8. Wybierz pozycję Modyfikuj.Select Modify. Rozpocznie się instalacja aktualizacji rozszerzenia.Installation of the extension update begins. Po czasie okno dialogowe zmienia się, aby pokazać, że wykonuje modyfikacje.After a while, the dialog box changes to show that it's done making modifications. Wybierz pozycję Zamknij, a następnie uruchom ponownie program Visual Studio, aby zakończyć instalację.Select Close, and then restart Visual Studio to complete the installation.

Uwaga

Możesz użyć tylko narzędzi Data Lake Tools w wersji 2.3.0.0 lub nowszej, aby nawiązać połączenie z klastrami zapytań interaktywnych oraz uruchamiać zapytania interaktywne usługi Hive.You can use only Data Lake Tools version 2.3.0.0 or later to connect to Interactive Query clusters and run interactive Hive queries.

Nawiązywanie połączenia z subskrypcjami platformy AzureConnect to Azure subscriptions

Narzędzia Data Lake Tools for Visual Studio umożliwiają łączenie się z klastrami usługi HDInsight, wykonywanie podstawowych operacji zarządzania i uruchamianie zapytań programu Hive.You can use Data Lake Tools for Visual Studio to connect to your HDInsight clusters, do some basic management operations, and run Hive queries.

Uwaga

Aby uzyskać informacje na temat nawiązywania połączenia z ogólnym klastrem Hadoop, zobacz jak pisać i przesyłać zapytania programu Hive przy użyciu programu Visual Studio.For information about connecting to a generic Hadoop cluster, see How to write and submit Hive queries using Visual Studio.

Łączenie się z subskrypcją platformy AzureConnect to an Azure subscription

Aby nawiązać połączenie z subskrypcją platformy Azure:To connect to your Azure subscription:

  1. Otwórz program Visual Studio.Open Visual Studio.

  2. W oknie uruchamiania wybierz pozycję Kontynuuj bez kodu.In the Start window, select Continue without code.

  3. Na pasku menu IDE wybierz pozycję wyświetl > Eksplorator serwera.In the IDE menu bar, choose View > Server Explorer.

  4. W Eksplorator serwerakliknij prawym przyciskiem myszy pozycję Azure, wybierz pozycję Połącz z subskrypcją Microsoft Azurei Ukończ proces uwierzytelniania.In Server Explorer, right-click Azure, select Connect to Microsoft Azure Subscription, and complete the authentication process. W Eksplorator serwerarozwiń węzeł Azure > HDInsight , aby wyświetlić listę istniejących klastrów usługi HDInsight.From Server Explorer, expand Azure > HDInsight to view a list of existing HDInsight clusters.

  5. Jeśli nie masz żadnych klastrów, utwórz je za pomocą Azure Portal, Azure PowerShell lub zestawu SDK usługi HDInsight.If you don't have any clusters, create one by using the Azure portal, Azure PowerShell, or the HDInsight SDK. Aby uzyskać więcej informacji, zobacz Konfigurowanie klastrów w usłudze HDInsight.For more information, see Set up clusters in HDInsight.

    Lista klastrów usługi HDInsight, Eksplorator serwera, Visual Studio

  6. Rozwiń węzeł klastra usługi HDInsight.Expand an HDInsight cluster. Klaster zawiera węzły baz danych programu Hive, domyślne konto magazynu, wszystkie dodatkowe połączone konta magazynu i Dziennik usługi Hadoop.The cluster contains nodes for Hive Databases, a default storage account, any additional linked storage accounts, and Hadoop Service Log. Jednostki można rozwinąć.You can further expand the entities.

Po nawiązaniu połączenia z subskrypcją platformy Azure można wykonać następujące zadania.After you've connected to your Azure subscription, you can do the following tasks.

Nawiązywanie połączenia z platformą Azure z poziomu programu Visual StudioConnect to Azure from Visual Studio

Nawiązywanie połączenia z witryną Azure Portal w programie Visual Studio:To connect to the Azure portal from Visual Studio:

  1. W Eksplorator serwerarozwiń węzeł Azure > HDInsight i wybierz klaster.In Server Explorer, expand Azure > HDInsight and select your cluster.

  2. Kliknij prawym przyciskiem myszy klaster usługi HDInsight, a następnie wybierz pozycję Zarządzaj klastrem w Azure Portal.Right-click an HDInsight cluster, and select Manage Cluster in Azure portal.

Zaproponuj pytania i opinie z programu Visual StudioOffer questions and feedback from Visual Studio

Aby zadawać pytania i/lub przekazać Opinie z programu Visual Studio:To ask questions and/or provide feedback from Visual Studio:

  1. W obszarze Eksplorator serwera wybierz pozycję Azure > HDInsight.From Server Explorer, choose Azure > HDInsight.

  2. Kliknij prawym przyciskiem myszy pozycję HDInsight i wybierz opcję forum MSDN , aby zadawać pytania, lub Przekaż opinię , aby przesłać opinię.Right-click HDInsight and select either MSDN Forum to ask questions, or Give Feedback to give feedback.

Uwaga

Obecnie jedynym typem klastra usługi HDInsight, z którym można utworzyć połączenie, jest typ Hive.Currently the only type of HDInsight cluster you can link to is a Hive type.

Aby połączyć klaster usługi HDInsight:To link an HDInsight cluster:

  1. Kliknij prawym przyciskiem myszy pozycję HDInsight, a następnie wybierz pozycję Połącz klaster usługi HDInsight , aby wyświetlić okno dialogowe łączenie klastra usługi HDInsight .Right-click HDInsight, and then select Link a HDInsight Cluster to display the Link a HDInsight Cluster dialog box.

  2. Wprowadź adres URL połączenia w formularzu https://< nazwy >. azurehdinsight. NET.Enter a Connection Url in the form https://<cluster name>.azurehdinsight.net. Nazwa klastra jest automatycznie wypełniana nazwą klastra w adresie URL po przejściu do innego pola.The Cluster Name automatically fills in with the cluster name portion of your URL when you go to another field. Następnie wprowadź nazwę użytkownika i hasło, a następnie wybierz pozycję dalej.Then enter a Username and Password, and select Next.

    Łączenie klastra, HDInsight, Visual Studio

  3. Wybierz pozycję Finish (Zakończ).Select Finish. Jeśli powiązanie klastra zakończy się pomyślnie, klaster zostanie wyświetlony w węźle HDInsight .If the cluster linking is successful, the cluster is then listed under the HDInsight node.

Aby zaktualizować połączony klaster, kliknij prawym przyciskiem myszy klaster i wybierz polecenie Edytuj.To update a linked cluster, right-click the cluster and select Edit. Następnie można zaktualizować informacje o klastrze.You can then update the cluster information.

Edytowanie połączonego klastra, usługi HDInsight i programu Visual Studio

Eksplorowanie połączonych zasobówExplore linked resources

Z poziomu Eksploratora serwera można zobaczyć domyślne konto magazynu i wszystkie połączone konta magazynu.From Server Explorer, you can see the default storage account and any linked storage accounts. Po rozwinięciu domyślnego konta magazynu można wyświetlić kontenery konta magazynu.If you expand the default storage account, you can see the containers on the storage account. Domyślne konto magazynu i domyślny kontener są oznaczone.The default storage account and the default container are marked.

Data Lake narzędzia dla połączonych zasobów programu Visual Studio w programie Eksplorator serwera

Kliknij prawym przyciskiem myszy kontener i wybierz pozycję Wyświetl kontener , aby wyświetlić zawartość kontenera.Right-click a container and select View Container to view the container's contents. Po otwarciu kontenera można użyć przycisków paska narzędzi, aby odświeżyć listę zawartości, przekazać obiekt BLOB, usunąć wybrane obiekty blob, otworzyć obiekt BLOBi pobrać (Zapisz jako) wybrane obiekty blob.After opening a container, you can use the toolbar buttons to Refresh the content list, Upload Blob, Delete selected blobs, Open Blob, and download (Save As) selected blobs.

Lista kontenerów i operacje obiektów blob, klaster usługi HDInsight, Visual Studio

Uruchamianie interakcyjnych zapytań Apache HiveRun interactive Apache Hive queries

Apache Hive to infrastruktura magazynu danych oparta na platformie Hadoop.Apache Hive is a data warehouse infrastructure that's built on Hadoop. Usługa Hive jest używana do wykonywania podsumowań danych, zapytań i analizy.Hive is used for data summarization, queries, and analysis. Możesz użyć narzędzi Data Lake Tools for Visual Studio, aby uruchomić zapytania usługi Hive z poziomu programu Visual Studio.You can use Data Lake Tools for Visual Studio to run Hive queries from Visual Studio. Aby uzyskać więcej informacji na temat programu Hive, zobacz co to jest Apache Hive i HiveQL w usłudze Azure HDInsight?.For more information about Hive, see What is Apache Hive and HiveQL on Azure HDInsight?.

Zapytanie interaktywne w usłudze Azure HDInsight używa programu Hive w systemie LLAP w Apache Hive 2,1.Interactive Query in Azure HDInsight uses Hive on LLAP in Apache Hive 2.1. Zapytanie interaktywne umożliwia współdziałanie z złożonymi kwerendami w stylu magazynu danych w dużych, przechowywanych zestawach.Interactive Query brings interactivity to complex, data warehouse-style queries on large, stored datasets. Uruchomione zapytania Hive w zapytaniu interaktywnym są znacznie szybsze niż tradycyjne zadania wsadowe Hive.Running Hive queries on Interactive Query is much faster than traditional Hive batch jobs.

Uwaga

Uruchamianie interakcyjnych zapytań Hive jest możliwe tylko po nawiązaniu połączenia z klastrem interakcyjnych zapytań usługi HDInsight.You can run interactive Hive queries only when you connect to an HDInsight Interactive Query cluster.

Możesz też użyć narzędzi Data Lake Tools for Visual Studio, aby zobaczyć zawartość zadania Hive.You can also use Data Lake Tools for Visual Studio to see what’s inside a Hive job. Narzędzia Data Lake Tools for Visual Studio zbierają i ujawniają dzienniki Yarn dla wybranych zadań Hive.Data Lake Tools for Visual Studio collects and surfaces the Yarn logs of certain Hive jobs.

W obszarze Eksplorator serwerawybierz pozycję Azure > HDInsight i wybierz klaster.From Server Explorer, choose Azure > HDInsight and select your cluster. Ten węzeł jest punktem początkowym w Eksplorator serwera dla sekcji do wykonania.This node is the starting point in Server Explorer for the sections to follow.

Wyświetl hivesampletableView hivesampletable

Wszystkie klastry usługi HDInsight mają domyślną przykładową tabelę programu Hive o nazwie hivesampletable.All HDInsight clusters have a default sample Hive table called hivesampletable.

Z klastra wybierz opcję bazy danych Hive > Domyślna > hivesampletable.From your cluster, choose Hive Databases > default > hivesampletable.

  • Aby wyświetlić schemat hivesampletable:To view the hivesampletable schema:

    Rozwiń węzeł hivesampletable.Expand hivesampletable. Są wyświetlane nazwy i typy danych kolumn hivesampletable.The names and data types of the hivesampletable columns are shown.

  • Aby wyświetlić hivesampletable dane:To view the hivesampletable data:

    Kliknij prawym przyciskiem myszy pozycję hivesampletable, a następnie wybierz pozycję Wyświetl pierwsze 100 wierszy.Right-click hivesampletable, and select View Top 100 Rows. Zostanie wyświetlona lista 100 wyników w tabeli programu Hive: hivesampletable okno.The list of 100 results appears in the Hive Table: hivesampletable window. Ta akcja jest równoznaczna z uruchomieniem następującego zapytania programu Hive przy użyciu sterownika programu Hive ODBC:This action is equivalent to running the following Hive query by using the Hive ODBC driver:

    SELECT * FROM hivesampletable LIMIT 100

    Liczbę wierszy można dostosować, zmieniając liczbę wierszy. z listy rozwijanej można wybrać 50, 100, 200 lub 1000 wierszy.You can customize the row count by changing Number of rows; you can choose 50, 100, 200, or 1000 rows from the drop-down list.

Tworzenie tabel programu HiveCreate Hive tables

Do utworzenia tabeli programu Hive można użyć graficznego interfejsu użytkownika lub zapytań programu Hive.To create a Hive table, you can use the GUI or you can use Hive queries. Aby uzyskać informacje o używaniu zapytań Hive, zobacz Tworzenie i uruchamianie zapytań programu Hive.For information about using Hive queries, see Create and run Hive queries.

  1. Z klastra wybierz opcję bazy danych Hive > Domyślnie.From your cluster, choose Hive Databases > default.

  2. Kliknij prawym przyciskiem myszy pozycję domyślne, a następnie wybierz pozycję Utwórz tabelę.Right-click default, and select Create Table.

  3. Skonfiguruj tabelę.Configure the table.

  4. Wybierz przycisk Utwórz tabelę , aby przesłać zadanie, które tworzy nową tabelę programu Hive.Select the Create Table button to submit the job, which creates the new Hive table.

    Tworzenie okna tabeli, Hive, klaster usługi HDInsight, Visual Studio

Tworzenie i uruchamianie zapytań programu HiveCreate and run Hive queries

Masz dwie opcje umożliwiające utworzenie i uruchomienie zapytań Hive:You have two options for creating and running Hive queries:

  • Tworzenie zapytań ad hocCreate ad-hoc queries
  • Tworzenie aplikacji HiveCreate a Hive application

Tworzenie zapytania ad hocCreate an ad-hoc query

Aby utworzyć i uruchomić zapytanie ad hoc:To create and run an ad-hoc query:

  1. Kliknij prawym przyciskiem myszy klaster, w którym chcesz uruchomić zapytanie, a następnie wybierz polecenie Napisz zapytanie programu Hive.Right-click the cluster where you want to run the query, and select Write a Hive Query.

  2. Wprowadź zapytanie programu Hive.Enter a Hive query.

    Edytor Hive obsługuje funkcję IntelliSense.The Hive editor supports IntelliSense. Narzędzia Data Lake Tools for Visual Studio obsługują ładowanie zdalnych metadanych podczas edycji skryptu Hive.Data Lake Tools for Visual Studio supports loading remote metadata when you edit your Hive script. Na przykład, jeśli wpiszesz SELECT * FROM, IntelliSense wyświetla wszystkie sugerowane nazwy tabel.For example, if you type SELECT * FROM, IntelliSense lists all the suggested table names. Po określeniu nazwy tabeli funkcja IntelliSense wyświetla nazwy kolumn.When a table name is specified, IntelliSense lists the column names. Narzędzia obsługują większość instrukcji DML programu Hive, podzapytań i wbudowanych sterowników UDF.The tools support most Hive DML statements, subqueries, and built-in UDFs.

    Przykład IntelliSense 1, zapytanie ad hoc Hive, klaster usługi HDInsight, Visual Studio

    Przykład IntelliSense 2, zapytanie ad hoc Hive, klaster HDInsight, Visual Studio

    Uwaga

    Funkcja IntelliSense zasugeruje tylko metadane klastra zaznaczonego na pasku narzędzi usługi HDInsight.IntelliSense suggests only the metadata of the cluster that is selected in the HDInsight toolbar.

    Oto przykładowe zapytanie, którego można użyć:Here is a sample query that you can use:

    SELECT devicemodel, COUNT(devicemodel) AS deviceCount
    FROM hivesampletable
    GROUP BY devicemodel
    ORDER BY devicemodel
    
  3. Wybierz tryb wykonywania:Choose the execution mode:

    • InteraktywneInteractive

      Z pierwszej listy rozwijanej wybierz pozycję interaktywny, a następnie wybierz pozycję Wykonaj.In the first drop-down list, choose Interactive, and then select Execute.

      Tryb interaktywny, kwerenda ad hoc Hive, klaster HDInsight, Visual Studio

    • BatchBatch

      Z pierwszej listy rozwijanej wybierz pozycję Batch, a następnie wybierz pozycję Prześlij (lub wybierz ikonę listy rozwijanej obok pozycji Prześlij i wybierz pozycję Zaawansowane).In the first drop-down list, choose Batch, and then select Submit (or select the drop-down icon next to Submit and choose Advanced).

      Tryb wsadowy, kwerenda ad hoc Hive, klaster usługi HDInsight, program Visual Studio

      W przypadku wybrania opcji przesyłania zaawansowane zostanie wyświetlone okno dialogowe Prześlij skrypt .If you select the advanced submit option, the Submit Script dialog box appears. Skonfiguruj nazwę zadania, argumenty, dodatkowe konfiguracjei katalog stanu dla skryptu.Configure the Job Name, Arguments, Additional Configurations, and Status Directory for the script.

      Okno dialogowe przesyłania skryptu, zapytanie ad hoc Hive, klaster usługi HDInsight, program Visual Studio

      Uwaga

      Nie można przesyłać partii do interaktywnych klastrów zapytań.You can't submit batches to Interactive Query clusters. Należy używać trybu interaktywnego.You must use interactive mode.

Tworzenie aplikacji HiveCreate a Hive application

Tworzenie i uruchamianie rozwiązania Hive:To create and run a Hive solution:

  1. Na pasku menu wybierz kolejno pozycje plik > Nowy > projekt.From the menu bar, choose File > New > Project.

  2. W oknie Tworzenie nowego projektu zaznacz pole wyszukiwania i wpisz Hive.In the Create a new project window, select the search box and type Hive. Następnie wybierz pozycję aplikacja Hive i wybierz pozycję dalej.Then choose Hive Application and select Next.

  3. W oknie Konfigurowanie nowego projektu wprowadź nazwę projektu, wybierz lub Utwórz lokalizacjęprojektu, a następnie wybierz pozycję Utwórz.In the Configure your new project window, enter a Project name, select or create the project Location, and then select Create.

    Nowa aplikacja Hive, Konfigurowanie okna nowego projektu, HDInsight Visual Studio

  4. W Eksploratorze rozwiązań kliknij dwukrotnie plik Script.hql, aby otworzyć skrypt.In Solution Explorer, double-click Script.hql to open the script.

Wyświetlanie podsumowania i danych wyjściowych zadaniaView job summary and output

Podsumowanie zadania różni się nieco w zależności od trybu wsadowego .The job summary varies slightly between Batch and Interactive mode.

Podsumowanie zadań programu Hive Windows, Batch i tryb interaktywny, Visual Studio

Użyj ikony Odśwież , aby zaktualizować stan do momentu, gdy stan zadania zmieni się na zakończone.Use the Refresh icon to update the status until the job status changes to Finished.

  • W obszarze Szczegóły zadania w trybie wsadowym wybierz linki u dołu, aby wyświetlić zapytanie dotyczące zadania, dane wyjściowe zadanialub Dziennik zadańlub wyświetlić dzienniki przędzy.For the job details from Batch mode, select the links at the bottom to see the Job Query, Job Output, or Job Log, or to View Yarn Logs.

  • Aby uzyskać szczegółowe informacje o zadaniu w trybie interaktywnym , zobacz okienka danych wyjściowych i serwera hiveserver2 .For the job details from Interactive mode, see the Output and HiveServer2 Output panes.

    Interaktywne dane wyjściowe zadania Hive, klaster usługi HDInsight, Visual Studio

Wyświetl wykres zadaniaView job graph

Obecnie wykresy zadań są wyświetlane tylko w przypadku zadań Hive, które używają tez jako aparatu wykonywania.Currently, job graphs are only shown for Hive jobs that use Tez as the execution engine. Aby uzyskać informacje o włączaniu tez, zobacz co to jest Apache Hive i HiveQL w usłudze Azure HDInsight?.For information about enabling Tez, see What is Apache Hive and HiveQL on Azure HDInsight?. Zobacz również, użyj Apache tez zamiast mapowania mapy.See also, Use Apache Tez instead of Map Reduce.

Aby wyświetlić wszystkie operatory wewnątrz wierzchołka, kliknij dwukrotnie wierzchołki wykresu zadań.To view all the operators inside the vertex, double-click the vertices of the job graph. Możesz też wskazać konkretny operator, aby wyświetlić więcej jego szczegółów.You can also point to a specific operator to see more details about the operator.

Nawet jeśli tez jest określony jako aparat wykonywania, wykres zadania może nie być wyświetlany, jeśli nie zostanie uruchomiona żadna aplikacja tez.Even if Tez is specified as the execution engine, the job graph may not appear if no Tez application is launched. Taka sytuacja może wystąpić, ponieważ zadanie nie zawiera instrukcji DML lub Instrukcje DML mogą zwracać bez uruchamiania aplikacji tez.This situation might occur because the job doesn't contain DML statements, or because the DML statements can return without launching a Tez application. Na przykład SELECT * FROM table1 nie uruchomi aplikacji tez.For example, SELECT * FROM table1 won't launch the Tez application.

Apache Hive Graf zadań, Visual Studio

Wyświetl szczegóły wykonania zadaniaView task execution detail

Na wykresie zadania można wybrać szczegóły wykonania zadania , aby uzyskać informacje o strukturze i wizualizacji zadań Hive.From the job graph, you can select Task Execution Detail to get structured and visualized information for Hive jobs. Możesz również uzyskać więcej informacji o zadaniach.You may also get more job details. Jeśli wystąpią problemy z wydajnością, możesz użyć widoku, aby uzyskać więcej szczegółów dotyczących problemu.If performance issues occur, you can use the view to get more details about the issue. Na przykład możesz pobrać informacje o tym, jak działa każde zadanie i szczegółowe informacje o każdym zadaniu (odczyt/zapis danych, czas trwania harmonogramu/rozpoczęcia/zakończenia itd.).For example, you may retrieve information about how each task operates and detailed information about each task (data read/write, schedule/start/end time, and more). Skorzystaj z informacji, aby dostosować konfiguracje zadań lub architekturę systemu w oparciu o wizualizowane informacje.Use the information to tune job configurations or system architecture based on the visualized information.

Okno widoku wykonywania zadań, Data Lake Visual Studio Tools

Wyświetlanie zadań HiveView Hive jobs

Istnieje możliwość wyświetlenia zapytań dotyczących zadań, danych wyjściowych zadań, dzienników zadań oraz dzienników Yarn dla zadań Hive.You can view job queries, job output, job logs, and Yarn logs for Hive jobs.

Za pomocą najnowszej wersji narzędzi można sprawdzić zawartość zadań Hive, zbierając i udostępniając dzienniki Yarn.In the most recent release of the tools, you can see what’s inside your Hive jobs by collecting and surfacing Yarn logs. Dziennik Yarn może być pomocny w badaniu problemów z wydajnością.A Yarn log can help you investigating performance issues. Aby uzyskać więcej informacji na temat sposobu zbierania dzienników przędzy przez usługę HDInsight, zobacz dostęp do dzienników aplikacji przędzy Apache Hadoop.For more information about how HDInsight collects Yarn logs, see Access Apache Hadoop YARN application logs.

Aby wyświetlić zadania Hive:To view Hive jobs:

  1. Kliknij prawym przyciskiem myszy klaster usługi HDInsight, a następnie wybierz pozycję Wyświetl zadania.Right-click an HDInsight cluster, and select View Jobs.

    Wyświetlanie zadań, Apache Hive, klastra usługi HDInsight i programu Visual Studio

    Zostanie wyświetlona lista zadań Hive uruchomionych w klastrze.A list of the Hive jobs that ran on the cluster appears.

  2. Wybierz zadanie.Select a job. W oknie podsumowania zadania programu Hive wybierz jedno z następujących linków:In the Hive Job Summary window, select one of the following links:

    • Zapytanie zadaniaJob Query
    • Dane wyjściowe zadaniaJob Output
    • Dziennik zadańJob Log
    • Dziennik przędzyYarn Log

Uruchamianie skryptów Apache świniRun Apache Pig scripts

  1. Na pasku menu wybierz kolejno pozycje plik > Nowy > projekt.From the menu bar, choose File > New > Project.

  2. W oknie uruchamiania wybierz pole wyszukiwania i wprowadź świnie.In the Start window, select the search box and enter Pig. Następnie wybierz pozycję aplikacja świniowa i wybierz pozycję dalej.Then select Pig Application and select Next.

  3. W oknie Konfigurowanie nowego projektu wprowadź nazwę projektu, a następnie wybierz lub Utwórz lokalizację dla projektu.In the Configure your new project window, enter a Project name, and select or create a Location for the project. Następnie wybierz przycisk Utwórz.Then select Create.

  4. W okienku Eksplorator rozwiązań IDE kliknij dwukrotnie skrypt. świni , aby otworzyć skrypt.In the IDE Solution Explorer pane, double-click Script.pig to open the script.

Opinie i znane problemyFeedback and known issues

  • Problem, w którym wyniki uruchamiane z wartościami null nie są wyświetlane jako rozwiązane.An issue in which results that are started with null values aren't shown has been fixed. W przypadku zablokowania na tym problemie należy skontaktować się z zespołem pomocy technicznej.If you're blocked on this issue, contact the support team.

  • Skrypt HQL utworzony przez program Visual Studio jest zakodowany w zależności od ustawienia lokalnego regionu użytkownika.The HQL script that Visual Studio creates is encoded, depending on the user’s local region setting. Skrypt nie jest wykonywany poprawnie, jeśli został przesłany do klastra jako plik binarny.The script doesn't execute correctly if you upload the script to a cluster as a binary file.

Następne krokiNext steps

Ten artykuł zawierał informacje dotyczące sposobu używania pakietu Data Lake Tools for Visual Studio w celu nawiązywania połączenia z klastrami usługi HDInsight z programu Visual Studio.In this article, you learned how to use the Data Lake Tools for Visual Studio package to connect to HDInsight clusters from Visual Studio. Przedstawiono też sposób uruchamiania zapytania Hive.You also learned how to run a Hive query. Więcej informacji można znaleźć w tych artykułach:For more information, see these articles: