Konfigurowanie klastrów w usłudze HDInsight przy użyciu Apache Hadoop, Apache Spark, Apache Kafka i innychSet up clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, and more

Dowiedz się, jak skonfigurować i skonfigurować klastry w usłudze HDInsight przy użyciu Apache Hadoop, Apache Spark, Apache Kafka, interakcyjnych zapytań, usług Apache HBase, l Services lub Apache Storm.Learn how to set up and configure clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, Interactive Query, Apache HBase, ML Services, or Apache Storm. Dowiedz się również, jak dostosować klastry i dodać zabezpieczenia, dołączając je do domeny.Also, learn how to customize clusters and add security by joining them to a domain.

Klaster Hadoop składa się z kilku maszyn wirtualnych (węzłów), które są używane do rozproszonego przetwarzania zadań.A Hadoop cluster consists of several virtual machines (nodes) that are used for distributed processing of tasks. Usługa Azure HDInsight obsługuje szczegóły implementacji instalacji i konfiguracji poszczególnych węzłów, dlatego należy jedynie podać ogólne informacje o konfiguracji.Azure HDInsight handles implementation details of installation and configuration of individual nodes, so you only have to provide general configuration information.

Ważne

Naliczanie opłat rozpoczyna się w momencie utworzenia klastra usługi HDInsight i kończy się wraz z jego usunięciem.HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. Opłaty są naliczane za minutę, więc jeśli klaster nie jest używany, należy go usunąć.Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use. Dowiedz się, jak usunąć klaster.Learn how to delete a cluster.

Metody konfiguracji klastraCluster setup methods

W poniższej tabeli przedstawiono różne metody konfigurowania klastra usługi HDInsight.The following table shows the different methods you can use to set up an HDInsight cluster.

Klastry utworzone za pomocąClusters created with Przeglądarka sieci WebWeb browser Wiersz poleceniaCommand line Interfejs API RESTREST API SDKSDK
Azure PortalAzure portal      
Azure Data FactoryAzure Data Factory
Interfejs wiersza polecenia platformy AzureAzure CLI      
Azure PowerShellAzure PowerShell      
cURLcURL    
Zestaw SDK platformy .NET.NET SDK      
Szablony Azure Resource ManagerAzure Resource Manager templates      

Konfiguracja klastra podstawowegoBasic cluster setup

Ten artykuł przeprowadzi Cię przez proces instalacji w Azure Portal, w którym można utworzyć klaster usługi HDInsight przy użyciu widoku domyślnego lub klasycznego.This article walks you through setup in the Azure portal, where you can create an HDInsight cluster using the default view or Classic.

Usługa HDInsight — Tworzenie niestandardowych opcji szybkiego tworzenia

Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie.Follow instructions on the screen. Poniżej przedstawiono szczegóły dotyczące:Details are provided below for:

Nazwa grupy zasobówResource group name

Azure Resource Manager pomaga w pracy z zasobami w aplikacji jako grupą, nazywaną grupą zasobów platformy Azure.Azure Resource Manager helps you work with the resources in your application as a group, referred to as an Azure resource group. Można wdrożyć, zaktualizować, monitorować lub usunąć wszystkie zasoby aplikacji w ramach jednej skoordynowanej operacji.You can deploy, update, monitor, or delete all the resources for your application in a single coordinated operation.

Typy i konfiguracja klastraCluster types and configuration

Usługa Azure HDInsight obecnie udostępnia następujące typy klastrów, z których każdy zawiera zestaw składników zapewniających pewne funkcje.Azure HDInsight currently provides the following cluster types, each with a set of components to provide certain functionalities.

Ważne

Klastry usługi HDInsight są dostępne w różnych typach, z których każdy jest przeznaczony dla jednego obciążenia lub technologii.HDInsight clusters are available in various types, each for a single workload or technology. Nie ma obsługiwanej metody tworzenia klastra, który łączy wiele typów, takich jak burza i HBase w jednym klastrze.There is no supported method to create a cluster that combines multiple types, such as Storm and HBase on one cluster. Jeśli rozwiązanie wymaga technologii, które są rozłożone na wiele typów klastrów usługi HDInsight, Sieć wirtualna platformy Azure może połączyć wymagane typy klastrów.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types.

Typ klastraCluster type FunkcjonalnośćFunctionality
HadoopHadoop Zapytanie wsadowe i analiza przechowywanych danychBatch query and analysis of stored data
HBaseHBase Przetwarzanie dużych ilości danych NoSQLProcessing for large amounts of schemaless, NoSQL data
Zapytanie interaktywneInteractive Query Buforowanie w pamięci na potrzeby interaktywnych i szybszych zapytań HiveIn-memory caching for interactive and faster Hive queries
KafkaKafka Platforma przesyłania strumieniowego rozproszonego, która może służyć do tworzenia potoków danych i aplikacji w czasie rzeczywistymA distributed streaming platform that can be used to build real-time streaming data pipelines and applications
Usługi w usłudze MLML Services Różne statystyki danych Big Data, modelowanie predykcyjne i możliwości uczenia maszynowegoVarious big data statistics, predictive modeling, and machine learning capabilities
SparkSpark Przetwarzanie w pamięci, interaktywne zapytania, przetwarzanie strumienia mikropartiiIn-memory processing, interactive queries, micro-batch stream processing
BurzStorm Przetwarzanie zdarzeń w czasie rzeczywistymReal-time event processing

Wersja usługi HDInsightHDInsight version

Wybierz wersję usługi HDInsight dla tego klastra.Choose the version of HDInsight for this cluster. Aby uzyskać więcej informacji, zobacz obsługiwane wersje usługi HDInsight.For more information, see Supported HDInsight versions.

Nazwa klastraCluster name

Nazwy klastrów usługi HDInsight mają następujące ograniczenia:HDInsight cluster names have the following restrictions:

  • Dozwolone znaki: a-z, 0-9, A-ZAllowed characters: a-z, 0-9, A-Z
  • Maksymalna długość: 59Max length: 59
  • Zastrzeżone nazwy: aplikacjeReserved names: apps
  • Zakres nazewnictwa klastrów dotyczy wszystkich subskrypcji platformy Azure.The cluster naming scope is for all Azure, across all subscriptions. Nazwa klastra musi być unikatowa na całym świecie.So the cluster name must be unique worldwide.
  • Pierwsze sześć znaków musi być unikatowe w obrębie sieci wirtualnejFirst six characters must be unique within a VNET

Logowanie do klastra i nazwa użytkownika SSHCluster login and SSH username

Klastry usługi HDInsight umożliwiają skonfigurowanie dwóch kont użytkowników podczas tworzenia klastra:With HDInsight clusters, you can configure two user accounts during cluster creation:

  • Użytkownik HTTP: domyślna nazwa użytkownika to admin. Używa konfiguracji podstawowej w Azure Portal.HTTP user: The default username is admin. It uses the basic configuration on the Azure portal. Czasami jest nazywana "użytkownik klastra".Sometimes it is called "Cluster user."
  • Użytkownik SSH: używany do nawiązywania połączenia z klastrem za pośrednictwem protokołu SSH.SSH user: Used to connect to the cluster through SSH. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.For more information, see Use SSH with HDInsight.

Nazwa użytkownika HTTP ma następujące ograniczenia:The HTTP username has the following restrictions:

  • Dozwolone znaki specjalne: _ i @Allowed special characters: _ and @
  • Znaki nie są dozwolone: #;. "", /: "! *? $ () {} [] < > | &--= +% ~ ^ SpaceCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Maksymalna długość: 20Max length: 20

Nazwa użytkownika SSH ma następujące ograniczenia:The SSH username has the following restrictions:

  • Dozwolone znaki specjalne: _ i @Allowed special characters: _ and @
  • Znaki nie są dozwolone: #;. "", /: "! *? $ () {} [] < > | &--= +% ~ ^ SpaceCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Maksymalna długość: 64Max length: 64
  • Nazwy zastrzeżonych: Hadoop, users, Oozie, Hive, mapred, Ambari-pytań i odpowiedzi, dozorcy, tez, HDFS, Sqoop, przędzy, hcat, AMS, HBase, burza, administrator, administrator, użytkownik, Użytkownik1, test, TEST1, 123 user3 gość, Jan, właściciel, główny, serwer, SQL, pomoc techniczna, Support_388945a0, sys, TEST2, test3, user4, user5, SparkReserved names: hadoop, users, oozie, hive, mapred, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, storm, administrator, admin, user, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, console, david, guest, john, owner, root, server, sql, support, support_388945a0, sys, test2, test3, user4, user5, spark

Pakiet Enterprise Security Package umożliwia integrację usługi HDInsight z usługami Active Directory i Apache Ranger.The Enterprise security package allows you to integrate HDInsight with Active Directory and Apache Ranger. Wielu użytkowników można utworzyć przy użyciu pakietu Enterprise Security.Multiple users can be created using the Enterprise security package.

Lokalizacja (regiony) klastrów i magazynuLocation (regions) for clusters and storage

Nie musisz jawnie określać lokalizacji klastra: klaster znajduje się w tej samej lokalizacji co magazyn domyślny.You don't need to specify the cluster location explicitly: The cluster is in the same location as the default storage. Aby uzyskać listę obsługiwanych regionów, kliknij listę rozwijaną region w cenniku usługi HDInsight.For a list of supported regions, click the Region drop-down list on HDInsight pricing.

Punkty końcowe magazynu dla klastrówStorage endpoints for clusters

Mimo że lokalna instalacja usługi Hadoop wykorzystuje rozproszony system plików platformy Hadoop (HDFS) do magazynowania w klastrze, w chmurze używane są punkty końcowe usługi Storage połączone z klastrem.Although an on-premises installation of Hadoop uses the Hadoop Distributed File System (HDFS) for storage on the cluster, in the cloud you use storage endpoints connected to cluster. Korzystanie z magazynu w chmurze pozwala bezpiecznie usuwać klastry usługi HDInsight używane do obliczeń przy zachowaniu danych.Using cloud storage means you can safely delete the HDInsight clusters used for computation while still retaining your data.

Klastry usługi HDInsight mogą korzystać z następujących opcji magazynu:HDInsight clusters can use the following storage options:

  • Usługa Azure Data Lake Storage 2. generacjiAzure Data Lake Storage Gen2
  • Azure Data Lake Storage 1. generacjiAzure Data Lake Storage Gen1
  • Usługa Azure Storage Ogólnego przeznaczenia v2Azure storage General Purpose v2
  • Usługa Azure Storage Ogólnego przeznaczenia wersja 1Azure storage General Purpose v1
  • Blokowy obiekt BLOB usługi Azure Storage (obsługiwany tylko jako magazyn pomocniczy)Azure storage Block blob (only supported as secondary storage)

Aby uzyskać więcej informacji na temat opcji magazynu w usłudze HDInsight, zobacz porównanie opcji magazynu do użycia z klastrami usługi Azure HDInsight.For more information on storage options with HDInsight, see Compare storage options for use with Azure HDInsight clusters.

Ostrzeżenie

Korzystanie z dodatkowego konta magazynu w innej lokalizacji niż klaster usługi HDInsight nie jest obsługiwane.Using an additional storage account in a different location from the HDInsight cluster is not supported.

Podczas konfiguracji dla domyślnego punktu końcowego magazynu należy określić kontener obiektów BLOB dla konta usługi Azure Storage lub Data Lake Storage.During configuration, for the default storage endpoint you specify a blob container of an Azure Storage account or Data Lake Storage. Domyślny magazyn zawiera Dzienniki aplikacji i systemu.The default storage contains application and system logs. Opcjonalnie można określić dodatkowe połączone konta usługi Azure Storage i konta Data Lake Storage, do których może uzyskać dostęp klaster.Optionally, you can specify additional linked Azure Storage accounts and Data Lake Storage accounts that the cluster can access. Klaster usługi HDInsight i zależne konta magazynu muszą znajdować się w tej samej lokalizacji platformy Azure.The HDInsight cluster and the dependent storage accounts must be in the same Azure location.

Ustawienia magazynu klastra: punkty końcowe magazynu zgodnego z systemem HDFS

Uwaga

Funkcja wymagająca bezpiecznego transferu wymusza wszystkie żądania do konta przez bezpieczne połączenie.The feature that requires secure transfer enforces all requests to your account through a secure connection. Ta funkcja obsługuje tylko klaster usługi HDInsight w wersji 3,6 lub nowszej.Only HDInsight cluster version 3.6 or newer supports this feature. Aby uzyskać więcej informacji, zobacz Tworzenie klastra Apache Hadoop z kontami magazynu Secure transfer w usłudze Azure HDInsight.For more information, see Create Apache Hadoop cluster with secure transfer storage accounts in Azure HDInsight.

Opcjonalne magazyny metadanychOptional metastores

Możesz tworzyć opcjonalne magazyny Hive lub Apache Oozie.You can create optional Hive or Apache Oozie metastores. Nie wszystkie typy klastrów obsługują jednak magazyny metadanych, a Azure SQL Data Warehouse nie są zgodne z magazynami metadanych.However, not all cluster types support metastores, and Azure SQL Data Warehouse isn't compatible with metastores.

Aby uzyskać więcej informacji, zobacz Korzystanie z zewnętrznych magazynów metadanych w usłudze Azure HDInsight.For more information, see Use external metadata stores in Azure HDInsight.

Ważne

Podczas tworzenia niestandardowego magazynu metadanych nie należy używać kresek, łączników ani spacji w nazwie bazy danych.When you create a custom metastore, don't use dashes, hyphens, or spaces in the database name. Może to spowodować niepowodzenie procesu tworzenia klastra.This can cause the cluster creation process to fail.

magazyn metadanych HiveHive metastore

Jeśli tabele programu Hive mają być zachowywane po usunięciu klastra usługi HDInsight, Użyj niestandardowego magazynu metadanych.If you want to retain your Hive tables after you delete an HDInsight cluster, use a custom metastore. Następnie można dołączyć magazyn metadanych do innego klastra usługi HDInsight.You can then attach the metastore to another HDInsight cluster.

HDInsight An magazynu metadanych utworzonego dla jednej wersji klastra usługi HDInsight nie można współużytkować w różnych wersjach klastra usługi HDInsight.An HDInsight metastore that is created for one HDInsight cluster version cannot be shared across different HDInsight cluster versions. Aby zapoznać się z listą wersji usługi HDInsight, zobacz obsługiwane wersje usługi HDInsight.For a list of HDInsight versions, see Supported HDInsight versions.

Magazyn metadanych OozieOozie metastore

Aby zwiększyć wydajność podczas korzystania z programu Oozie, Użyj niestandardowego magazynu metadanych.To increase performance when using Oozie, use a custom metastore. Magazyn metadanych może także zapewnić dostęp do danych zadania Oozie po usunięciu klastra.A metastore can also provide access to Oozie job data after you delete your cluster.

Ważne

Nie można ponownie użyć niestandardowego magazynu metadanych Oozie.You cannot reuse a custom Oozie metastore. Aby użyć niestandardowego magazynu metadanych Oozie, należy podać puste Azure SQL Database podczas tworzenia klastra usługi HDInsight.To use a custom Oozie metastore, you must provide an empty Azure SQL Database when creating the HDInsight cluster.

Pakiet zabezpieczeń przedsiębiorstwaEnterprise security package

W przypadku typów klastrów usługi Hadoop, Spark, HBase, Kafka i interakcyjnych zapytań można włączyć pakiet Enterprise Security.For Hadoop, Spark, HBase, Kafka, and Interactive Query cluster types, you can choose to enable the Enterprise Security Package. Ten pakiet zapewnia bezpieczniejsze Konfigurowanie klastra przy użyciu usługi Apache Ranger i integrację z usługą Azure Active Directory.This package provides option to have a more secure cluster setup by using Apache Ranger and integrating with Azure Active Directory. Aby uzyskać więcej informacji, zobacz Omówienie zabezpieczeń przedsiębiorstwa w usłudze Azure HDInsight.For more information, see Overview of enterprise security in Azure HDInsight.

Opcje tworzenia usługi HDInsight wybierz pozycję pakiet zabezpieczeń przedsiębiorstwa

Aby uzyskać więcej informacji na temat tworzenia przyłączonych do domeny klastrów usługi HDInsight, zobacz Tworzenie przyłączonych do domeny środowiska piaskownicy usługi HDInsight.For more information on creating domain-joined HDInsight cluster, see Create domain-joined HDInsight sandbox environment.

Zwiększanie klastrów przy użyciu sieci wirtualnejExtend clusters with a virtual network

Jeśli rozwiązanie wymaga technologii, które są rozłożone na wiele typów klastrów usługi HDInsight, Sieć wirtualna platformy Azure może połączyć wymagane typy klastrów.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types. Ta konfiguracja umożliwia Klastrom oraz wszelki wdrożony kod, aby bezpośrednio komunikować się ze sobą.This configuration allows the clusters, and any code you deploy to them, to directly communicate with each other.

Aby uzyskać więcej informacji na temat używania sieci wirtualnej platformy Azure z usługą HDInsight, zobacz Planowanie sieci wirtualnej dla usługi HDInsight.For more information on using an Azure virtual network with HDInsight, see Plan a virtual network for HDInsight.

Aby zapoznać się z przykładem użycia dwóch typów klastrów w ramach sieci wirtualnej platformy Azure, zobacz używanie Apache Spark strukturalnych przesyłania strumieniowego z Apache Kafka.For an example of using two cluster types within an Azure virtual network, see Use Apache Spark Structured Streaming with Apache Kafka. Aby uzyskać więcej informacji na temat korzystania z usługi HDInsight z siecią wirtualną, w tym określonych wymagań konfiguracji dla sieci wirtualnej, zobacz Planowanie sieci wirtualnej dla usługi HDInsight.For more information about using HDInsight with a virtual network, including specific configuration requirements for the virtual network, see Plan a virtual network for HDInsight.

Konfigurowanie rozmiaru klastraConfigure cluster size

Opłaty za użycie węzłów są naliczane tak długo, jak klaster istnieje.You are billed for node usage for as long as the cluster exists. Rozliczanie zaczyna się w momencie utworzenia klastra i zostaje zatrzymane po usunięciu klastra.Billing starts when a cluster is created and stops when the cluster is deleted. Klastrów nie można cofnąć przydziału ani wstrzymać.Clusters can’t be de-allocated or put on hold.

Liczba węzłów dla każdego typu klastraNumber of nodes for each cluster type

Każdy typ klastra ma własną liczbę węzłów, terminologię dla węzłów i domyślny rozmiar maszyny wirtualnej.Each cluster type has its own number of nodes, terminology for nodes, and default VM size. W poniższej tabeli liczba węzłów dla każdego typu węzła jest w nawiasach.In the following table, the number of nodes for each node type is in parentheses.

TypType WęzłyNodes DiagramDiagram
Usługa HadoopHadoop Węzeł główny (2), węzeł procesu roboczego (1 +)Head node (2), Worker node (1+) Węzły klastra Hadoop usługi HDInsight
HBaseHBase Serwer głównych (2), serwer regionu (1 +), węzeł główny/dozorcy (3)Head server (2), region server (1+), master/ZooKeeper node (3) Konfiguracja typu klastra HBase usługi HDInsight
StormStorm Węzeł Nimbus (2), serwer nadzorujący (1 +), węzeł dozorcy (3)Nimbus node (2), supervisor server (1+), ZooKeeper node (3) Konfiguracja typu klastra burzy usługi HDInsight
SparkSpark Węzeł główny (2), węzeł procesu roboczego (1 +), węzeł dozorcy (3) (bezpłatnie dla rozmiaru maszyny wirtualnej a1 dozorcy)Head node (2), Worker node (1+), ZooKeeper node (3) (free for A1 ZooKeeper VM size) Konfiguracja typu klastra Spark usługi HDInsight

Aby uzyskać więcej informacji, zobacz domyślną konfigurację węzła i rozmiary maszyn wirtualnych dla klastrów w artykule "Jakie są składniki i wersje usługi Hadoop w usłudze HDInsight?".For more information, see Default node configuration and virtual machine sizes for clusters in "What are the Hadoop components and versions in HDInsight?"

Koszt klastrów usługi HDInsight jest określany przez liczbę węzłów i rozmiary maszyn wirtualnych dla węzłów.The cost of HDInsight clusters is determined by the number of nodes and the virtual machines sizes for the nodes.

Różne typy klastrów mają różne typy węzłów, liczby węzłów i rozmiary węzłów:Different cluster types have different node types, numbers of nodes, and node sizes:

  • Typ klastra usługi Hadoop wartość domyślna:Hadoop cluster type default:
    • Dwa węzły główneTwo head nodes
    • Cztery węzły procesu roboczegoFour Worker nodes
  • Typ klastra burzy jest domyślny:Storm cluster type default:
    • Dwa węzły NimbusTwo Nimbus nodes
    • Trzy węzły dozorcyThree ZooKeeper nodes
    • Cztery węzły nadzoruFour supervisor nodes

W przypadku wypróbowania usługi HDInsight zalecamy użycie jednego węzła procesu roboczego.If you are just trying out HDInsight, we recommend you use one Worker node. Aby uzyskać więcej informacji na temat cennika usługi HDInsight, zobacz Cennik usługi HDInsight.For more information about HDInsight pricing, see HDInsight pricing.

Uwaga

Limit rozmiaru klastra różni się między subskrypcjami platformy Azure.The cluster size limit varies among Azure subscriptions. Aby zwiększyć limit, skontaktuj się z pomocą techniczną dla usługi Azure rozliczenia .Contact Azure billing support to increase the limit.

W przypadku konfigurowania klastra przy użyciu Azure Portal rozmiar węzła jest dostępny za pomocą karty Konfiguracja i Cennik . W portalu można także sprawdzić koszt związany z różnymi rozmiarami węzłów.When you use the Azure portal to configure the cluster, the node size is available through the Configuration + pricing tab. In the portal, you can also see the cost associated with the different node sizes.

HDInsight Wybieranie rozmiaru węzła

Rozmiary maszyn wirtualnychVirtual machine sizes

Podczas wdrażania klastrów Wybierz zasoby obliczeniowe na podstawie rozwiązania, które planujesz wdrożyć.When you deploy clusters, choose compute resources based on the solution you plan to deploy. Następujące maszyny wirtualne są używane na potrzeby klastrów usługi HDInsight:The following VMs are used for HDInsight clusters:

Aby dowiedzieć się, jakiej wartości należy użyć do określenia rozmiaru maszyny wirtualnej podczas tworzenia klastra przy użyciu różnych zestawów SDK lub podczas korzystania z Azure PowerShell, zobacz rozmiary maszyn wirtualnych, które mają być używane dla klastrów usługi HDInsight.To find out what value you should use to specify a VM size while creating a cluster using the different SDKs or while using Azure PowerShell, see VM sizes to use for HDInsight clusters. Z tego połączonego artykułu Użyj wartości z kolumny rozmiar w tabelach.From this linked article, use the value in the Size column of the tables.

Ważne

Jeśli potrzebujesz więcej niż 32 węzłów procesu roboczego w klastrze, musisz wybrać rozmiar węzła głównego z co najmniej 8 rdzeniami i 14 GB pamięci RAM.If you need more than 32 Worker nodes in a cluster, you must select a head node size with at least 8 cores and 14 GB of RAM.

Aby uzyskać więcej informacji, zobacz rozmiary maszyn wirtualnych.For more information, see Sizes for virtual machines. Aby uzyskać informacje o cenach różnych rozmiarów, zobacz Cennik usługi HDInsight.For information about pricing of the various sizes, see HDInsight pricing.

Konfiguracja klasycznego klastraClassic cluster setup

Konfiguracja klastra klasycznego kompiluje się przy użyciu domyślnych ustawień tworzenia i dodaje następujące opcje:Classic cluster setup builds on the default create settings, and adds the following options:

Instalowanie aplikacji HDInsight w klastrachInstall HDInsight applications on clusters

Aplikacja usługi HDInsight to aplikacja, którą użytkownicy mogą zainstalować w klastrze usługi HDInsight opartym na systemie Linux.An HDInsight application is an application that users can install on a Linux-based HDInsight cluster. Możesz korzystać z aplikacji udostępnianych przez firmę Microsoft, inne firmy lub samodzielnie.You can use applications provided by Microsoft, third parties, or that you develop yourself. Aby uzyskać więcej informacji, zobacz Instalowanie aplikacji Apache Hadoop innych firm w usłudze Azure HDInsight.For more information, see Install third-party Apache Hadoop applications on Azure HDInsight.

Większość aplikacji usługi HDInsight jest instalowanych w pustym węźle krawędzi.Most of the HDInsight applications are installed on an empty edge node. Pusty węzeł brzegowy to maszyna wirtualna z systemem Linux z tymi samymi narzędziami klienta zainstalowanymi i skonfigurowanymi jako w węźle głównym.An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the head node. Węzeł brzegowy służy do uzyskiwania dostępu do klastra, testowania aplikacji klienckich i hostowania aplikacji klienckich.You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications. Aby uzyskać więcej informacji, zobacz używanie pustych węzłów brzegowych w usłudze HDInsight.For more information, see Use empty edge nodes in HDInsight.

Ustawienia zaawansowane: akcje skryptuAdvanced settings: Script actions

Możesz zainstalować dodatkowe składniki lub dostosować konfigurację klastra przy użyciu skryptów podczas tworzenia.You can install additional components or customize cluster configuration by using scripts during creation. Takie skrypty są wywoływane za pośrednictwem akcji skryptu, która jest opcją konfiguracji, której można użyć z Azure Portal, poleceń cmdlet programu Windows PowerShell usługi HDInsight lub zestawu .NET SDK usługi HDInsight.Such scripts are invoked via Script Action, which is a configuration option that can be used from the Azure portal, HDInsight Windows PowerShell cmdlets, or the HDInsight .NET SDK. Aby uzyskać więcej informacji, zobacz Dostosowywanie klastra usługi HDInsight za pomocą akcji skryptu.For more information, see Customize HDInsight cluster using Script Action.

Niektóre natywne składniki języka Java, takie jak Apache Mahout i kaskadowe, można uruchamiać w klastrze jako pliki archiwum Java (JAR).Some native Java components, like Apache Mahout and Cascading, can be run on the cluster as Java Archive (JAR) files. Te pliki JAR mogą być dystrybuowane do usługi Azure Storage i przesyłane do klastrów HDInsight przy użyciu mechanizmów przesyłania zadań w usłudze Hadoop.These JAR files can be distributed to Azure Storage and submitted to HDInsight clusters with Hadoop job submission mechanisms. Aby uzyskać więcej informacji, zobacz artykuł przesyłanie zadań Apache Hadoop programowo.For more information, see Submit Apache Hadoop jobs programmatically.

Uwaga

Jeśli masz problemy z wdrażaniem plików JAR w klastrach usługi HDInsight lub wywoływanie plików JAR w klastrach usługi HDInsight, skontaktuj się z Pomoc techniczna firmy Microsoft.If you have issues deploying JAR files to HDInsight clusters, or calling JAR files on HDInsight clusters, contact Microsoft Support.

Łączenie kaskadowe nie jest obsługiwane przez usługi HDInsight i nie kwalifikuje się do pomoc techniczna firmy Microsoft.Cascading is not supported by HDInsight and is not eligible for Microsoft Support. Aby uzyskać listę obsługiwanych składników, zobacz co nowego w wersjach klastra dostarczonych przez usługi HDInsight.For lists of supported components, see What's new in the cluster versions provided by HDInsight.

Czasami podczas procesu tworzenia należy skonfigurować następujące pliki konfiguracji:Sometimes, you want to configure the following configuration files during the creation process:

  • clusterIdentity. XMLclusterIdentity.xml
  • pliku Core-site. XMLcore-site.xml
  • Gateway. XMLgateway.xml
  • HBase-ENV. XMLhbase-env.xml
  • HBase-site. XMLhbase-site.xml
  • HDFS-site. XMLhdfs-site.xml
  • Hive-ENV. XMLhive-env.xml
  • Hive-site. XMLhive-site.xml
  • mapred — lokacjamapred-site
  • Oozie-site. XMLoozie-site.xml
  • Oozie-ENV. XMLoozie-env.xml
  • Storm-site. XMLstorm-site.xml
  • tez-site. XMLtez-site.xml
  • webhcat-site. XMLwebhcat-site.xml
  • Yarn-site. XMLyarn-site.xml

Aby uzyskać więcej informacji, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu narzędzia Bootstrap.For more information, see Customize HDInsight clusters using Bootstrap.

Następne krokiNext steps