Fürtök beállítása a HDInsight-ben Apache Hadoop, Apache Spark, Apache Kafka és más szolgáltatásokkalSet up clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, and more

Megtudhatja, hogyan állíthatja be és konfigurálhatja a HDInsight-fürtöket a Apache Hadoop, a Apache Spark, a Apache Kafka, az interaktív lekérdezés, az Apache HBase, a ML-szolgáltatások vagy a Apache Storm használatával.Learn how to set up and configure clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, Interactive Query, Apache HBase, ML Services, or Apache Storm. Azt is megtudhatja, hogyan szabhatja testre a fürtöket, és hogyan adhat hozzá a biztonsághoz egy tartományhoz való csatlakoztatással.Also, learn how to customize clusters and add security by joining them to a domain.

A Hadoop-fürtök több virtuális gépről (csomópontból) állnak, amelyek a feladatok elosztott feldolgozásához használatosak.A Hadoop cluster consists of several virtual machines (nodes) that are used for distributed processing of tasks. Az Azure HDInsight az egyes csomópontok telepítésének és konfigurálásának megvalósítási részleteit kezeli, így csak általános konfigurációs adatokat kell megadnia.Azure HDInsight handles implementation details of installation and configuration of individual nodes, so you only have to provide general configuration information.

Fontos

A HDInsight-fürt számlázása a fürt létrehozásakor kezdődik és a fürt törlésekor fejeződik be.HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. A számlázás percalapú, ezért mindig érdemes törölni a fürtöt, ha az már nincs használatban.Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use. További információ a fürtök törléséről.Learn how to delete a cluster.

Fürt beállítási módszereiCluster setup methods

A következő táblázat a HDInsight-fürtök beállításához használható különböző módszereket mutatja be.The following table shows the different methods you can use to set up an HDInsight cluster.

A-val létrehozott fürtökClusters created with WebböngészőWeb browser ParancssorCommand line REST APIREST API SDKSDK
Azure PortalAzure portal      
Azure Data FactoryAzure Data Factory
Azure CLIAzure CLI      
Azure PowerShellAzure PowerShell      
cURLcURL    
.NET SDK.NET SDK      
Azure Resource Manager sablonokAzure Resource Manager templates      

Gyors létrehozás: Alapszintű fürt beállításaQuick create: Basic cluster setup

Ez a cikk végigvezeti a telepítőn a Azure Portalon, ahol létrehozhat egy HDInsight-fürtöt a gyors létrehozás vagy az Egyénilehetőség használatával.This article walks you through setup in the Azure portal, where you can create an HDInsight cluster using Quick create or Custom.

hdinsight-létrehozási beállítások egyéni gyors létrehozás

Kövesse a képernyőn megjelenő utasításokat egy alapszintű fürt telepítésének elvégzéséhez.Follow instructions on the screen to do a basic cluster setup. A részleteket az alábbi táblázat ismerteti:Details are provided below for:

Erőforráscsoport neveResource group name

Azure Resource Manager segít az alkalmazásban lévő erőforrásokkal való munkavégzésben, amely Azure-erőforráscsoport néven is ismert.Azure Resource Manager helps you work with the resources in your application as a group, referred to as an Azure resource group. Az alkalmazás összes erőforrását egyetlen összehangolt műveletben telepítheti, frissítheti, figyelheti vagy törölheti.You can deploy, update, monitor, or delete all the resources for your application in a single coordinated operation.

Fürtök típusai és konfigurációjaCluster types and configuration

Az Azure HDInsight jelenleg a következő típusú fürtöket biztosítja, amelyek mindegyike tartalmaz bizonyos funkciókat biztosító összetevők készletét.Azure HDInsight currently provides the following cluster types, each with a set of components to provide certain functionalities.

Fontos

A HDInsight-fürtök különböző típusokban érhetők el, amelyek mindegyike egyetlen munkaterheléshez vagy technológiához használható.HDInsight clusters are available in various types, each for a single workload or technology. Nincs támogatott módszer a több típust egyesítő fürt létrehozására, például a Storm és a HBase egy fürtön.There is no supported method to create a cluster that combines multiple types, such as Storm and HBase on one cluster. Ha a megoldás olyan technológiákat igényel, amelyek több HDInsight között oszlanak el, az Azure-beli virtuális hálózatok kapcsolódhatnak a szükséges fürtökhöz.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types.

Fürt típusaCluster type FunkcióFunctionality
HadoopHadoop A tárolt adatmennyiségek kötegelt lekérdezése és elemzéseBatch query and analysis of stored data
HBaseHBase Nagy mennyiségű séma nélküli, NoSQL-adatbázis feldolgozásaProcessing for large amounts of schemaless, NoSQL data
Interaktív lekérdezésInteractive Query Memóriában történő gyorsítótárazás az interaktív és gyorsabb kaptár-lekérdezésekhezIn-memory caching for interactive and faster Hive queries
KafkaKafka Elosztott streaming platform, amely valós idejű adatfolyam-továbbítási adatcsatornák és alkalmazások létrehozására használhatóA distributed streaming platform that can be used to build real-time streaming data pipelines and applications
ML szolgáltatásokML Services Különböző big data statisztikák, prediktív modellezés és gépi tanulási képességekVarious big data statistics, predictive modeling, and machine learning capabilities
SparkSpark Memóriabeli feldolgozás, interaktív lekérdezések, mikro-köteg adatfolyam-feldolgozásIn-memory processing, interactive queries, micro-batch stream processing
StormStorm Valós idejű eseményfeldolgozásReal-time event processing

HDInsight verziójaHDInsight version

Válassza ki a fürthöz tartozó HDInsight verzióját.Choose the version of HDInsight for this cluster. További információ: támogatott HDInsight-verziók.For more information, see Supported HDInsight versions.

Fürt neveCluster name

A HDInsight-fürtök neve a következő korlátozásokkal rendelkezhet:HDInsight cluster names have the following restrictions:

  • Engedélyezett karakterek: a-z, 0-9, A-ZAllowed characters: a-z, 0-9, A-Z
  • Maximális hossz: 59Max length: 59
  • Fenntartott nevek: alkalmazásokReserved names: apps
  • A fürt elnevezési hatóköre az összes Azure-ra kiterjed az összes előfizetésben.The cluster naming scope is for all Azure, across all subscriptions. Így a fürt nevének egyedinek kell lennie világszerte.So the cluster name must be unique worldwide.
  • Az első 6 karakternek egyedinek kell lennie egy VNET belülFirst 6 characters must be unique within a VNET

Fürt bejelentkezési és SSH-felhasználóneveCluster login and SSH username

A HDInsight-fürtök esetében két felhasználói fiókot is beállíthat a fürt létrehozása során:With HDInsight clusters, you can configure two user accounts during cluster creation:

  • HTTP-felhasználó: Az alapértelmezett felhasználónév az admin. A Azure Portal alapszintű konfigurációját használja.HTTP user: The default username is admin. It uses the basic configuration on the Azure portal. Néha a "fürt felhasználó" néven is ismert.Sometimes it is called "Cluster user."
  • SSH-felhasználó: Az SSH-n keresztül a fürthöz való kapcsolódásra szolgál.SSH user: Used to connect to the cluster through SSH. További információ: Az SSH használata HDInsighttal.For more information, see Use SSH with HDInsight.

A HTTP-Felhasználónév a következő korlátozásokkal rendelkezik:The HTTP username has the following restrictions:

  • Engedélyezett speciális karakterek: _ és @Allowed special characters: _ and @
  • Nem engedélyezett karakterek: #;. "",/: "! *? $ (){}[] < > | &--= +% ~ ^ szóközCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Maximális hossz: 20Max length: 20

Az SSH-Felhasználónév a következő korlátozásokkal rendelkezik:The SSH username has the following restrictions:

  • Engedélyezett speciális karakterek: _ és @Allowed special characters: _ and @
  • Nem engedélyezett karakterek: #;. "",/: "! *? $ (){}[] < > | &--= +% ~ ^ szóközCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Maximális hossz: 64Max length: 64
  • Fenntartott nevek: Hadoop, felhasználók, oozie, kaptár, mapred, ambari-QA, Zookeeper, TEZ, hdfs, sqoop, fonal, hcat, AMS, hbase, Storm, Administrator, admin, user, Felhasználó1, test, Felhasználó2, test1, user3, Rendszergazda1, 1, 123, a, actuser, adm, admin2, ASPNET,, a konzol, David, vendég, János, tulajdonos, gyökér, kiszolgáló, SQL, támogatás, support_388945a0, sys, teszt2, test3, user4, user5, SparkReserved names: hadoop, users, oozie, hive, mapred, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, storm, administrator, admin, user, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, console, david, guest, john, owner, root, server, sql, support, support_388945a0, sys, test2, test3, user4, user5, spark

A nagyvállalati biztonsági csomag lehetővé teszi a HDInsight integrálását Active Directory és Apache Ranger használatával.The Enterprise security package allows you to integrate HDInsight with Active Directory and Apache Ranger. A vállalati biztonsági csomag használatával több felhasználó is létrehozható.Multiple users can be created using the Enterprise security package.

A fürtök és a tároló helye (régiói)Location (regions) for clusters and storage

Nem kell explicit módon megadnia a fürt helyét: A fürt az alapértelmezett tárolóval megegyező helyen található.You don't need to specify the cluster location explicitly: The cluster is in the same location as the default storage. A támogatott régiók listájának megtekintéséhez kattintson a régió legördülő listára a HDInsight díjszabásában.For a list of supported regions, click the Region drop-down list on HDInsight pricing.

Fürtök tárolási végpontjaiStorage endpoints for clusters

Bár a Hadoop helyszíni telepítése a elosztott fájlrendszer Hadoop (HDFS) használja a fürtön lévő tároláshoz, a felhőben a fürthöz csatlakozó tárolási végpontokat használja.Although an on-premises installation of Hadoop uses the Hadoop Distributed File System (HDFS) for storage on the cluster, in the cloud you use storage endpoints connected to cluster. A felhőalapú tárolás eszközzel biztonságosan törölheti a számításhoz használt HDInsight-fürtöket, miközben továbbra is megőrizheti az adatait.Using cloud storage means you can safely delete the HDInsight clusters used for computation while still retaining your data.

A HDInsight-fürtök a következő tárolási lehetőségeket használhatják:HDInsight clusters can use the following storage options:

  • Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2
  • Azure Data Lake Storage Gen1Azure Data Lake Storage Gen1
  • Azure Storage általános célú v2Azure storage General Purpose v2
  • Azure Storage általános célú v1Azure storage General Purpose v1
  • Azure Storage Block-blob (csak másodlagos tárolóként támogatott)Azure storage Block blob (only supported as secondary storage)

További információ a tárolási lehetőségekről a HDInsight használatával: a tárolási lehetőségek összehasonlítása az Azure HDInsight-fürtökkel való használatra.For more information on storage options with HDInsight, see Compare storage options for use with Azure HDInsight clusters.

Figyelmeztetés

A HDInsight-fürttől eltérő helyen található további Storage-fiók használata nem támogatott.Using an additional storage account in a different location from the HDInsight cluster is not supported.

A konfiguráció során az alapértelmezett tárolási végponthoz meg kell adnia egy Azure Storage-fiók vagy Data Lake Storage blob-tárolóját.During configuration, for the default storage endpoint you specify a blob container of an Azure Storage account or Data Lake Storage. Az alapértelmezett tároló alkalmazás-és rendszernaplókat tartalmaz.The default storage contains application and system logs. Megadhat további társított Azure Storage-fiókokat és Data Lake Storage fiókokat is, amelyeket a fürt elérhet.Optionally, you can specify additional linked Azure Storage accounts and Data Lake Storage accounts that the cluster can access. A HDInsight-fürtnek és a függő tárolási fiókoknak ugyanabban az Azure-helyen kell lenniük.The HDInsight cluster and the dependent storage accounts must be in the same Azure location.

Fürt tárolási beállításai: HDFS-kompatibilis tárolási végpontok

Megjegyzés

A funkció, amely biztonságos átvitel szükséges érvényesíti az összes kérés biztonságos kapcsolaton keresztül a fiókjához.The feature that requires secure transfer enforces all requests to your account through a secure connection. Csak HDInsight-fürt 3.6-os verzióját vagy újabb támogatja ezt a szolgáltatást.Only HDInsight cluster version 3.6 or newer supports this feature. További információkért lásd: létrehozása az Apache Hadoop-fürt az Azure HDInsight biztonságos átvitelű tárfiókokkal rendelkező.For more information, see Create Apache Hadoop cluster with secure transfer storage accounts in Azure HDInsight.

Opcionális metaadattárakOptional metastores

Létrehozhat opcionális struktúrát vagy Apache Oozie metaadattárak is.You can create optional Hive or Apache Oozie metastores. Azonban nem minden típusú fürt támogatja a metaadattárak-t, és Azure SQL Data Warehouse nem kompatibilis a metaadattárak-mel.However, not all cluster types support metastores, and Azure SQL Data Warehouse isn't compatible with metastores.

További információ: külső metaadat-tárolók használata az Azure HDInsight-ben.For more information, see Use external metadata stores in Azure HDInsight.

Fontos

Egyéni metaadattár létrehozásakor ne használjon kötőjeleket, kötőjeleket és szóközöket az adatbázis nevében.When you create a custom metastore, don't use dashes, hyphens, or spaces in the database name. Ennek hatására a fürt létrehozási folyamata sikertelen lehet.This can cause the cluster creation process to fail.

Hive-metaadattárHive metastore

Ha a HDInsight-fürt törlése után szeretné megőrizni a kaptár-táblákat, egyéni metaadattár használjon.If you want to retain your Hive tables after you delete an HDInsight cluster, use a custom metastore. Ezután a metaadattár egy másik HDInsight-fürthöz is csatolhatja.You can then attach the metastore to another HDInsight cluster.

Az egyik HDInsight létrehozott metaadattár nem oszthatók meg különböző HDInsight-fürt verziói között. An méretű HDInsightAn HDInsight metastore that is created for one HDInsight cluster version cannot be shared across different HDInsight cluster versions. A HDInsight-verziók listáját lásd: támogatott HDInsight-verziók.For a list of HDInsight versions, see Supported HDInsight versions.

Oozie metaadattárOozie metastore

A Oozie használatakor a teljesítmény növeléséhez használjon egyéni metaadattár.To increase performance when using Oozie, use a custom metastore. A metaadattár a fürt törlése után is biztosíthat hozzáférést a Oozie-feladatok adataihoz.A metastore can also provide access to Oozie job data after you delete your cluster.

Fontos

Egyéni Oozie-metaadattár nem használható fel újra.You cannot reuse a custom Oozie metastore. Ha egyéni Oozie-metaadattár szeretne használni, üres Azure SQL Database kell megadnia a HDInsight-fürt létrehozásakor.To use a custom Oozie metastore, you must provide an empty Azure SQL Database when creating the HDInsight cluster.

Egyéni fürt beállításaCustom cluster setup

Az egyéni fürt beállítása a gyors létrehozási beállításokon alapul, és a következő beállításokat adja meg:Custom cluster setup builds on the Quick create settings, and adds the following options:

Vállalati biztonsági csomagEnterprise security package

A Hadoop, a Spark, a HBase, a Kafka és az interaktív lekérdezési fürt típusainál engedélyezheti a Enterprise Security Package.For Hadoop, Spark, HBase, Kafka, and Interactive Query cluster types, you can choose to enable the Enterprise Security Package. Ez a csomag lehetővé teszi, hogy az Apache Ranger használatával biztonságosabb fürtöt lehessen beállítani, és integrálja Azure Active Directory.This package provides option to have a more secure cluster setup by using Apache Ranger and integrating with Azure Active Directory. További információ: a vállalati biztonság áttekintése az Azure HDInsight-ben.For more information, see Overview of enterprise security in Azure HDInsight.

hdinsight-létrehozási beállítások válassza a vállalati biztonsági csomag lehetőséget

A tartományhoz csatlakoztatott HDInsight-fürtök létrehozásával kapcsolatos további információkért lásd: tartományhoz csatlakoztatott HDInsight homokozó környezet létrehozása.For more information on creating domain-joined HDInsight cluster, see Create domain-joined HDInsight sandbox environment.

HDInsight-alkalmazások telepítése fürtökönInstall HDInsight applications on clusters

A HDInsight-alkalmazások olyan alkalmazások, amelyeket a felhasználók egy Linux-alapú HDInsight-fürtre telepíthetnek.An HDInsight application is an application that users can install on a Linux-based HDInsight cluster. Használhatja a Microsoft vagy harmadik felek által biztosított alkalmazásokat, illetve saját maga is fejlesztheti azokat.You can use applications provided by Microsoft, third parties, or that you develop yourself. További információ: külső féltől származó Apache Hadoop alkalmazások telepítése az Azure HDInsight.For more information, see Install third-party Apache Hadoop applications on Azure HDInsight.

A HDInsight alkalmazások többsége üres peremhálózati csomópontra van telepítve.Most of the HDInsight applications are installed on an empty edge node. Az üres peremhálózati csomópont egy Linux rendszerű virtuális gép, amelyen ugyanaz az ügyféleszközök van telepítve és konfigurálva, mint a fő csomópontban.An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the head node. Használhatja a peremhálózati csomópontot a fürt eléréséhez, az ügyfélalkalmazások teszteléséhez és az ügyfélalkalmazások üzemeltetéséhez.You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications. További információ: üres peremhálózati csomópontok használata a HDInsight-ben.For more information, see Use empty edge nodes in HDInsight.

Fürt méretének konfigurálásaConfigure cluster size

A csomópont-használat számlázása addig történik, amíg a fürt létezik.You are billed for node usage for as long as the cluster exists. A számlázás akkor kezdődik, amikor létrejön egy fürt, és leáll, amikor a fürt törlődik.Billing starts when a cluster is created and stops when the cluster is deleted. A fürtöket nem lehet kiosztani vagy lefoglalni.Clusters can’t be de-allocated or put on hold.

Csomópontok száma az egyes fürtök típusainálNumber of nodes for each cluster type

Mindegyik fürt típusa saját számú csomóponttal, csomópontok terminológiával és alapértelmezett virtuálisgép-mérettel rendelkezik.Each cluster type has its own number of nodes, terminology for nodes, and default VM size. Az alábbi táblázatban az egyes csomópont-típusok csomópontjainak száma zárójelben van.In the following table, the number of nodes for each node type is in parentheses.

TypeType CsomópontokNodes DiagramDiagram
HadoopHadoop Fő csomópont (2), munkavégző csomópont (1 +)Head node (2), Worker node (1+) HDInsight Hadoop
HBaseHBase Head Server (2), régió-kiszolgáló (1 +), fő/ZooKeeper csomópont (3)Head server (2), region server (1+), master/ZooKeeper node (3) HDInsight HBase
StormStorm Nimbus csomópont (2), felügyeleti kiszolgáló (1 +), ZooKeeper csomópont (3)Nimbus node (2), supervisor server (1+), ZooKeeper node (3) HDInsight Storm-fürtcsomópontok
SparkSpark Fő csomópont (2), munkavégző csomópont (1 +), ZooKeeper-csomópont (3) (az A1-es ZooKeeper VM-mérethez ingyenes)Head node (2), Worker node (1+), ZooKeeper node (3) (free for A1 ZooKeeper VM size) HDInsight Spark-fürtcsomópontok

További információ: az alapértelmezett csomópont-konfiguráció és a fürtök virtuálisgép-mérete a "mi a Hadoop-összetevők és-verziók a HDInsight-ben?"For more information, see Default node configuration and virtual machine sizes for clusters in "What are the Hadoop components and versions in HDInsight?"

A HDInsight-fürtök költségeit a csomópontok száma és a csomópontok virtuális gépei mérete határozza meg.The cost of HDInsight clusters is determined by the number of nodes and the virtual machines sizes for the nodes.

A különböző típusú fürtök eltérő csomópont-típusokkal, csomópont-számokkal és csomópont-méretekkel rendelkeznek:Different cluster types have different node types, numbers of nodes, and node sizes:

  • Hadoop-fürt típusának alapértelmezett értéke:Hadoop cluster type default:
    • Két fő csomópontTwo head nodes
    • Négy munkavégző csomópontFour Worker nodes
  • Storm-fürt típusa alapértelmezett:Storm cluster type default:
    • Két Nimbus-csomópontTwo Nimbus nodes
    • Három ZooKeeper-csomópontThree ZooKeeper nodes
    • Négy felügyeleti csomópontFour supervisor nodes

Ha csak kipróbálja a HDInsight, javasoljuk, hogy használjon egy feldolgozói csomópontot.If you are just trying out HDInsight, we recommend you use one Worker node. További információ a HDInsight díjszabásáról: HDInsight díjszabása.For more information about HDInsight pricing, see HDInsight pricing.

Megjegyzés

A fürt méretének korlátozása az Azure-előfizetések között változhat.The cluster size limit varies among Azure subscriptions. A korlát növeléséhez vegye fel a kapcsolatot az Azure számlázási támogatási szolgálatával .Contact Azure billing support to increase the limit.

Ha a Azure Portal a fürt konfigurálására használja, a csomópont mérete a csomópontok díjszabási szintjei panelen érhető el.When you use the Azure portal to configure the cluster, the node size is available through the Node Pricing Tiers blade. A portálon megtekintheti a különböző csomópont-méretekhez kapcsolódó költségeket is.In the portal, you can also see the cost associated with the different node sizes.

HDInsight VM-csomópontok mérete

Virtuálisgép-méretekVirtual machine sizes

Fürtök telepítésekor a telepítendő megoldás alapján válassza a számítási erőforrások lehetőséget.When you deploy clusters, choose compute resources based on the solution you plan to deploy. A következő virtuális gépek használatosak a HDInsight-fürtökhöz:The following VMs are used for HDInsight clusters:

Annak megállapításához, hogy milyen értéket kell használnia a virtuális gép méretének megadásához a különböző SDK-k használatával vagy a Azure PowerShell használata közben, lásd: HDInsight-fürtökhöz használandóvirtuálisgép-méretek.To find out what value you should use to specify a VM size while creating a cluster using the different SDKs or while using Azure PowerShell, see VM sizes to use for HDInsight clusters. Ebből a csatolt cikkből a táblázatok méret oszlopában található értéket használja.From this linked article, use the value in the Size column of the tables.

Fontos

Ha a fürtben több mint 32 feldolgozó csomópontra van szüksége, ki kell választania egy fő csomópont-méretet legalább 8 maggal és 14 GB RAM-mal.If you need more than 32 Worker nodes in a cluster, you must select a head node size with at least 8 cores and 14 GB of RAM.

További információkért lásd: virtuális gépek méretei.For more information, see Sizes for virtual machines. További információ a különböző méretek díjszabásáról: HDInsight díjszabása.For information about pricing of the various sizes, see HDInsight pricing.

Speciális beállítások: SzkriptműveletekAdvanced settings: Script actions

További összetevőket is telepíthet, vagy testre szabhatja a fürt konfigurációját parancsfájlok használatával a létrehozás során.You can install additional components or customize cluster configuration by using scripts during creation. Az ilyen parancsfájlokat parancsfájl- művelettelhívja meg, amely a Azure Portal, a HDInsight Windows PowerShell-parancsmagok vagy a HDINSIGHT .net SDK használatával használható konfigurációs lehetőség.Such scripts are invoked via Script Action, which is a configuration option that can be used from the Azure portal, HDInsight Windows PowerShell cmdlets, or the HDInsight .NET SDK. További információ: a HDInsight-fürt testreszabása parancsfájl-művelettel.For more information, see Customize HDInsight cluster using Script Action.

Egyes natív Java-összetevők, például az Apache Mahout és a kaszkádolt, Java Archive (JAR) fájlokként futtathatók a fürtön.Some native Java components, like Apache Mahout and Cascading, can be run on the cluster as Java Archive (JAR) files. Ezek a JAR-fájlok eloszthatók az Azure Storage-ba, és a Hadoop-feladatok beküldési mechanizmusaival HDInsight-fürtökbe elküldveThese JAR files can be distributed to Azure Storage and submitted to HDInsight clusters with Hadoop job submission mechanisms. További információt a Apache Hadoop feladatok programozott beküldésecímű témakörben talál.For more information, see Submit Apache Hadoop jobs programmatically.

Megjegyzés

Ha problémába ütközik a JAR-fájlok HDInsight-fürtökre való telepítésekor vagy JAR-fájlok HDInsight-fürtökön való meghívásakor, forduljon a Microsoft ügyfélszolgálatahoz.If you have issues deploying JAR files to HDInsight clusters, or calling JAR files on HDInsight clusters, contact Microsoft Support.

A HDInsight nem támogatja a kaszkádolt használatát, és nem jogosult Microsoft ügyfélszolgálatara.Cascading is not supported by HDInsight and is not eligible for Microsoft Support. A támogatott összetevők listáját a HDInsight által biztosított fürtcsomópontok újdonságaicímű témakörben tekintheti meg.For lists of supported components, see What's new in the cluster versions provided by HDInsight.

Időnként a következő konfigurációs fájlokat szeretné konfigurálni a létrehozási folyamat során:Sometimes, you want to configure the following configuration files during the creation process:

  • clusterIdentity.xmlclusterIdentity.xml
  • Core-site. XMLcore-site.xml
  • gateway.xmlgateway.xml
  • hbase-env.xmlhbase-env.xml
  • hbase-site.xmlhbase-site.xml
  • hdfs-site.xmlhdfs-site.xml
  • hive-env.xmlhive-env.xml
  • hive-site.xmlhive-site.xml
  • mapred – helymapred-site
  • oozie-site. XMLoozie-site.xml
  • oozie-env.xmloozie-env.xml
  • Storm-site. XMLstorm-site.xml
  • tez-site.xmltez-site.xml
  • webhcat-site.xmlwebhcat-site.xml
  • yarn-site. XMLyarn-site.xml

További információ: HDInsight- fürtök testreszabása a bootstrap használatával.For more information, see Customize HDInsight clusters using Bootstrap.

Speciális beállítások: Fürtök kiterjesztése virtuális hálózattalAdvanced settings: Extend clusters with a virtual network

Ha a megoldás olyan technológiákat igényel, amelyek több HDInsight között oszlanak el, az Azure-beli virtuális hálózatok kapcsolódhatnak a szükséges fürtökhöz.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types. Ez a konfiguráció lehetővé teszi, hogy a fürtök és a rájuk telepített kódok közvetlenül kommunikálhassanak egymással.This configuration allows the clusters, and any code you deploy to them, to directly communicate with each other.

További információ az Azure-beli virtuális hálózatok HDInsight használatával történő használatáról: virtuális hálózat megtervezése HDInsight számára.For more information on using an Azure virtual network with HDInsight, see Plan a virtual network for HDInsight.

Az Azure-beli virtuális hálózaton belüli két fürt típusának használatával kapcsolatban lásd: Apache Spark strukturált adatfolyam használata Apache Kafka használatával.For an example of using two cluster types within an Azure virtual network, see Use Apache Spark Structured Streaming with Apache Kafka. További információ a HDInsight virtuális hálózattal történő használatáról, beleértve a virtuális hálózat speciális konfigurációs követelményeit: virtuális hálózat megtervezése HDInsight számára.For more information about using HDInsight with a virtual network, including specific configuration requirements for the virtual network, see Plan a virtual network for HDInsight.

További lépésekNext steps