Clusters in HDInsight instellen met Apache Hadoop, Apache Spark, Apache Kafka en meerSet up clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, and more

Meer informatie over het instellen en configureren van clusters in HDInsight met Apache Hadoop, Apache Spark, Apache Kafka, interactieve query, Apache HBase, ML Services of Apache Storm.Learn how to set up and configure clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, Interactive Query, Apache HBase, ML Services, or Apache Storm. Meer informatie over het aanpassen van clusters en het toevoegen van beveiliging door ze te koppelen aan een domein.Also, learn how to customize clusters and add security by joining them to a domain.

Een Hadoop-cluster bestaat uit meerdere virtuele machines (knoop punten) die worden gebruikt voor gedistribueerde verwerking van taken.A Hadoop cluster consists of several virtual machines (nodes) that are used for distributed processing of tasks. Azure HDInsight verwerkt implementatie details van de installatie en configuratie van afzonderlijke knoop punten, zodat u alleen algemene configuratie-informatie hoeft op te geven.Azure HDInsight handles implementation details of installation and configuration of individual nodes, so you only have to provide general configuration information.

Belangrijk

De facturering voor het gebruik van HDInsight-clusters begint zodra er een cluster is gemaakt en stopt als een cluster wordt verwijderd.HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. De facturering wordt pro-rato per minuut berekend, dus u moet altijd uw cluster verwijderen wanneer het niet meer wordt gebruikt.Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use. Meer informatie over het verwijderen van een cluster.Learn how to delete a cluster.

Cluster installatie methodenCluster setup methods

In de volgende tabel ziet u de verschillende methoden die u kunt gebruiken om een HDInsight-cluster in te stellen.The following table shows the different methods you can use to set up an HDInsight cluster.

Clusters die zijn gemaakt metClusters created with WebbrowserWeb browser OpdrachtregelCommand line REST-APIREST API SDKSDK
Azure-portalAzure portal      
Azure Data FactoryAzure Data Factory
Azure-CLIAzure CLI      
Azure PowerShellAzure PowerShell      
cURLcURL    
.NET SDK.NET SDK      
Azure Resource Manager sjablonenAzure Resource Manager templates      

Eenvoudige cluster installatieBasic cluster setup

Dit artikel begeleidt u bij het instellen van de Azure Portal, waar u een HDInsight-cluster kunt maken met behulp van de standaard weergave of het klassiekemodel.This article walks you through setup in the Azure portal, where you can create an HDInsight cluster using the default view or Classic.

hdinsight maken opties aangepaste snelle invoer

Volg de instructies op het scherm.Follow instructions on the screen. Details worden hieronder vermeld voor:Details are provided below for:

ResourcegroepnaamResource group name

Azure Resource Manager helpt u bij het werken met de resources in uw toepassing als een groep, een Azure-resource groep genoemd.Azure Resource Manager helps you work with the resources in your application as a group, referred to as an Azure resource group. U kunt in één gecoördineerde bewerking alle resources voor uw toepassing implementeren, bijwerken, bewaken of verwijderen.You can deploy, update, monitor, or delete all the resources for your application in a single coordinated operation.

Cluster typen en configuratieCluster types and configuration

Azure HDInsight biedt momenteel de volgende cluster typen, elk met een aantal onderdelen voor bepaalde functies.Azure HDInsight currently provides the following cluster types, each with a set of components to provide certain functionalities.

Belangrijk

HDInsight-clusters zijn beschikbaar in verschillende typen, elk voor één werk belasting of technologie.HDInsight clusters are available in various types, each for a single workload or technology. Er is geen ondersteunde methode voor het maken van een cluster dat meerdere typen combineert, zoals Storm en HBase op één cluster.There is no supported method to create a cluster that combines multiple types, such as Storm and HBase on one cluster. Als uw oplossing technologieën vereist die verspreid zijn over meerdere typen HDInsight-clusters, kan een virtueel Azure-netwerk verbinding maken met de vereiste cluster typen.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types.

ClustertypeCluster type FunctionaliteitFunctionality
HadoopHadoop Batch-query en analyse van opgeslagen gegevensBatch query and analysis of stored data
HBaseHBase Verwerking voor grote hoeveel heden schemaloos, NoSQL-gegevensProcessing for large amounts of schemaless, NoSQL data
Interactieve queryInteractive Query In-memory cache voor interactieve en snellere Hive-query'sIn-memory caching for interactive and faster Hive queries
KafkaKafka Een gedistribueerd streaming-platform dat kan worden gebruikt om realtime streaming-gegevens pijplijnen en toepassingen te makenA distributed streaming platform that can be used to build real-time streaming data pipelines and applications
ML ServicesML Services Diverse big data statistieken, voorspellende modellen en machine learning mogelijkhedenVarious big data statistics, predictive modeling, and machine learning capabilities
SparkSpark Verwerking in het geheugen, interactieve query's, micro batch-stroom verwerkingIn-memory processing, interactive queries, micro-batch stream processing
StormStorm Gebeurtenissen in realtime verwerkenReal-time event processing

HDInsight-versieHDInsight version

Kies de versie van HDInsight voor dit cluster.Choose the version of HDInsight for this cluster. Zie ondersteunde HDInsight-versiesvoor meer informatie.For more information, see Supported HDInsight versions.

ClusternaamCluster name

Voor de namen van HDInsight-clusters gelden de volgende beperkingen:HDInsight cluster names have the following restrictions:

  • Toegestane tekens: a-z, 0-9, A-ZAllowed characters: a-z, 0-9, A-Z
  • Maximum lengte: 59Max length: 59
  • Gereserveerde namen: appsReserved names: apps
  • Het bereik van de cluster naamgeving geldt voor alle Azure, in alle abonnementen.The cluster naming scope is for all Azure, across all subscriptions. De cluster naam moet dus wereld wijd uniek zijn.So the cluster name must be unique worldwide.
  • De eerste zes tekens moeten uniek zijn binnen een VNETFirst six characters must be unique within a VNET

Aanmeldings gegevens van het cluster en SSH-gebruikers naamCluster login and SSH username

Met HDInsight-clusters kunt u twee gebruikers accounts configureren tijdens het maken van het cluster:With HDInsight clusters, you can configure two user accounts during cluster creation:

  • HTTP-gebruiker: De standaardgebruikersnaam admin. Hierbij wordt gebruikgemaakt van de basis configuratie op het Azure Portal.HTTP user: The default username is admin. It uses the basic configuration on the Azure portal. Soms wordt het ' cluster gebruiker ' genoemd.Sometimes it is called "Cluster user."
  • SSH-gebruiker: Wordt gebruikt om via SSH verbinding te maken met het cluster.SSH user: Used to connect to the cluster through SSH. Zie SSH gebruiken met HDInsight voor meer informatie.For more information, see Use SSH with HDInsight.

De HTTP-gebruikers naam heeft de volgende beperkingen:The HTTP username has the following restrictions:

  • Toegestane speciale tekens: _ en @Allowed special characters: _ and @
  • Tekens zijn niet toegestaan: #;. "', /: '! *? $ () {} [] < > | &--= +% ~ ^ ruimteCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Maximum lengte: 20Max length: 20

De SSH-gebruikers naam heeft de volgende beperkingen:The SSH username has the following restrictions:

  • Toegestane speciale tekens: _ en @Allowed special characters: _ and @
  • Tekens zijn niet toegestaan: #;. "', /: '! *? $ () {} [] < > | &--= +% ~ ^ ruimteCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Maximum lengte: 64Max length: 64
  • Gereserveerde namen: Hadoop, users, oozie, Hive, mapred, ambari-QA, Zookeeper, TEZ, hdfs, sqoop, garens, hcat, AMS, hbase, Storm, beheerder, admin, gebruiker, gebruiker1, test,//-naam, test1, user3, admin1, 1, 123, a, actuser, adm, Admin2, ASPNET, backup, console, David, gast, John, owner, root, Server, SQL, ondersteuning, Support_388945a0, sys, Test2, Test3, user4, user5, SparkReserved names: hadoop, users, oozie, hive, mapred, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, storm, administrator, admin, user, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, console, david, guest, john, owner, root, server, sql, support, support_388945a0, sys, test2, test3, user4, user5, spark

Met het beveiligings pakket van de onderneming kunt u HDInsight integreren met Active Directory en Apache zwerver.The Enterprise security package allows you to integrate HDInsight with Active Directory and Apache Ranger. Meerdere gebruikers kunnen worden gemaakt met behulp van het Enter prise-beveiligings pakket.Multiple users can be created using the Enterprise security package.

Locatie (regio's) voor clusters en opslagLocation (regions) for clusters and storage

U hoeft de cluster locatie niet expliciet op te geven: Het cluster bevindt zich op dezelfde locatie als de standaard opslag.You don't need to specify the cluster location explicitly: The cluster is in the same location as the default storage. Klik voor een lijst met ondersteunde regio's op de vervolg keuzelijst regio voor prijzen voor HDInsight.For a list of supported regions, click the Region drop-down list on HDInsight pricing.

Opslag eindpunten voor clustersStorage endpoints for clusters

Hoewel een on-premises installatie van Hadoop gebruikmaakt van de Hadoop Distributed File System (HDFS) voor opslag op het cluster, gebruikt u in de Cloud opslag eindpunten die zijn verbonden met het cluster.Although an on-premises installation of Hadoop uses the Hadoop Distributed File System (HDFS) for storage on the cluster, in the cloud you use storage endpoints connected to cluster. Door gebruik te maken van Cloud opslag kunt u de HDInsight-clusters die worden gebruikt voor berekeningen, veilig verwijderen terwijl uw gegevens behouden blijven.Using cloud storage means you can safely delete the HDInsight clusters used for computation while still retaining your data.

HDInsight-clusters kunnen de volgende opslag opties gebruiken:HDInsight clusters can use the following storage options:

  • Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2
  • Azure Data Lake Storage Gen1Azure Data Lake Storage Gen1
  • Azure Storage Algemeen v2Azure storage General Purpose v2
  • Azure Storage Algemeen v1Azure storage General Purpose v1
  • Azure Storage Block BLOB (alleen ondersteund als secundaire opslag)Azure storage Block blob (only supported as secondary storage)

Zie voor meer informatie over opslag opties met HDInsight de Opties voor het vergelijken van opslag voor gebruik met Azure HDInsight-clusters.For more information on storage options with HDInsight, see Compare storage options for use with Azure HDInsight clusters.

Waarschuwing

Het gebruik van een extra opslag account in een andere locatie dan het HDInsight-cluster wordt niet ondersteund.Using an additional storage account in a different location from the HDInsight cluster is not supported.

Tijdens de configuratie geeft u voor het standaard opslag eindpunt een BLOB-container van een Azure Storage account of Data Lake Storage op.During configuration, for the default storage endpoint you specify a blob container of an Azure Storage account or Data Lake Storage. De standaard opslag bevat toepassings-en systeem Logboeken.The default storage contains application and system logs. Desgewenst kunt u aanvullende gekoppelde Azure Storage accounts en Data Lake Storage accounts opgeven waartoe het cluster toegang heeft.Optionally, you can specify additional linked Azure Storage accounts and Data Lake Storage accounts that the cluster can access. Het HDInsight-cluster en de afhankelijke opslag accounts moeten zich op dezelfde Azure-locatie beslaan.The HDInsight cluster and the dependent storage accounts must be in the same Azure location.

Instellingen voor cluster opslag: HDFS-compatibele opslag eindpunten

Notitie

De functie die is vereist van veilige overdracht alle aanvragen naar uw account via een beveiligde verbinding wordt afgedwongen.The feature that requires secure transfer enforces all requests to your account through a secure connection. Alleen HDInsight-cluster versie 3.6 of nieuwer ondersteunt deze functie.Only HDInsight cluster version 3.6 or newer supports this feature. Zie voor meer informatie, maakt Apache Hadoop-cluster met storage-accounts voor veilige overdracht in Azure HDInsight.For more information, see Create Apache Hadoop cluster with secure transfer storage accounts in Azure HDInsight.

Optionele meta StoresOptional metastores

U kunt een optioneel Hive-of Apache Oozie-meta Store maken.You can create optional Hive or Apache Oozie metastores. Maar niet alle cluster typen ondersteunen meta Stores en Azure SQL Data Warehouse is niet compatibel met meta Stores.However, not all cluster types support metastores, and Azure SQL Data Warehouse isn't compatible with metastores.

Zie externe meta gegevens archieven gebruiken in azure HDInsightvoor meer informatie.For more information, see Use external metadata stores in Azure HDInsight.

Belangrijk

Wanneer u een aangepaste meta Store maakt, gebruikt u geen streepjes, afbreek streepjes of spaties in de database naam.When you create a custom metastore, don't use dashes, hyphens, or spaces in the database name. Dit kan ertoe leiden dat het proces voor het maken van een cluster mislukt.This can cause the cluster creation process to fail.

Hive-metastoreHive metastore

Als u de Hive-tabellen wilt behouden nadat u een HDInsight-cluster hebt verwijderd, gebruikt u een aangepaste meta Store.If you want to retain your Hive tables after you delete an HDInsight cluster, use a custom metastore. U kunt de meta Store vervolgens koppelen aan een ander HDInsight-cluster.You can then attach the metastore to another HDInsight cluster.

An HDInsight meta Store dat is gemaakt voor één HDInsight-cluster versie kan niet worden gedeeld tussen verschillende versies van het HDInsight-cluster.An HDInsight metastore that is created for one HDInsight cluster version cannot be shared across different HDInsight cluster versions. Zie ondersteunde hdinsight-versiesvoor een lijst met hdinsight-versies.For a list of HDInsight versions, see Supported HDInsight versions.

Oozie-metastoreOozie metastore

Gebruik een aangepaste meta Store om de prestaties te verbeteren wanneer u Oozie gebruikt.To increase performance when using Oozie, use a custom metastore. Een meta Store kan ook toegang bieden tot Oozie-taak gegevens nadat u uw cluster hebt verwijderd.A metastore can also provide access to Oozie job data after you delete your cluster.

Belangrijk

U kunt een aangepaste Oozie-meta Store niet opnieuw gebruiken.You cannot reuse a custom Oozie metastore. Als u een aangepaste Oozie-meta Store wilt gebruiken, moet u een lege Azure SQL Database opgeven bij het maken van het HDInsight-cluster.To use a custom Oozie metastore, you must provide an empty Azure SQL Database when creating the HDInsight cluster.

Enterprise Security PackageEnterprise security package

Voor Hadoop-, Spark-, HBase-, Kafka-en interactieve query cluster typen kunt u ervoor kiezen om de Enterprise Security Packagein te scha kelen.For Hadoop, Spark, HBase, Kafka, and Interactive Query cluster types, you can choose to enable the Enterprise Security Package. Met dit pakket beschikt u over een veiligere cluster installatie door Apache zwerver te gebruiken en te integreren met Azure Active Directory.This package provides option to have a more secure cluster setup by using Apache Ranger and integrating with Azure Active Directory. Zie overzicht van Bedrijfs beveiliging in azure HDInsightvoor meer informatie.For more information, see Overview of enterprise security in Azure HDInsight.

opties voor het maken van hdinsight het ondernemings beveiligings pakket kiezen

Zie voor meer informatie over het maken van een domein toegevoegd HDInsight-cluster maken een in domein gekoppelde hdinsight sandbox-omgeving.For more information on creating domain-joined HDInsight cluster, see Create domain-joined HDInsight sandbox environment.

Clusters uitbreiden met een virtueel netwerkExtend clusters with a virtual network

Als uw oplossing technologieën vereist die verspreid zijn over meerdere typen HDInsight-clusters, kan een virtueel Azure-netwerk verbinding maken met de vereiste cluster typen.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types. Met deze configuratie kunnen de clusters en alle code die u hier implementeert, direct met elkaar communiceren.This configuration allows the clusters, and any code you deploy to them, to directly communicate with each other.

Zie een virtueel netwerk plannen voor hdinsightvoor meer informatie over het gebruik van een virtueel Azure-netwerk met hdinsight.For more information on using an Azure virtual network with HDInsight, see Plan a virtual network for HDInsight.

Zie Apache Spark Structured streaming gebruiken met Apache Kafkavoor een voor beeld van het gebruik van twee cluster typen in een virtueel Azure-netwerk.For an example of using two cluster types within an Azure virtual network, see Use Apache Spark Structured Streaming with Apache Kafka. Zie een virtueel netwerk plannen voor HDInsightvoor meer informatie over het gebruik van HDInsight met een virtueel netwerk, inclusief specifieke configuratie vereisten voor het virtuele netwerk.For more information about using HDInsight with a virtual network, including specific configuration requirements for the virtual network, see Plan a virtual network for HDInsight.

Cluster grootte configurerenConfigure cluster size

U wordt gefactureerd voor het gebruik van knoop punten zolang het cluster bestaat.You are billed for node usage for as long as the cluster exists. De facturering begint wanneer een cluster wordt gemaakt en stopt wanneer het cluster wordt verwijderd.Billing starts when a cluster is created and stops when the cluster is deleted. De toewijzing van clusters kan niet ongedaan worden gemaakt of in de wacht stand worden geplaatst.Clusters can’t be de-allocated or put on hold.

Aantal knoop punten voor elk cluster typeNumber of nodes for each cluster type

Elk cluster type heeft een eigen aantal knoop punten, terminologie voor knoop punten en standaard VM-grootte.Each cluster type has its own number of nodes, terminology for nodes, and default VM size. In de volgende tabel staat het aantal knoop punten voor elk knooppunt type tussen haakjes.In the following table, the number of nodes for each node type is in parentheses.

typeType KnooppuntenNodes DiagramDiagram
HadoopHadoop Hoofd knooppunt (2), Worker-knoop punt (1 +)Head node (2), Worker node (1+) HDInsight Hadoop-cluster knooppunten
HBaseHBase Hoofd server (2), regio server (1 +), hoofd-ZooKeeper knoop punt (3)Head server (2), region server (1+), master/ZooKeeper node (3) Setup van HDInsight HBase-cluster type
StormStorm Nimbus-knoop punt (2), supervisor server (1 +), ZooKeeper-knoop punt (3)Nimbus node (2), supervisor server (1+), ZooKeeper node (3) Instellingen voor het cluster type voor HDInsight Storm
SparkSpark Hoofd knooppunt (2), Worker-knoop punt (1 +), ZooKeeper-knoop punt (3) (gratis voor de VM-grootte van a1 ZooKeeper)Head node (2), Worker node (1+), ZooKeeper node (3) (free for A1 ZooKeeper VM size) Setup van HDInsight Spark-cluster type

Zie standaard knooppunt configuratie en grootten voor virtuele machines in ' wat zijn de Hadoop-onderdelen en versies in HDInsight? ' voor meer informatie.For more information, see Default node configuration and virtual machine sizes for clusters in "What are the Hadoop components and versions in HDInsight?"

De kosten voor HDInsight-clusters worden bepaald door het aantal knoop punten en de grootte van de virtuele machines voor de knoop punten.The cost of HDInsight clusters is determined by the number of nodes and the virtual machines sizes for the nodes.

Verschillende cluster typen hebben verschillende knooppunt typen, aantal knoop punten en knooppunt grootten:Different cluster types have different node types, numbers of nodes, and node sizes:

  • Standaard Hadoop-cluster type:Hadoop cluster type default:
    • Twee hoofd knooppuntenTwo head nodes
    • Vier worker-knoop puntenFour Worker nodes
  • Storm-cluster type standaard:Storm cluster type default:
    • Twee Nimbus-knoop puntenTwo Nimbus nodes
    • Drie ZooKeeper-knoop puntenThree ZooKeeper nodes
    • Vier supervisor knooppuntenFour supervisor nodes

Als u alleen een HDInsight probeert uit te voeren, raden we u aan om één worker-knoop punt te gebruiken.If you are just trying out HDInsight, we recommend you use one Worker node. Zie prijzen voor hdinsightvoor meer informatie over de prijzen voor hdinsight.For more information about HDInsight pricing, see HDInsight pricing.

Notitie

De limiet voor de cluster grootte is afhankelijk van Azure-abonnementen.The cluster size limit varies among Azure subscriptions. Neem contact op met de ondersteuning voor Azure-facturering om de limiet te verhogen.Contact Azure billing support to increase the limit.

Wanneer u de Azure Portal gebruikt om het cluster te configureren, is de grootte van het knoop punt beschikbaar via het tabblad configuratie en prijzen . In de portal kunt u ook de kosten zien die zijn gekoppeld aan de verschillende knooppunt grootten.When you use the Azure portal to configure the cluster, the node size is available through the Configuration + pricing tab. In the portal, you can also see the cost associated with the different node sizes.

HDInsight de grootte van het knoop punt kiezen

Grootten van virtuele machinesVirtual machine sizes

Wanneer u clusters implementeert, kiest u Compute-resources op basis van de oplossing die u wilt implementeren.When you deploy clusters, choose compute resources based on the solution you plan to deploy. De volgende virtuele machines worden gebruikt voor HDInsight-clusters:The following VMs are used for HDInsight clusters:

Als u wilt weten welke waarde u moet gebruiken om een VM-grootte op te geven tijdens het maken van een cluster met behulp van de verschillende Sdk's of wanneer u Azure PowerShell gebruikt, raadpleegt u VM-grootten voor HDInsight-clusters.To find out what value you should use to specify a VM size while creating a cluster using the different SDKs or while using Azure PowerShell, see VM sizes to use for HDInsight clusters. Gebruik in dit gekoppelde artikel de waarde in de kolom grootte van de tabellen.From this linked article, use the value in the Size column of the tables.

Belangrijk

Als u meer dan 32 worker-knoop punten in een cluster nodig hebt, moet u een hoofd knooppunt grootte selecteren met ten minste 8 kernen en 14 GB aan RAM-geheugen.If you need more than 32 Worker nodes in a cluster, you must select a head node size with at least 8 cores and 14 GB of RAM.

Zie voor meer informatie, grootten voor virtuele machines.For more information, see Sizes for virtual machines. Zie prijzen voor HDInsightvoor meer informatie over de prijzen van de verschillende grootten.For information about pricing of the various sizes, see HDInsight pricing.

Klassieke cluster installatieClassic cluster setup

Klassieke cluster installatie bouwt voort op de standaard instellingen voor maken en voegt de volgende opties toe:Classic cluster setup builds on the default create settings, and adds the following options:

HDInsight-toepassingen installeren op clustersInstall HDInsight applications on clusters

Een HDInsight-toepassing is een toepassing die gebruikers kunnen installeren op een op Linux gebaseerd HDInsight-cluster.An HDInsight application is an application that users can install on a Linux-based HDInsight cluster. U kunt gebruikmaken van toepassingen die door micro soft, derden of door u worden meegeleverd.You can use applications provided by Microsoft, third parties, or that you develop yourself. Zie Apache Hadoop toepassingen van derden installeren op Azure HDInsightvoor meer informatie.For more information, see Install third-party Apache Hadoop applications on Azure HDInsight.

De meeste HDInsight-toepassingen worden geïnstalleerd op een leeg Edge-knoop punt.Most of the HDInsight applications are installed on an empty edge node. Een lege Edge-knoop punt is een virtuele Linux-machine waarop dezelfde client hulpprogramma's zijn geïnstalleerd en geconfigureerd als in het hoofd knooppunt.An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the head node. U kunt het Edge-knoop punt gebruiken om toegang te krijgen tot het cluster, uw client toepassingen te testen en uw client toepassingen te hosten.You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications. Zie lege Edge-knoop punten in HDInsight gebruikenvoor meer informatie.For more information, see Use empty edge nodes in HDInsight.

Geavanceerde instellingen: ScriptactiesAdvanced settings: Script actions

U kunt extra onderdelen installeren of cluster configuratie aanpassen met behulp van scripts tijdens het maken.You can install additional components or customize cluster configuration by using scripts during creation. Dergelijke scripts worden aangeroepen via script actie, een configuratie optie die kan worden gebruikt vanuit de Azure Portal, Hdinsight Windows Power shell-cmdlets of de HDINSIGHT .NET SDK.Such scripts are invoked via Script Action, which is a configuration option that can be used from the Azure portal, HDInsight Windows PowerShell cmdlets, or the HDInsight .NET SDK. Zie HDInsight-cluster aanpassen met script actievoor meer informatie.For more information, see Customize HDInsight cluster using Script Action.

Sommige systeem eigen Java-onderdelen, zoals Apache mahout en trapsgewijs, kunnen worden uitgevoerd op het cluster als Java Archive-bestanden (JAR).Some native Java components, like Apache Mahout and Cascading, can be run on the cluster as Java Archive (JAR) files. Deze JAR-bestanden kunnen worden gedistribueerd naar Azure Storage en worden verzonden naar HDInsight-clusters met een Hadoop-taak indienings mechanismen.These JAR files can be distributed to Azure Storage and submitted to HDInsight clusters with Hadoop job submission mechanisms. Zie Apache Hadoop-taken via een programma verzendenvoor meer informatie.For more information, see Submit Apache Hadoop jobs programmatically.

Notitie

Neem contact op met Microsoft ondersteuningals u problemen hebt met het implementeren van jar-bestanden op hdinsight-clusters of het aanroepen van jar-bestanden in hdinsight-clusters.If you have issues deploying JAR files to HDInsight clusters, or calling JAR files on HDInsight clusters, contact Microsoft Support.

Trapsgewijs bijwerken wordt niet ondersteund door HDInsight en komt niet in aanmerking voor Microsoft Ondersteuning.Cascading is not supported by HDInsight and is not eligible for Microsoft Support. Zie Wat is er nieuw in de cluster versies van HDInsightvoor lijsten met ondersteunde onderdelen.For lists of supported components, see What's new in the cluster versions provided by HDInsight.

Soms wilt u tijdens het aanmaak proces de volgende configuratie bestanden configureren:Sometimes, you want to configure the following configuration files during the creation process:

  • clusterIdentity.xmlclusterIdentity.xml
  • bestand core-site. XMLcore-site.xml
  • gateway. XMLgateway.xml
  • hbase-env.xmlhbase-env.xml
  • hbase-site.xmlhbase-site.xml
  • hdfs-site.xmlhdfs-site.xml
  • hive-env.xmlhive-env.xml
  • Hive-site. XMLhive-site.xml
  • mapred-sitemapred-site
  • oozie-site.xmloozie-site.xml
  • oozie-env.xmloozie-env.xml
  • Storm-site. XMLstorm-site.xml
  • tez-site.xmltez-site.xml
  • webhcat-site.xmlwebhcat-site.xml
  • yarn-site. XMLyarn-site.xml

Zie HDInsight-clusters aanpassen met Boots trapvoor meer informatie.For more information, see Customize HDInsight clusters using Bootstrap.

Volgende stappenNext steps