HDInsight で Apache Hadoop、Apache Spark、Apache Kafka などを使用してクラスターを設定するSet up clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, and more

HDInsight で Apache Hadoop、Apache Spark、Apache Kafka、Interactive Query、Apache HBase、ML Services、Apache Storm を設定および構成する方法について説明します。Learn how to set up and configure Apache Hadoop, Apache Spark, Apache Kafka, Interactive Query, Apache HBase, ML Services, or Apache Storm in HDInsight. クラスターをドメインに参加させて、クラスターをカスタマイズしたりセキュリティを強化したりする方法についても説明します。Also, learn how to customize clusters and add security by joining them to a domain.

Hadoop クラスターは、タスクの分散処理に使用される複数の仮想マシン (ノード) で構成されます。A Hadoop cluster consists of several virtual machines (nodes) that are used for distributed processing of tasks. 各ノードのインストールと構成にかかわる細部の実装は Azure HDInsight が担うため、ユーザーは一般的な構成情報を指定するだけで済みます。Azure HDInsight handles implementation details of installation and configuration of individual nodes, so you only have to provide general configuration information.

重要

HDInsight クラスターの課金は、クラスターが作成されると開始し、クラスターが削除されると停止します。HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. 課金は分単位なので、クラスターを使わなくなったら必ず削除してください。Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use. 詳細については、クラスターの削除方法に関するページを参照してください。Learn how to delete a cluster.

複数のクラスターを一緒に使用している場合は、仮想ネットワークを作成する必要があります。また、Spark クラスターを使用している場合は、Hive Warehouse Connector を使用することもできます。If you're using multiple clusters together, you'll want to create a virtual network, and if you're using a Spark cluster you'll also want to use the Hive Warehouse Connector. 詳細については、「Azure HDInsight 用の仮想ネットワークを計画する」と「Hive Warehouse Connector を使用して Apache Spark と Apache Hive を統合する」を参照してください。For more information, see Plan a virtual network for Azure HDInsight and Integrate Apache Spark and Apache Hive with the Hive Warehouse Connector.

クラスターのセットアップ方法Cluster setup methods

次の表は、HDInsight クラスターのセットアップに使用できる各種の方法を示しています。The following table shows the different methods you can use to set up an HDInsight cluster.

クラスターの作成方法Clusters created with Web ブラウザーWeb browser コマンド ラインCommand line REST APIREST API SDKSDK
Azure PortalAzure portal      
Azure Data FactoryAzure Data Factory
Azure CLIAzure CLI      
Azure PowerShellAzure PowerShell      
cURLcURL    
Azure リソース マネージャーのテンプレートAzure Resource Manager templates      

この記事では、Azure portal で、HDInsight クラスターを作成するためのセットアップ方法を説明します。This article walks you through setup in the Azure portal, where you can create an HDInsight cluster.

基本Basics

HDInsight の作成オプション: カスタムおよび簡易

プロジェクトの詳細Project details

Azure Resource Manager を使用すると、アプリケーション内の複数のリソースを、Azure リソース グループと呼ばれる 1 つのグループとして使用できます。Azure Resource Manager helps you work with the resources in your application as a group, referred to as an Azure resource group. アプリケーションのこれらすべてのリソースを、1 回の連携した操作でデプロイ、更新、監視、または削除できます。You can deploy, update, monitor, or delete all the resources for your application in a single coordinated operation.

クラスターの詳細Cluster details

クラスター名Cluster name

HDInsight クラスター名には次の制限があります。HDInsight cluster names have the following restrictions:

  • 使用できる文字: a-z、0-9、A-ZAllowed characters: a-z, 0-9, A-Z
  • 最大長:59Max length: 59
  • 予約済みの名前: appsReserved names: apps
  • クラスターの名前付けのスコープは、すべてのサブスクリプションにわたる Azure 全体です。The cluster naming scope is for all Azure, across all subscriptions. そのため、クラスター名は世界全域で一意である必要があります。So the cluster name must be unique worldwide.
  • 最初の 6 文字は仮想ネットワーク内で一意である必要がありますFirst six characters must be unique within a virtual network

リージョンRegion

クラスターの場所を明示的に指定する必要はありません。クラスターは、既定のストレージと同じ場所に存在します。You don't need to specify the cluster location explicitly: The cluster is in the same location as the default storage. サポートされているリージョンのリストについては、「HDInsight の価格」の [リージョン] ドロップダウン リストを選択してください。For a list of supported regions, select the Region drop-down list on HDInsight pricing.

クラスターの種類Cluster type

現在、Azure HDInsight では、以下の種類のクラスターを提供しています。それぞれのクラスターは特定の機能を提供する一連のコンポーネントを備えています。Azure HDInsight currently provides the following cluster types, each with a set of components to provide certain functionalities.

重要

HDInsight クラスターには、さまざまな種類があり、それぞれ単一のワークロードまたはテクノロジに対応しています。HDInsight clusters are available in various types, each for a single workload or technology. 複数の種類 (Storm と HBase など) を組み合わせたクラスターを作成することはできません。There is no supported method to create a cluster that combines multiple types, such as Storm and HBase on one cluster. 複数の種類の HDInsight クラスターにまたがるテクノロジがソリューションに必要な場合は、必要な種類のクラスターを Azure 仮想ネットワーク で接続してください。If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types.

クラスターの種類Cluster type 機能Functionality
HadoopHadoop 格納されたデータのバッチ クエリとバッチ分析Batch query and analysis of stored data
HBaseHBase 大量のスキーマレス NoSQL データの処理Processing for large amounts of schemaless, NoSQL data
Interactive QueryInteractive Query 対話型で高速な Hive クエリのメモリ内キャッシュIn-memory caching for interactive and faster Hive queries
KafkaKafka リアルタイムのストリーミング データ パイプラインとアプリケーションの構築に使用できる分散ストリーム プラットフォームA distributed streaming platform that can be used to build real-time streaming data pipelines and applications
ML サービスML Services さまざまなビッグ データ統計、予測モデリング、機械学習の機能Various big data statistics, predictive modeling, and machine learning capabilities
SparkSpark メモリ内処理、対話型クエリ、マイクロバッチ ストリーム処理In-memory processing, interactive queries, micro-batch stream processing
StormStorm リアルタイム イベント処理Real-time event processing

VersionVersion

このクラスターの HDInsight のバージョンを選択します。Choose the version of HDInsight for this cluster. 詳細については、「サポートされる HDInsight のバージョン」を参照してください。For more information, see Supported HDInsight versions.

クラスターの資格情報Cluster credentials

HDInsight クラスターでは、クラスターの作成時に次の 2 つのユーザー アカウントを構成できます。With HDInsight clusters, you can configure two user accounts during cluster creation:

  • クラスター ログイン ユーザー名:既定のユーザー名は admin です。Azure Portal の基本的な構成を使用します。Cluster login username: The default username is admin. It uses the basic configuration on the Azure portal. "クラスター ユーザー" または "HTTP ユーザー" と呼ばれることもあります。Sometimes it's called "Cluster user," or "HTTP user."
  • Secure Shell (SSH) ユーザー名:SSH を使用してクラスターに接続する際に使用します。Secure Shell (SSH) username: Used to connect to the cluster through SSH. 詳細については、HDInsight での SSH の使用に関するページを参照してください。For more information, see Use SSH with HDInsight.

HTTP ユーザー名には次の制限があります。The HTTP username has the following restrictions:

  • 使用できる特殊文字: _@Allowed special characters: _ and @
  • 使用できない文字: #;."',/:`!*?$(){}[]<>|&--=+%~^スペースCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • 最大長:20Max length: 20

SSH ユーザー名には次の制限があります。The SSH username has the following restrictions:

  • 使用できる特殊文字: _@Allowed special characters:_ and @
  • 使用できない文字: #;."',/:`!*?$(){}[]<>|&--=+%~^スペースCharacters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • 最大長:64Max length: 64
  • 予約済みの名前: hadoop、users、oozie、hive、mapred、ambari、zookeeper、tez、hdfs、sqoop、yarn、hcat、ams、hbase、storm、administrator、admin、user、user1、test、user2、test1、user3、admin1、1、123、a、actuser、adm、admin2、aspnet、backup、console、david、guest、john、owner、root、server、sql、support、support_388945a0、sys、test2、test3、user4、user5、sparkReserved names: hadoop, users, oozie, hive, mapred, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, storm, administrator, admin, user, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, console, david, guest, john, owner, root, server, sql, support, support_388945a0, sys, test2, test3, user4, user5, spark

ストレージStorage

クラスター ストレージの設定: HDFS と互換性のあるエンドポイント

クラスターのストレージには、Hadoop のオンプレミス環境では Hadoop 分散ファイル システム (HDFS) が使用されますが、クラウドでは、クラスターに接続されたストレージ エンドポイントを使用します。Although an on-premises installation of Hadoop uses the Hadoop Distributed File System (HDFS) for storage on the cluster, in the cloud you use storage endpoints connected to cluster. クラウド ストレージを使用すると、データを維持したまま、計算に使用する HDInsight クラスターを安全に削除できます。Using cloud storage means you can safely delete the HDInsight clusters used for computation while still retaining your data.

HDInsight クラスターでは、次のストレージ オプションを使用できます。HDInsight clusters can use the following storage options:

  • Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2
  • Azure Data Lake Storage Gen1Azure Data Lake Storage Gen1
  • Azure Storage General Purpose v2Azure Storage General Purpose v2
  • Azure Storage General Purpose v1Azure Storage General Purpose v1
  • Azure Storage ブロック BLOB (セカンダリ ストレージとしてのみサポート)Azure Storage Block blob (only supported as secondary storage)

HDInsight を使用したストレージ オプションの詳細については、「Azure HDInsight クラスターで使用するストレージ オプションを比較する」を参照してください。For more information on storage options with HDInsight, see Compare storage options for use with Azure HDInsight clusters.

警告

HDInsight クラスター以外の場所で追加のストレージ アカウントを使用することはできません。Using an additional storage account in a different location from the HDInsight cluster is not supported.

構成時、既定のストレージ エンドポイントには、Azure Storage アカウントの BLOB コンテナーまたは Data Lake Storage を指定します。During configuration, for the default storage endpoint you specify a blob container of an Azure Storage account or Data Lake Storage. 既定のストレージには、アプリケーション ログとシステム ログが格納されます。The default storage contains application and system logs. 必要に応じて、クラスターからアクセスできるリンクされた Azure Storage アカウントおよび Data Lake Storage アカウントを追加指定できます。Optionally, you can specify additional linked Azure Storage accounts and Data Lake Storage accounts that the cluster can access. HDInsight クラスターとそのクラスターで使用されるストレージ アカウントは、同じ Azure リージョンに存在している必要があります。The HDInsight cluster and the dependent storage accounts must be in the same Azure location.

注意

セキュリティで保護された転送を必要とする機能では、アカウントへのすべての要求が安全な接続を経由することが強制されます。The feature that requires secure transfer enforces all requests to your account through a secure connection. この機能は、HDInsight クラスター バージョン 3.6 以降でのみサポートされます。Only HDInsight cluster version 3.6 or newer supports this feature. 詳しくは、「Azure HDInsight の安全な転送のストレージ アカウントで Apache Hadoop クラスターを作成する」をご覧ください。For more information, see Create Apache Hadoop cluster with secure transfer storage accounts in Azure HDInsight.

重要

クラスターの作成後にセキュリティで保護されたストレージ転送を有効にすると、ストレージ アカウントを使用する際にエラーが発生する可能性があるため、推奨されません。Enabling secure storage transfer after creating a cluster can result in errors using your storage account and is not recommended. セキュリティで保護された転送が既に有効になっているストレージ アカウントを使用して新しいクラスターを作成することをお勧めします。It is better to create a new cluster using a storage account with secure transfer already enabled.

注意

Azure HDInsight では、Azure Storage に格納されているデータがリージョン間で自動的に転送、移動、コピーされることはありません。Azure HDInsight does not automatically transfer, move or copy your data stored in Azure Storage from one region to another.

メタストアの設定Metastore settings

Hive metastore または Apache Oozie metastore を作成できます (任意)。You can create optional Hive or Apache Oozie metastores. ただし、クラスターの種類によっては metastore がサポートされません。また Azure Synapse Analytics は metastore と互換性がありません。However, not all cluster types support metastores, and Azure Synapse Analytics isn't compatible with metastores.

詳細については、Azure HDInsight での外部メタデータ ストアの使用に関する記事を参照してください。For more information, see Use external metadata stores in Azure HDInsight.

重要

カスタム metastore を作成するとき、ダッシュ、ハイフン、またはスペースをデータベース名に使用しないでください。When you create a custom metastore, don't use dashes, hyphens, or spaces in the database name. クラスター作成プロセスが失敗する可能性があります。This can cause the cluster creation process to fail.

Hive 用の SQL データベースSQL database for Hive

HDInsight クラスターを削除した後も Hive テーブルを保持する場合は、カスタムの metastore を使用することをお勧めします。If you want to retain your Hive tables after you delete an HDInsight cluster, use a custom metastore. その metastore を別の HDInsight クラスターにアタッチすることができます。You can then attach the metastore to another HDInsight cluster.

あるバージョンの HDInsight クラスター用に作成された HDInsight metastore は、別の HDInsight クラスター バージョン間で共有できません。An HDInsight metastore that is created for one HDInsight cluster version can't be shared across different HDInsight cluster versions. HDInsight のバージョンの一覧は、「サポートされる HDInsight のバージョン」をご覧ください。For a list of HDInsight versions, see Supported HDInsight versions.

重要

既定のメタストアでは、DTU 上限が Basic レベルの 5 (アップグレード不可能) である Azure SQL Database が提供されます。The default metastore provides an Azure SQL Database with a basic tier 5 DTU limit (not upgradeable)! 基本的なテスト目的に適しています。Suitable for basic testing purposes. より大きなワークロードや運用環境のワークロードの場合は、外部のメタストアに移行することをお勧めします。For large or production workloads, we recommend migrating to an external metastore.

Oozie 用の SQL データベースSQL database for Oozie

Oozie の使用時にパフォーマンスを向上させるには、カスタム メタストアを使用します。To increase performance when using Oozie, use a custom metastore. また、metastore を使用すると、クラスターの削除後に、Oozie ジョブ データにアクセスすることができます。A metastore can also provide access to Oozie job data after you delete your cluster.

Ambari 用の SQL データベースSQL database for Ambari

Ambari は、HDInsight クラスターの監視、構成の変更、およびクラスター管理情報とジョブ履歴の保存に使用されます。Ambari is used to monitor HDInsight clusters, make configuration changes, and store cluster management information as well as job history. カスタム Ambari DB 機能を使用すると、新しいクラスターをデプロイし、自分が管理する外部データベースに Ambari を設定できます。The custom Ambari DB feature allows you to deploy a new cluster and setup Ambari in an external database that you manage. 詳細については、カスタムの Ambari DB に関する記事を参照してください。For more information, see Custom Ambari DB.

重要

カスタム Oozie メタストアを再利用することはできません。You cannot reuse a custom Oozie metastore. カスタム Oozie メタストアを使用するには、HDInsight クラスターの作成時に空の Azure SQL Database を提供する必要があります。To use a custom Oozie metastore, you must provide an empty Azure SQL Database when creating the HDInsight cluster.

セキュリティとネットワークSecurity + networking

hdinsight の作成オプション [Enterprise セキュリティ パッケージ] を選択

Enterprise セキュリティ パッケージEnterprise security package

クラスターの種類が Hadoop、Spark、HBase、Kafka、および対話型クエリの場合は、Enterprise セキュリティ パッケージ を有効にすることができます。For Hadoop, Spark, HBase, Kafka, and Interactive Query cluster types, you can choose to enable the Enterprise Security Package. このパッケージは、Apache Ranger を使用し、Azure Active Direcotry と統合することによってより安全なクラスターのセットアップを行うオプションを提供します。This package provides option to have a more secure cluster setup by using Apache Ranger and integrating with Azure Active Directory. 詳細については、「Azure HDInsight のエンタープライズ セキュリティの概要」を参照してください。For more information, see Overview of enterprise security in Azure HDInsight.

Enterprise セキュリティ パッケージでは、HDInsight を Active Directory と Apache Ranger と統合することができます。The Enterprise security package allows you to integrate HDInsight with Active Directory and Apache Ranger. Enterprise セキュリティ パッケージを使用して、複数のユーザーを作成できます。Multiple users can be created using the Enterprise security package.

ドメイン参加済みの HDInsight クラスターの作成の詳細については、ドメイン参加済みの HDInsight サンドボックス環境の作成に関する記事を参照してください。For more information on creating domain-joined HDInsight cluster, see Create domain-joined HDInsight sandbox environment.

TLSTLS

詳細については、「トランスポート層セキュリティ」を参照してください。For more information, see Transport Layer Security

仮想ネットワークVirtual network

複数の種類の HDInsight クラスターにまたがるテクノロジがソリューションに必要な場合は、必要な種類のクラスターを Azure 仮想ネットワーク で接続してください。If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types. この構成により、クラスターと、それにデプロイするすべてのコードが互いに通信できるようになります。This configuration allows the clusters, and any code you deploy to them, to directly communicate with each other.

Azure の仮想ネットワークの HDInsight との併用の詳細については、HDInsight 用の仮想ネットワークの計画に関するページをご覧ください。For more information on using an Azure virtual network with HDInsight, see Plan a virtual network for HDInsight.

Azure の仮想ネットワーク内で 2 つのクラスターの種類を使用した例の詳細については、Apache Kafka を使用した Apache Spark 構造化ストリーミングの使用に関するページを参照してください。For an example of using two cluster types within an Azure virtual network, see Use Apache Spark Structured Streaming with Apache Kafka. 仮想ネットワークの具体的な構成要件など、仮想ネットワークで HDInsight を使用する方法の詳細については、HDInsight 用の仮想ネットワークの計画に関するページをご覧ください。For more information about using HDInsight with a virtual network, including specific configuration requirements for the virtual network, see Plan a virtual network for HDInsight.

ディスク暗号化設定Disk encryption setting

詳細については、「お客様が管理するキー ディスクの暗号化」を参照してください。For more information, see Customer-managed key disk encryption.

Kafka REST プロキシKafka REST proxy

この設定は、Kafka のクラスターの種類にのみ使用できます。This setting is only available for cluster type Kafka. 詳細については、REST プロキシの使用に関する記事を参照してください。For more information, see Using a REST proxy.

IDIdentity

詳細については、「Azure HDInsight のマネージド ID」を参照してください。For more information, see Managed identities in Azure HDInsight.

構成と価格Configuration + pricing

HDInsight でノード サイズを選択する

ノードの使用に対する料金は、クラスターが存在する限り発生します。You're billed for node usage for as long as the cluster exists. 課金はクラスターが作成されると開始され、クラスターが削除されると停止されます。Billing starts when a cluster is created and stops when the cluster is deleted. クラスターを割り当て解除または保留にすることはできません。Clusters can't be de-allocated or put on hold.

ノード構成Node configuration

クラスターのノード数、ノードを表す用語、既定の VM サイズは、クラスターの種類によって異なります。Each cluster type has its own number of nodes, terminology for nodes, and default VM size. 次の表では、各ノードの種類のノード数がかっこ内に示されています。In the following table, the number of nodes for each node type is in parentheses.

TypeType NodesNodes ダイアグラムDiagram
HadoopHadoop ヘッド ノード (2)、ワーカー ノード (1 以上)Head node (2), Worker node (1+) HDInsight Hadoop クラスター ノード
hbaseHBase ヘッド サーバー (2)、リージョン サーバー (1 以上)、マスター/ZooKeeper ノード (3)Head server (2), region server (1+), master/ZooKeeper node (3) HDInsight HBase クラスターの種類のセットアップ
StormStorm Nimbus ノード (2)、Supervisor サーバー (1 以上)、ZooKeeper ノード (3)Nimbus node (2), supervisor server (1+), ZooKeeper node (3) HDInsight storm クラスターの種類のセットアップ
SparkSpark ヘッド ノード (2)、ワーカー ノード (1 以上)、ZooKeeper ノード (3) (A1 ZooKeeper VM サイズでは無料)Head node (2), Worker node (1+), ZooKeeper node (3) (free for A1 ZooKeeper VM size) HDInsight spark クラスターの種類のセットアップ

詳細については、HDInsight における Hadoop のコンポーネントとバージョンに関するページの「Default node configuration and virtual machine sizes for clusters (クラスターの既定のノード構成と仮想マシン サイズ)」を参照してください。For more information, see Default node configuration and virtual machine sizes for clusters in "What are the Hadoop components and versions in HDInsight?"

HDInsight クラスターのコストは、ノード数とノードの仮想マシンのサイズによって決まります。The cost of HDInsight clusters is determined by the number of nodes and the virtual machines sizes for the nodes.

クラスターの種類によって、ノードの種類、ノード数、ノード サイズが異なります。Different cluster types have different node types, numbers of nodes, and node sizes:

  • 種類が Hadoop のクラスターにおける既定のノード数:Hadoop cluster type default:
    • "ヘッド ノード" (x 2)Two head nodes
    • 4 つの ワーカー ノードFour Worker nodes
  • 種類が Storm のクラスターにおける既定のノード数:Storm cluster type default:
    • "Nimbus ノード" (x 2)Two Nimbus nodes
    • "Zookeeper ノード" (x 3)Three ZooKeeper nodes
    • "スーパーバイザー ノード" (x 4)Four supervisor nodes

HDInsight を試すだけの目的ならば、使用するワーカー ノードは 1 つにすることをお勧めします。If you're just trying out HDInsight, we recommend you use one Worker node. HDInsight の価格の詳細については、「 HDInsight 価格」をご覧ください。For more information about HDInsight pricing, see HDInsight pricing.

注意

クラスター サイズの制限は、Azure サブスクリプションによって異なります。The cluster size limit varies among Azure subscriptions. 制限値を上げるには、Azure の課金サポートにお問い合わせください。Contact Azure billing support to increase the limit.

Azure portal を使用してクラスターを構成する際、ノード サイズは [Configuration + pricing](構成と価格) タブで確認できます。また、別のノード サイズに関連するコストをポータルで確認することもできます。When you use the Azure portal to configure the cluster, the node size is available through the Configuration + pricing tab. In the portal, you can also see the cost associated with the different node sizes.

仮想マシン サイズVirtual machine sizes

クラスターをデプロイするとき、デプロイ予定のソリューションに応じてコンピューティング リソースを選択します。When you deploy clusters, choose compute resources based on the solution you plan to deploy. HDInsight クラスターには次の VM が使用されます。The following VMs are used for HDInsight clusters:

各種の SDK または Azure PowerShell を使用してクラスターを作成する際、VM サイズの指定で必要となる値については、HDInsight クラスターに使用する VM サイズに関するページを参照してください。To find out what value you should use to specify a VM size while creating a cluster using the different SDKs or while using Azure PowerShell, see VM sizes to use for HDInsight clusters. リンク先の記事に掲載されている表の「サイズ」列の値を使用します。From this linked article, use the value in the Size column of the tables.

重要

クラスターで 32 以上のワーカー ノードが必要になる場合、少なくとも 8 コア、14 GB のヘッド ノード サイズを選択する必要があります。If you need more than 32 Worker nodes in a cluster, you must select a head node size with at least 8 cores and 14 GB of RAM.

詳細については、 仮想マシンのサイズに関するページをご覧ください。For more information, see Sizes for virtual machines. さまざまなサイズの価格については、「HDInsight の価格」をご覧ください。For information about pricing of the various sizes, see HDInsight pricing.

[アプリケーションの追加]Add application

HDInsight アプリケーションは、ユーザーが Linux ベースの HDInsight クラスターにインストールすることのできるアプリケーションです。An HDInsight application is an application that users can install on a Linux-based HDInsight cluster. Microsoft やサード パーティから提供されたアプリケーションのほか、独自に開発したアプリケーションを使用することができます。You can use applications provided by Microsoft, third parties, or that you develop yourself. 詳細については、「Azure HDInsight にサードパーティ製 Apache Hadoop アプリケーションをインストールする」を参照してください。For more information, see Install third-party Apache Hadoop applications on Azure HDInsight.

HDInsight のアプリケーションのほとんどは、空のエッジ ノードにインストールされます。Most of the HDInsight applications are installed on an empty edge node. 空のエッジ ノードは、ヘッド ノードの場合と同じクライアント ツールがインストールされ、構成された Linux 仮想マシンです。An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the head node. エッジ ノードは、クラスターへのアクセス、クライアント アプリケーションのテスト、およびクライアント アプリケーションのホストに使用できます。You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications. 詳細については、「 Use empty edge nodes in HDInsight」(HDInsight で空のエッジ ノードを使用する) を参照してください。For more information, see Use empty edge nodes in HDInsight.

スクリプト操作Script actions

追加コンポーネントをインストールするか、作成中にスクリプトを使用してクラスターの構成をカスタマイズできます。You can install additional components or customize cluster configuration by using scripts during creation. このようなスクリプトは、スクリプト操作 を使用して実行します。これは Azure ポータル、HDInsight Windows PowerShell コマンドレット、HDInsight .NET SDK で使用できる構成オプションです。Such scripts are invoked via Script Action, which is a configuration option that can be used from the Azure portal, HDInsight Windows PowerShell cmdlets, or the HDInsight .NET SDK. 詳しくは、「Script Action を使って HDInsight をカスタマイズする」をご覧ください。For more information, see Customize HDInsight cluster using Script Action.

Apache Mahout や Cascading などの一部のネイティブ Java コンポーネントは、Java アーカイブ (JAR) ファイルとしてクラスター上で実行できます。Some native Java components, like Apache Mahout and Cascading, can be run on the cluster as Java Archive (JAR) files. これらの JAR ファイルは、Azure Storage に分配し、Hadoop ジョブ送信メカニズムによって HDInsight クラスターに送信できます。These JAR files can be distributed to Azure Storage and submitted to HDInsight clusters with Hadoop job submission mechanisms. 詳しくは、 プログラムによる Apache Hadoop ジョブの送信に関するページをご覧ください。For more information, see Submit Apache Hadoop jobs programmatically.

注意

HDInsight クラスターへの JAR ファイルのデプロイ、または HDInsight クラスターでの JAR ファイルの呼び出しに関する問題がある場合は、Microsoft サポートにお問い合わせください。If you have issues deploying JAR files to HDInsight clusters, or calling JAR files on HDInsight clusters, contact Microsoft Support.

Cascading は HDInsight ではサポートされておらず、Microsoft サポートの対象でもありません。Cascading is not supported by HDInsight and is not eligible for Microsoft Support. サポートされているコンポーネントの一覧については、HDInsight で提供されるクラスター バージョンの新機能に関する記事をご覧ください。For lists of supported components, see What's new in the cluster versions provided by HDInsight.

場合によっては、作成プロセス中に次の構成ファイルを設定する必要があります。Sometimes, you want to configure the following configuration files during the creation process:

  • clusterIdentity.xmlclusterIdentity.xml
  • core-site.xmlcore-site.xml
  • gateway.xmlgateway.xml
  • hbase-env.xmlhbase-env.xml
  • hbase-site.xmlhbase-site.xml
  • hdfs-site.xmlhdfs-site.xml
  • hive-env.xmlhive-env.xml
  • hive-site.xmlhive-site.xml
  • mapred-sitemapred-site
  • oozie-site.xmloozie-site.xml
  • oozie-env.xmloozie-env.xml
  • storm-site.xmlstorm-site.xml
  • tez-site.xmltez-site.xml
  • webhcat-site.xmlwebhcat-site.xml
  • yarn-site.xmlyarn-site.xml

詳細については、「 ブートストラップを使って HDInsight クラスターをカスタマイズする 」をご覧ください。For more information, see Customize HDInsight clusters using Bootstrap.

次のステップNext steps