Azure CLI を使用した HDInsight クラスターの作成Create HDInsight clusters using the Azure CLI

このドキュメントの手順では、Azure CLI を使用した HDInsight 3.6 クラスターの作成を順を追って説明します。The steps in this document walk-through creating a HDInsight 3.6 cluster using the Azure CLI.

警告

HDInsight クラスターの料金は、そのクラスターを使用しているかどうかに関係なく、分単位で課金されます。Billing for HDInsight clusters is prorated per minute, whether you use them or not. 使用後は、クラスターを必ず削除してください。Be sure to delete your cluster after you finish using it. HDInsight クラスターを削除する方法」をご覧ください。See how to delete an HDInsight cluster.

Azure サブスクリプションをお持ちでない場合は、開始する前に 無料アカウント を作成してください。If you don't have an Azure subscription, create a free account before you begin.

前提条件Prerequisites

Azure CLI。Azure CLI. Azure CLI をインストールしていない場合、手順については「Azure CLI のインストール」を参照してください。If you haven't installed the Azure CLI, see Install the Azure CLI for steps.

Azure Cloud Shell を使用するUse Azure Cloud Shell

Azure では、ブラウザーを介して使用できる対話型のシェル環境、Azure Cloud Shell がホストされています。Azure hosts Azure Cloud Shell, an interactive shell environment that you can use through your browser. Cloud Shell で Bash または PowerShell を使用して、Azure サービスを操作できます。You can use either Bash or PowerShell with Cloud Shell to work with Azure services. ローカル環境に何もインストールしなくても、Cloud Shell にプレインストールされているコマンドを使用して、この記事のコードを実行できます。You can use the Cloud Shell preinstalled commands to run the code in this article without having to install anything on your local environment.

Azure Cloud Shell を開始するには:To start Azure Cloud Shell:

オプションOption 例とリンクExample/Link
コード ブロックの右上隅にある [使ってみる] を選択します。Select Try It in the upper-right corner of a code block. [使ってみる] を選択しても、コードは Cloud Shell に自動的にコピーされません。Selecting Try It doesn't automatically copy the code to Cloud Shell. Azure Cloud Shell の [使ってみる] の例
https://shell.azure.com に移動するか、 [Cloud Shell を起動する] ボタンを選択して、ブラウザーで Cloud Shell を開きます。Go to https://shell.azure.com, or select the Launch Cloud Shell button to open Cloud Shell in your browser. 新しいウィンドウで Cloud Shell を起動するLaunch Cloud Shell in a new window
Azure portal の右上にあるメニュー バーの [Cloud Shell] ボタンを選択します。Select the Cloud Shell button on the top-right menu bar in the Azure portal. Azure Portal の [Cloud Shell] ボタン

Azure Cloud Shell でこの記事のコードを実行するには:To run the code in this article in Azure Cloud Shell:

  1. Cloud Shell を開始します。Start Cloud Shell.

  2. [コピー] ボタンを選択して、コード ブロックをコードにコピーします。Select the Copy button on a code block to copy the code.

  3. Windows と Linux では Ctrl+Shift+V キーを選択し、macOS では Cmd+Shift+V キーを選択して、コードを Cloud Shell セッションに貼り付けます。Paste the code into the Cloud Shell session by selecting Ctrl+Shift+V on Windows and Linux or by selecting Cmd+Shift+V on macOS.

  4. Enter キーを選択して、コードを実行します。Select Enter to run the code.

クラスターの作成Create a cluster

  1. Azure サブスクリプションにログインします。Log in to your Azure subscription. Azure Cloud Shell を使用する予定の場合は、コード ブロックの右上隅で [試してみる] を選択します。If you plan to use Azure Cloud Shell, then select Try it in the upper-right corner of the code block. それ以外の場合は、次のコマンドを入力します。Else, enter the command below:

    az login
    
    # If you have multiple subscriptions, set the one to use
    # az account set --subscription "SUBSCRIPTIONID"
    
  2. 環境変数を設定します。Set environment variables. この記事での変数の使用は Bash に基づきます。The use of variables in this article is based on Bash. その他の環境では、若干の調整が必要となります。Slight variations will be needed for other environments. クラスターの作成に使用できるパラメーターの完全な一覧については、az-hdinsight-create を参照してください。See az-hdinsight-create for a complete list of possible parameters for cluster creation.

    パラメーターParameter [説明]Description
    --size クラスター内のワーカー ノードの数。The number of worker nodes in the cluster. この記事では、--size に渡される値として変数 clusterSizeInNodes を使用します。This article uses the variable clusterSizeInNodes as the value passed to --size.
    --version HDInsight クラスターのバージョン。The HDInsight cluster version. この記事では、--version に渡される値として変数 clusterVersion を使用します。This article uses the variable clusterVersion as the value passed to --version. 関連項目:サポートされる HDInsight のバージョンSee also: Supported HDInsight versions.
    --type hadoop、interactivehive、hbase、kafka、storm、spark、rserver、mlservices などの HDInsight クラスターの種類。Type of HDInsight cluster, like: hadoop, interactivehive, hbase, kafka, storm, spark, rserver, mlservices. この記事では、--type に渡される値として変数 clusterType を使用します。This article uses the variable clusterType as the value passed to --type. 関連項目:クラスターの種類と構成See also: Cluster types and configuration.
    --component-version さまざまな Hadoop コンポーネントのバージョン。バージョンは 'component=version' の形式でスペースで区切られます。The versions of various Hadoop components, in space-separated versions in 'component=version' format. この記事では、--component-version に渡される値として変数 componentVersion を使用します。This article uses the variable componentVersion as the value passed to --component-version. 関連項目:Hadoop コンポーネントSee also: Hadoop components.

    RESOURCEGROUPNAMELOCATIONCLUSTERNAMESTORAGEACCOUNTNAME、および PASSWORD を目的の値に置き換えます。Replace RESOURCEGROUPNAME, LOCATION, CLUSTERNAME, STORAGEACCOUNTNAME, and PASSWORD with the desired values. 必要に応じて、他の変数の値を変更します。Change values for the other variables as desired. 続いて CLI コマンドを入力します。Then enter the CLI commands.

    export resourceGroupName=RESOURCEGROUPNAME
    export location=LOCATION
    export clusterName=CLUSTERNAME
    export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
    export httpCredential='PASSWORD'
    export sshCredentials='PASSWORD'
    
    export AZURE_STORAGE_CONTAINER=$clusterName
    export clusterSizeInNodes=1
    export clusterVersion=3.6
    export clusterType=hadoop
    export componentVersion=Hadoop=2.7
    
  3. 次のコマンドを入力して、リソース グループを作成しますCreate the resource group by entering the command below:

    az group create \
        --location $location \
        --name $resourceGroupName
    

    グループの作成先として有効な場所は、az account list-locations コマンドで一覧表示できます。name 値に表示されるいずれかの場所を使用してください。For a list of valid locations, use the az account list-locations command, and then use one of the locations from the name value.

  4. 次のコマンドを入力して、Azure ストレージ アカウントを作成しますCreate an Azure Storage account by entering the command below:

    # Note: kind BlobStorage is not available as the default storage account.
    az storage account create \
        --name $AZURE_STORAGE_ACCOUNT \
        --resource-group $resourceGroupName \
        --https-only true \
        --kind StorageV2 \
        --location $location \
        --sku Standard_LRS
    
  5. 次のコマンドを入力して、Azure ストレージ アカウントからプライマリ キーを抽出し、それを変数に保存します。Extract the primary key from the Azure Storage account and store it in a variable by entering the command below:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
        --account-name $AZURE_STORAGE_ACCOUNT \
        --resource-group $resourceGroupName \
        --query [0].value -o tsv)
    
  6. 次のコマンドを入力して、Azure ストレージ コンテナーを作成しますCreate an Azure Storage container by entering the command below:

    az storage container create \
        --name $AZURE_STORAGE_CONTAINER \
        --account-key $AZURE_STORAGE_KEY \
        --account-name $AZURE_STORAGE_ACCOUNT
    
  7. 次のコマンドを入力して、HDInsight クラスターを作成しますCreate the HDInsight cluster by entering the following command:

    az hdinsight create \
        --name $clusterName \
        --resource-group $resourceGroupName \
        --type $clusterType \
        --component-version $componentVersion \
        --http-password $httpCredential \
        --http-user admin \
        --location $location \
        --size $clusterSizeInNodes \
        --ssh-password $sshCredentials \
        --ssh-user sshuser \
        --storage-account $AZURE_STORAGE_ACCOUNT \
        --storage-account-key $AZURE_STORAGE_KEY \
        --storage-default-container $AZURE_STORAGE_CONTAINER \
        --version $clusterVersion
    

    重要

    HDInsight クラスターにはさまざまな種類があり、それぞれに適したワークロードやテクノロジに対応しています。HDInsight clusters come in various types, which correspond to the workload or technology that the cluster is tuned for. 複数の種類 (Storm と HBase など) を組み合わせたクラスターを作成することはできません。There is no supported method to create a cluster that combines multiple types, such as Storm and HBase on one cluster.

    クラスターの作成処理は、完了までに数分かかる場合があります。It may take several minutes for the cluster creation process to complete. 通常は約 15 です。Usually around 15.

リソースをクリーンアップするClean up resources

記事を完了したら、必要に応じてクラスターを削除できます。After you complete the article, you may want to delete the cluster. HDInsight を使用すると、データは Azure Storage に格納されるため、クラスターは、使用されていない場合に安全に削除できます。With HDInsight, your data is stored in Azure Storage, so you can safely delete a cluster when it isn't in use. また、HDInsight クラスターは、使用していない場合でも課金されます。You're also charged for an HDInsight cluster, even when it's not in use. クラスターの料金は Storage の料金の何倍にもなるため、クラスターを使用しない場合は削除するのが経済的にも合理的です。Since the charges for the cluster are many times more than the charges for storage, it makes economic sense to delete clusters when they aren't in use.

次のコマンドのすべてまたは一部を入力して、リソースを削除します。Enter all or some of the following commands to remove resources:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

[トラブルシューティング]Troubleshoot

HDInsight クラスターの作成で問題が発生した場合は、「アクセス制御の要件」を参照してください。If you run into issues with creating HDInsight clusters, see access control requirements.

次のステップNext steps

Azure CLI を使用して HDInsight クラスターを作成したら、クラスターの使用方法について、以下のトピックを参照してください。Now that you've successfully created an HDInsight cluster using the Azure CLI, use the following to learn how to work with your cluster:

Apache Hadoop クラスターApache Hadoop clusters

Apache HBase クラスターApache HBase clusters

Apache Storm クラスターApache Storm clusters