Azure HDInsight で使用可能な Apache コンポーネントおよびバージョンApache components and versions available for Azure HDInsight

この記事では、Azure HDInsight の Apache Hadoop 環境のコンポーネントおよびバージョンと、Enterprise セキュリティ パッケージについて説明します。In this article, you learn about the Apache Hadoop environment components and versions in Azure HDInsight and the Enterprise Security Package. また、HDInsight で Hadoop コンポーネントのバージョンを確認する方法についても説明します。You also learn how to check the Hadoop component versions in HDInsight.

HDInsight の各バージョンで使用できる Apache コンポーネントApache components available with different HDInsight versions

Azure HDInsight は、いつでもデプロイできる Hadoop クラスター バージョンを複数サポートしています。Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. 2017 年 4 月 4 日時点の Azure HDInsight で使用される既定のクラスター バージョンは 3.6 でした。On April 4, 2017, the default cluster version used by Azure HDInsight was 3.6.

HDInsight クラスター バージョンに対応するコンポーネントのバージョンを、次の表にまとめます。The component versions associated with HDInsight cluster versions are listed in the following table.

注意

HDInsight サービスの既定のバージョンは、予告なく変更される場合があります。The default version for the HDInsight service might change without notice. バージョンの依存関係がある場合は、Azure PowerShell や Azure クラシック CLI を含む .NET SDK を使用してクラスターを作成する際に HDInsight バージョンを指定してください。If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and the Azure classic CLI.

コンポーネントComponent HDInsight 4.0HDInsight 4.0 HDInsight 3.6 (既定)HDInsight 3.6 (default)
Apache Hadoop と YARNApache Hadoop and YARN 3.1.13.1.1 2.7.32.7.3
Apache TezApache Tez 0.9.10.9.1 0.7.00.7.0
Apache PigApache Pig 0.16.10.16.1 0.16.00.16.0
Apache HiveApache Hive 3.1.03.1.0 1.2.1 (ESP Interactive Query では 2.1.0)1.2.1 (2.1.0 on ESP Interactive Query)
Apache Tez Hive2Apache Tez Hive2 - 0.8.40.8.4
Apache RangerApache Ranger 1.1.01.1.0 0.7.00.7.0
Apache HBaseApache HBase 2.1.62.1.6 1.1.21.1.2
Apache SqoopApache Sqoop 1.4.71.4.7 1.4.61.4.6
Apache OozieApache Oozie 4.3.14.3.1 4.2.04.2.0
Apache ZookeeperApache Zookeeper 3.4.63.4.6 3.4.63.4.6
Apache StormApache Storm - 1.1.01.1.0
Apache MahoutApache Mahout - 0.9.0+0.9.0+
Apache PhoenixApache Phoenix 55 4.7.04.7.0
Apache SparkApache Spark 2.4.42.4.4 2.3.2.2.3.2.
Apache LivyApache Livy 0.50.5 0.4.0.4.
Apache KafkaApache Kafka 2.1.12.1.1 1.11.1
Apache AmbariApache Ambari 2.7.02.7.0 2.6.02.6.0
Apache ZeppelinApache Zeppelin 0.8.00.8.0 0.7.30.7.3
MonoMono 4.2.14.2.1 4.2.14.2.1

注意

HDInsight 4.0:Spark 2.4 と Kafka 2.1 は完全にサポートされています。HDInsight 4.0: Spark 2.4 and Kafka 2.1 are fully supported. ただし、Spark 2.3 と Kafka 1.1 クラスターの種類には対応していません。However, Spark 2.3 and Kafka 1.1 cluster types are not serviced. HDInsight 3.6:Spark 2.3 と Kafka 1.1 は完全にサポートされています。HDInsight 3.6: Spark 2.3 and Kafka 1.1 are fully supported.

現在の Apache コンポーネントのバージョン情報の確認Check for current Apache component version information

HDInsight クラスターのバージョンに関連付けられた Hadoop 環境コンポーネントのバージョンは、将来 HDInsight が更新されたときに変更される可能性があります。The Hadoop environment component versions associated with HDInsight cluster versions can change with updates to HDInsight. Hadoop コンポーネントを調べて、どのバージョンがクラスターに使用されているかを確認するには、Ambari REST API を使用します。To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. GetComponentInformation コマンドによって、サービス コンポーネントに関する情報を取得します。The GetComponentInformation command retrieves information about service components. 詳細については、Apache Ambari のドキュメントを参照してください。For more information, see the Apache Ambari documentation.

リリース ノートRelease notes

HDInsight の最新バージョンに関する追加のリリース ノートは、HDInsight リリース ノートを参照してください。For additional release notes on the latest versions of HDInsight, see HDInsight release notes.

サポートされる HDInsight のバージョンSupported HDInsight versions

HDInsight バージョンのサポートの有効期限と提供終了Support expiration and retirement for HDInsight versions

サポートの有効期限 は、特定の HDInsight バージョンに対して Microsoft によるサポートが提供されなくなることを意味します。Support expiration means that Microsoft no longer provides support for the specific HDInsight version. また、クラスターを作成するために Azure portal を介して使用することができなくなります。And it's no longer available through the Azure portal for cluster creation. これらのバージョンは、Azure CLI またはさまざまな SDK を使用して、引き続き作成することができます。These versions can still be created by using the Azure CLI or the various SDKs.

提供終了 とは、ある HDInsight バージョンの既存のクラスターが引き続きそのまま実行されることを意味します。Retirement means that existing clusters of an HDInsight version continue to run as is. このバージョンの新しいクラスターは、CLI や SDK など、どのような方法でも作成することはできません。New clusters of this version can't be created through any means, which includes the CLI and SDKs. 手動によるスケーリングや自動スケールなど、その他のコントロール プレーン機能は、バージョンの提供終了後に機能しなくなる場合があります。Other control plane features, such as manual scaling and autoscaling, also might not work after version retirement. 提供が終了したバージョンでサポートを利用することはできません。Support isn't available for retired versions.

次の表は、HDInsight のバージョンの一覧を示しています。The following tables list the versions of HDInsight. サポート有効期限と提供終了日については、既知の場合、それらも記載されます。The support expiration and retirement dates are also provided when they're known.

使用可能なバージョンAvailable versions

この表は、Azure portal と、PowerShell や .NET SDK などの他のデプロイ方法で使用可能な HDInsight のバージョンをまとめたものです。This table lists the versions of HDInsight that are available in the Azure portal and via other deployment methods like PowerShell and the .NET SDK.

HDInsight のバージョンHDInsight version VM の OSVM OS リリース日Release date サポート有効期限Support expiration date 提供終了日Retirement date 高可用性High availability Azure portal での可用性Availability in the Azure portal
HDInsight 4.0HDInsight 4.0 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2018 年 9 月 24 日September 24, 2018 はいYes はいYes
HDInsight 3.6HDInsight 3.6 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2017 年 4 月 4 日April 4, 2017 * 2021 年 6 月 30 日*June 30, 2021 2021 年 6 月 30 日June 30, 2021 はいYes はいYes

* 特定のクラスターの種類 HDInsight 3.6 のサポート期間を延長しています*We are extending the support timeframe for certain HDInsight 3.6 cluster types

クラスターの種類Cluster Type Framework のバージョンFramework version 現在のサポート有効期限Current support expiration 新しいサポート有効期限New support expiration date
HDInsight 3.6 HadoopHDInsight 3.6 Hadoop 2.7.32.7.3 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 SparkHDInsight 3.6 Spark 2.32.3 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 SparkHDInsight 3.6 Spark 2.22.2 2020 年 6 月 30 日に廃止Retired on June 30, 2020
HDInsight 3.6 SparkHDInsight 3.6 Spark 2.12.1 2020 年 6 月 30 日に廃止Retired on June 30, 2020
HDInsight 3.6 KafkaHDInsight 3.6 Kafka 1.11.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 KafkaHDInsight 3.6 Kafka 1.01.0 2020 年 6 月 30 日に廃止Retired on June 30, 2020.
HDInsight 3.6 HBaseHDInsight 3.6 HBase 1.11.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 Interactive QueryHDInsight 3.6 Interactive Query 2.12.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 StormHDInsight 3.6 Storm 1.11.1 2020 年 12 月 31 日Dec 31, 2020 2021 年 6 月 30 日June 30, 2021
HDInsight 3.6 ML ServicesHDInsight 3.6 ML Services 9.39.3 2020 年 12 月 31 日Dec 31, 2020 2020 年 12 月 31 日Dec 31, 2020

注意

クラスター バージョンのサポートが期限切れになると、Azure Portal で使用できなくなります。After support for a cluster version expires, it might not be available through the Azure portal. 一部のケースにおいて、クラスター バージョンは、Windows PowerShell New-AzHDInsightCluster コマンドの Version パラメーターと .NET SDK を使用することで、バージョンの提供終了日まで利用できる場合があります。In some cases, cluster versions continue to be available by using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.

廃止されたバージョンRetired versions

この表は、Azure portal で使用できない HDInsight のバージョンをまとめたものです。This table lists the versions of HDInsight that aren't available in the Azure portal.

HDInsight のバージョンHDInsight version HDP のバージョンHDP version VM の OSVM OS リリース日Release date サポート有効期限Support expiration date 提供終了日Retirement date 高可用性High availability Azure portal での可用性Availability in the Azure portal
HDInsight 3.5HDInsight 3.5 HDP 2.5HDP 2.5 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2016 年 9 月 30 日September 30, 2016 2017 年 9 月 5 日September 5, 2017 2018 年 6 月 28 日June 28, 2018 はいYes いいえNo
HDInsight 3.4HDInsight 3.4 HDP 2.4HDP 2.4 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2016 年 3 月 29 日March 29, 2016 2016 年 12 月 29 日December 29, 2016 2018 年 1 月 9 日January 9, 2018 はいYes いいえNo
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Windows Server 2012 R2Windows Server 2012 R2 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2018 年 7 月 31日July 31, 2018 はいYes いいえNo
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2017 年 7 月 31 日July 31, 2017 はいYes いいえNo
HDInsight 3.2HDInsight 3.2 HDP 2.2HDP 2.2 Ubuntu 12.04 LTS または Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 2015 年 2 月 18 日February 18, 2015 2016 年 3 月 1 日March 1, 2016 2017 年 4 月 1 日April 1, 2017 はいYes いいえNo
HDInsight 3.1HDInsight 3.1 HDP 2.1HDP 2.1 Windows Server 2012 R2Windows Server 2012 R2 2014 年 6 月 24 日June 24, 2014 2015 年 5 月 18 日May 18, 2015 2016 年 6 月 30 日June 30, 2016 はいYes いいえNo
HDInsight 3.0HDInsight 3.0 HDP 2.0HDP 2.0 Windows Server 2012 R2Windows Server 2012 R2 2014 年 2 月 11 日February 11, 2014 2014 年 9 月 17 日September 17, 2014 2015 年 6 月 30 日June 30, 2015 はいYes いいえNo
HDInsight 2.1HDInsight 2.1 HDP 1.3HDP 1.3 Windows Server 2012 R2Windows Server 2012 R2 2013 年 10 月 28 日October 28, 2013 2014 年 5 月 12 日May 12, 2014 2015 年 5 月 31 日May 31, 2015 はいYes いいえNo
HDInsight 1.6HDInsight 1.6 HDP 1.1HDP 1.1 2013 年 10 月 28 日October 28, 2013 2014 年 4 月 26 日April 26, 2014 2015 年 5 月 31 日May 31, 2015 いいえNo いいえNo

注意

ヘッド ノードを 2 つ備えた可用性の高いクラスターは、HDInsight バージョン 2.1 以降では既定でデプロイされています。Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. HDInsight バージョン 1.6 クラスターでは利用できません。They aren't available for HDInsight version 1.6 clusters.

HDInsight クラスター バージョンのサービス レベル アグリーメントService-level agreement for HDInsight cluster versions

サービス レベル アグリーメントは、"サポート ウィンドウ" として定義されます。The service-level agreement is defined as a support window. サポート ウィンドウとは、HDInsight のバージョンが Microsoft カスタマー サービスおよびサポートによってサポートされる期間です。A support window is the time period that an HDInsight version is supported by Microsoft Customer Service and Support. バージョンの "サポート有効期限" が過ぎている場合、HDInsight クラスターはサポート ウィンドウ外となります。If the version has passed the support expiration date, the HDInsight cluster is outside the support window. HDInsight バージョン X のサポート有効期限は (新しい X+1 バージョンが利用可能になった後)、次の日付のうち、遅い方です。Support expiration for HDInsight version X (after a newer X+1 version is available) is the later of:

  • 数式 1: HDInsight クラスター バージョン X がリリースされた日に 180 日を加える。Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
  • 数式 2: HDInsight クラスター バージョン X+1 が Azure portal で使用可能になった日付に 90 日を加える。Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in the Azure portal.

"提供終了日" とは、その日を過ぎると HDInsight でクラスター バージョンを作成できなくなる日付です。The retirement date is the date after which the cluster version can't be created on HDInsight. 2017 年 7 月 31 日以降は、提供終了日より後に HDInsight クラスターのサイズを変更できません。As of July 31, 2017, you can't resize an HDInsight cluster after its retirement date.

クラスターの既定のノード構成と仮想マシン サイズDefault node configuration and virtual machine sizes for clusters

クラスター用に選択する仮想マシンの SKU の詳細については、Azure HDInsight のクラスター構成の詳細に関する記事を参照してください。For more information on which virtual machine SKUs to select for your cluster, see Azure HDInsight cluster configuration details.

次のステップNext steps