HDInsight で使用できる Apache Hadoop コンポーネントおよびバージョンとはWhat are the Apache Hadoop components and versions available with HDInsight?

Microsoft Azure HDInsight のApache Hadoop エコシステムのコンポーネントおよびバージョンと、Enterprise セキュリティ パッケージについて説明します。Learn about the Apache Hadoop ecosystem components and versions in Microsoft Azure HDInsight, as well as the Enterprise Security Package. また、HDInsight で Hadoop コンポーネントのバージョンを確認する方法についても説明します。Also, learn how to check Hadoop component versions in HDInsight.

HDInsight の各バージョンで使用できる Apache Hadoop コンポーネントApache Hadoop components available with different HDInsight versions

Azure HDInsight は、いつでもデプロイできる Hadoop クラスター バージョンを複数サポートしています。Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. 2017 年 4 月 4 日現在、Azure HDInsight で使用される既定のクラスター バージョンは 3.6 です。As of April 4, 2017, the default cluster version used by Azure HDInsight is 3.6.

HDInsight クラスター バージョンに対応するコンポーネントのバージョンを、次の表にまとめます。The component versions associated with HDInsight cluster versions are listed in the following table:

注意

HDInsight サービスの既定のバージョンは、予告なく変更される場合があります。The default version for the HDInsight service might change without notice. バージョンの依存関係がある場合は、Azure PowerShell や Azure クラシック CLI を含む .NET SDK を使用してクラスターを作成する際に HDInsight バージョンを指定してください。If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and Azure Classic CLI.

コンポーネントComponent HDInsight 4.0HDInsight 4.0 HDInsight 3.6 (既定値)HDInsight 3.6 (Default)
Apache Hadoop と YARNApache Hadoop and YARN 3.1.13.1.1 2.7.32.7.3
Apache TezApache Tez 0.9.10.9.1 0.7.00.7.0
Apache PigApache Pig 0.16.00.16.0 0.16.00.16.0
Apache HiveApache Hive 3.1.03.1.0 2.1.0、1.2.12.1.0, 1.2.1
Apache Tez Hive2Apache Tez Hive2 - 0.8.40.8.4
Apache RangerApache Ranger 1.1.01.1.0 0.7.00.7.0
Apache HBaseApache HBase 2.0.12.0.1 1.1.21.1.2
Apache SqoopApache Sqoop 1.4.71.4.7 1.4.61.4.6
Apache OozieApache Oozie 4.3.14.3.1 4.2.04.2.0
Apache ZookeeperApache Zookeeper 3.4.63.4.6 3.4.63.4.6
Apache StormApache Storm - 1.1.01.1.0
Apache MahoutApache Mahout - 0.9.0+0.9.0+
Apache PhoenixApache Phoenix 55 4.7.04.7.0
Apache SparkApache Spark 2.3.1、2.42.3.1, 2.4 2.3.0、2.2.0、2.1.02.3.0, 2.2.0, 2.1.0
Apache LivyApache Livy 0.50.5 0.4、0.4、0.30.4, 0.4, 0.3
Apache KafkaApache Kafka 1.1.1、2.11.1.1, 2.1 1.1、1.0 * (下記の「注」を参照)1.1, 1.0 * (See Note below)
Apache AmbariApache Ambari 2.7.02.7.0 2.6.02.6.0
Apache ZeppelinApache Zeppelin 0.8.00.8.0 0.7.00.7.0
MonoMono 4.2.14.2.1 4.2.14.2.1

注意

システム パフォーマンスの観点から、Kafka バージョン 0.10 のサポートは 2019 年 3 月に期限切れになりました。Due to system performance considerations, support for Kafka version 0.10 was expired in March 2019.

現在の Hadoop コンポーネントのバージョン情報の確認Check for current Hadoop component version information

HDInsight クラスターのバージョンに関連付けられた Hadoop エコシステム コンポーネントのバージョンは、将来 HDInsight が更新されたときに変更される可能性があります。The Hadoop ecosystem component versions associated with HDInsight cluster versions can change with updates to HDInsight. Hadoop コンポーネントを調べて、どのバージョンがクラスターに使用されているかを確認するには、Ambari REST API を使用します。To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. GetComponentInformation コマンドによって、サービス コンポーネントに関する情報を取得します。The GetComponentInformation command retrieves information about service components. 詳細については、Apache Ambari のドキュメント を参照してください。For details, see the Apache Ambari documentation.

リリース ノートRelease notes

HDInsight の最新バージョンに関する追加のリリース ノートは、 HDInsight リリース ノート を参照してください。See HDInsight release notes for additional release notes on the latest versions of HDInsight.

サポートされる HDInsight のバージョンSupported HDInsight versions

次の表は、HDInsight のバージョンの一覧を示しています。The following tables list the versions of HDInsight. サポート有効期限と提供終了日も記載されます (これらが既知の場合)。The support expiration and retirement dates are also provided, when they're known.

使用可能なバージョンAvailable versions

次の表は、Azure portal と、PowerShell や .NET SDK などの他のデプロイ方法で使用可能な HDInsight のバージョンをまとめたものです。The following table lists the versions of HDInsight that are available in the Azure portal as well as other deployment methods like PowerShell and .NET SDK.

HDInsight のバージョンHDInsight version VM の OSVM OS リリース日Release date サポート有効期限Support expiration date 提供終了日Retirement date 高可用性High availability Azure portal での可用性Availability in the Azure portal
HDInsight 4.0HDInsight 4.0 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2018 年 9 月 24 日September 24, 2018 はいYes はいYes
HDInsight 3.6HDInsight 3.6 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2017 年 4 月 4 日April 4, 2017 2020 年 12 月 31 日December 31, 2020 2020 年 12 月 31 日December 31, 2020 はいYes はいYes

Spark 2.1、2.2 & Kafka 1.0 のサポートは、2020 年 6 月 30 日に有効期限が切れます。Spark 2.1, 2.2 & Kafka 1.0 support will expire on June 30th, 2020.

注意

バージョンのサポートが期限切れになると、Microsoft Azure Portal で使用できなくなります。After support for a version has expired, it might not be available through the Microsoft Azure portal. ただし、クラスター バージョンは、Windows PowerShell New-AzHDInsightCluster コマンドの Version パラメーターと .NET SDK を使用することで、バージョンの提供終了日まで利用できます。However, cluster versions continue to be available using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.

廃止されたバージョンRetired versions

次の表は、Azure portal で使用できない HDInsight のバージョンをまとめたものです。The following table lists the versions of HDInsight that are not available in the Azure portal.

HDInsight のバージョンHDInsight version HDP のバージョンHDP version VM の OSVM OS リリース日Release date サポート有効期限Support expiration date 提供終了日Retirement date 高可用性High availability Azure Portal での可用性Availability on the Azure portal
HDInsight 3.5HDInsight 3.5 HDP 2.5HDP 2.5 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 2016 年 9 月 30 日September 30, 2016 2017 年 9 月 5 日September 5, 2017 2018 年 6 月 28 日June 28, 2018 はいYes いいえNo
HDInsight 3.4HDInsight 3.4 HDP 2.4HDP 2.4 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2016 年 3 月 29 日March 29, 2016 2016 年 12 月 29 日December 29, 2016 2018 年 1 月 9 日January 9, 2018 はいYes いいえNo
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Windows Server 2012 R2Windows Server 2012 R2 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2018 年 7 月 31日July 31, 2018 はいYes いいえNo
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2015 年 12 月 2 日December 2, 2015 2016 年 6 月 27 日June 27, 2016 2017 年 7 月 31 日July 31, 2017 はいYes いいえNo
HDInsight 3.2HDInsight 3.2 HDP 2.2HDP 2.2 Ubuntu 12.04 LTS または Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 2015 年 2 月 18 日February 18, 2015 2016 年 3 月 1 日March 1, 2016 2017 年 4 月 1 日April 1, 2017 はいYes いいえNo
HDInsight 3.1HDInsight 3.1 HDP 2.1HDP 2.1 Windows Server 2012 R2Windows Server 2012 R2 2014 年 6 月 24 日June 24, 2014 2015 年 5 月 18 日May 18, 2015 2016 年 6 月 30 日June 30, 2016 はいYes いいえNo
HDInsight 3.0HDInsight 3.0 HDP 2.0HDP 2.0 Windows Server 2012 R2Windows Server 2012 R2 2014 年 2 月 11 日February 11, 2014 2014 年 9 月 17 日September 17, 2014 2015 年 6 月 30 日June 30, 2015 はいYes いいえNo
HDInsight 2.1HDInsight 2.1 HDP 1.3HDP 1.3 Windows Server 2012 R2Windows Server 2012 R2 2013 年 10 月 28 日October 28, 2013 2014 年 5 月 12 日May 12, 2014 2015 年 5 月 31 日May 31, 2015 はいYes いいえNo
HDInsight 1.6HDInsight 1.6 HDP 1.1HDP 1.1 2013 年 10 月 28 日October 28, 2013 2014 年 4 月 26 日April 26, 2014 2015 年 5 月 31 日May 31, 2015 いいえNo いいえNo

注意

ヘッド ノードを 2 つ備えた可用性の高いクラスターは、HDInsight バージョン 2.1 以降では既定でデプロイされています。Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. HDInsight バージョン 1.6 クラスターでは利用できません。They are not available for HDInsight version 1.6 clusters.

HDInsight 用の Enterprise セキュリティ パッケージEnterprise Security Package for HDInsight

Enterprise セキュリティは、クラスターの作成のワークフローの一部として HDInsight クラスターに追加できるオプションのパッケージです。Enterprise Security is an optional package that you can add on your HDInsight cluster as part of create cluster workflow. Enterprise セキュリティ パッケージでは以下の機能がサポートされます。The Enterprise Security Package supports:

サポートされているクラスターの種類Supported cluster types

現時点では、次のクラスターの種類のみが Enterprise セキュリティ パッケージをサポートしています。Currently, only the following cluster types support the Enterprise Security Package:

  • Hadoop (HDInsight 3.6 のみ)Hadoop (HDInsight 3.6 only)
  • SparkSpark
  • Interactive QueryInteractive Query

Azure Data Lake Storage のサポートSupport for Azure Data Lake Storage

Enterprise セキュリティ パッケージでは、プライマリ ストレージとアドオン ストレージの両方として Azure Data Lake Storage の使用がサポートされます。The Enterprise Security Package supports using Azure Data Lake Storage as both the primary storage and the add-on storage.

価格とサービス レベル アグリーメントPricing and service level agreement

Enterprise セキュリティ パッケージの価格と SLA について詳しくは、HDInsight の価格に関するページをご覧ください。For information on pricing and SLA for the Enterprise Security Package, see HDInsight pricing.

HDInsight クラスター バージョンのサービス レベル アグリーメントService level agreement for HDInsight cluster versions

サービス レベル アグリーメント (SLA) は、サポート ウィンドウ の条件で定義されます。The service level agreement (SLA) is defined in terms of a support window. サポート ウィンドウとは、HDInsight クラスターのバージョンが Microsoft カスタマー サービス & サポートによってサポートされる期間です。The support window is the period of time that an HDInsight cluster version is supported by Microsoft Customer Service and Support. バージョンの サポート有効期限 が切れている場合、HDInsight クラスターはサポート対象外となります。If the version has a support expiration date that has passed, the HDInsight cluster is outside the support window. 所定の HDInsight Version X のサポート有効期限は (新しい X+1 バージョンが利用可能になった後)、次の数式で計算した日付のうち、遅い方とされます。The support expiration date for a specified HDInsight version X (after a newer X+1 version is available) is calculated as the later of:

  • 数式 1:HDInsight クラスター バージョン X がリリースされた日に 180 日を加える。Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
  • 数式 2:HDInsight クラスター バージョン X+1 が Azure portal で使用可能になった日付に 90 日を加える。Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in Azure portal.

提供終了日 とは、その日を過ぎると HDInsight でクラスター バージョンを作成できなくなる日付です。The retirement date is the date after which the cluster version cannot be created on HDInsight. 2017 年 7 月 31 日以降は、提供終了日より後に HDInsight クラスターのサイズを変更できません。Starting July 31, 2017, you cannot resize an HDInsight cluster after its retirement date.

注意

Windows 向けの HDInsight クラスター (バージョン 2.1、3.0、3.1、3.2、および 3.3 を含む) は Azure ゲスト OS ファミリ 4 で実行されます。この OS は Windows Server 2012 R2 の 64 ビット版を使用します。HDInsight Windows clusters (including versions 2.1, 3.0, 3.1, 3.2 and 3.3) run on Azure Guest OS Family version 4, which uses the 64-bit version of Windows Server 2012 R2. Azure ゲスト OS ファミリ バージョン 4 は、.NET Framework のバージョン 4.0、4.5、4.5.1、および 4.5.2 をサポートします。Azure Guest OS Family version 4 supports the .NET Framework versions 4.0, 4.5, 4.5.1, and 4.5.2.

HDInsight バージョンに対応する Hortonworks リリース ノートHortonworks release notes associated with HDInsight versions

このセクションでは、HDInsight で使用される Hortonworks Data Platform ディストリビューションと Apache コンポーネントのリリース ノートへのリンクを提供します。The section provides links to release notes for the Hortonworks Data Platform distributions and Apache components that are used with HDInsight.

クラスターの既定のノード構成と仮想マシン サイズDefault node configuration and virtual machine sizes for clusters

クラスター用に選択する仮想マシンの SKU の詳細については、Azure HDInsight のクラスター構成の詳細に関する記事を参照してください。For more information on which virtual machine SKUs to select for your cluster, see Azure HDInsight cluster configuration details.

次の手順Next steps