Quais são os componentes e versões do Apache Hadoop disponíveis com o HDInsight?What are the Apache Hadoop components and versions available with HDInsight?

Aprenda sobre os componentes e versões do ecossistema do Apache Hadoop no Microsoft Azure HDInsight, bem como no Enterprise Security Package.Learn about the Apache Hadoop ecosystem components and versions in Microsoft Azure HDInsight, as well as the Enterprise Security Package. Além disso, saiba como verificar as versões dos componentes do Hadoop no HDInsight.Also, learn how to check Hadoop component versions in HDInsight.

Componentes do Apache Hadoop disponíveis com diferentes versões do HDInsightApache Hadoop components available with different HDInsight versions

O HDInsight do Azure dá suporte a várias versões do cluster Hadoop que podem ser implantadas a qualquer momento.Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. Cada opção de versão cria uma versão específica da distribuição de HDP e um conjunto de componentes contidos nessa distribuição.Each version choice creates a specific version of the HDP distribution and a set of components that are contained within that distribution. A partir de 4 de abril de 2017, a versão do cluster padrão usada pelo Azure HDInsight é 3.6 e é baseada no HDP 2.6.As of April 4, 2017, the default cluster version used by Azure HDInsight is 3.6 and is based on HDP 2.6.

As versões do componente associadas às versões do cluster HDInsight são listadas na tabela a seguir:The component versions associated with HDInsight cluster versions are listed in the following table:

Observação

A versão padrão para o serviço HDInsight pode ser alterada sem aviso prévio.The default version for the HDInsight service might change without notice. Se você tiver uma dependência de versão, especifique a versão do HDInsight ao criar clusters com o SDK do .NET com o Azure PowerShell e a CLI Clássica do Azure.If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and Azure Classic CLI.

ComponenteComponent HDInsight 4.0HDInsight 4.0 HDInsight 3.6 (Padrão)HDInsight 3.6 (Default) HDInsight 3.5HDInsight 3.5 HDInsight 3.4HDInsight 3.4 HDInsight 3.3HDInsight 3.3 HDInsight 3.2HDInsight 3.2
Apache Hadoop e YARNApache Hadoop and YARN 3.1.13.1.1 2.7.32.7.3 2.7.32.7.3 2.7.12.7.1 2.7.12.7.1 2.6.02.6.0
Apache TezApache Tez 0.9.10.9.1 0.7.00.7.0 0.7.00.7.0 0.7.00.7.0 0.7.00.7.0 0.5.20.5.2
Apache PigApache Pig 0.16.00.16.0 0.16.00.16.0 0.16.00.16.0 0.15.00.15.0 0.15.00.15.0 0.14.00.14.0
Apache HiveApache Hive 3.1.03.1.0 2.1.0, 1.2.12.1.0, 1.2.1 - - - -
Apache Tez Hive2Apache Tez Hive2 - 0.8.40.8.4 - - - -
Apache RangerApache Ranger 1.1.01.1.0 0.7.00.7.0 0.6.00.6.0 - - -
HBase no ApacheApache HBase 2.0.12.0.1 1.1.21.1.2 1.1.21.1.2 1.1.21.1.2 1.1.11.1.1 0.98.40.98.4
Apache SqoopApache Sqoop 1.4.71.4.7 1.4.61.4.6 1.4.61.4.6 1.4.61.4.6 1.4.61.4.6 1.4.51.4.5
Apache OozieApache Oozie 4.3.14.3.1 4.2.04.2.0 4.2.04.2.0 4.2.04.2.0 4.2.04.2.0 4.1.04.1.0
O Apache ZookeeperApache Zookeeper 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6 3.4.63.4.6
Apache StormApache Storm - 1.1.01.1.0 1.0.11.0.1 0.10.00.10.0 0.10.00.10.0 0.9.30.9.3
O Apache MahoutApache Mahout - 0.9.0+0.9.0+ 0.9.0+0.9.0+ 0.9.0+0.9.0+ 0.9.0+0.9.0+ 0.9.00.9.0
Apache PhoenixApache Phoenix 55 4.7.04.7.0 4.7.04.7.0 4.4.04.4.0 4.4.04.4.0 4.2.04.2.0
Apache SparkApache Spark 2.3.1, 2.42.3.1, 2.4 2.3.0, 2.2.0, 2.1.02.3.0, 2.2.0, 2.1.0 1.6.2, 2.01.6.2, 2.0 1.6.01.6.0 1.5.21.5.2 1.3.1 (somente Windows)1.3.1 (Windows only)
Apache LivyApache Livy 0,50.5 0,4, 0,4, 0,30.4, 0.4, 0.3 0.30.3 0.30.3 0.20.2 -
Apache KafkaApache Kafka 1.1.1, 2.11.1.1, 2.1 1.1, 1.0 * (Veja a Observação abaixo)1.1, 1.0 * (See Note below) 0.10.00.10.0 0.9.00.9.0 - -
Apache AmbariApache Ambari 2.7.02.7.0 2.6.02.6.0 2.4.02.4.0 2.2.12.2.1 2.1.02.1.0 -
Apache ZeppelinApache Zeppelin 0.8.00.8.0 0.7.00.7.0 - - - -
MonoMono 4.2.14.2.1 4.2.14.2.1 4.2.14.2.1 3.2.83.2.8 - -

Observação

Devido às considerações de desempenho do sistema, o suporte ao Kafka versão 0.10 expirou em março de 2019.Due to system performance considerations, support for Kafka version 0.10 was expired in March 2019.

Verificar informações atuais de versão do componente do HadoopCheck for current Hadoop component version information

As versões de componente do ecossistema Hadoop associadas às versões do cluster HDInsight podem ser alteradas com atualizações ao HDInsight.The Hadoop ecosystem component versions associated with HDInsight cluster versions can change with updates to HDInsight. Para verificar os componentes do Hadoop e verificar quais versões estão sendo usadas para um cluster é usar a API REST do Ambari.To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. O comando GetComponentInformation recupera informações sobre componentes de serviço.The GetComponentInformation command retrieves information about service components. Para obter detalhes, consulte a documentação do Apache Ambari.For details, see the Apache Ambari documentation.

Notas de versãoRelease notes

Consulte Notas de versão do HDInsight para ver notas de versão adicionais sobre as versões mais recentes do HDInsight.See HDInsight release notes for additional release notes on the latest versions of HDInsight.

Versões do HDInsight com suporteSupported HDInsight versions

As tabelas a seguir listam as versões do HDInsight.The following tables list the versions of HDInsight. As versões HDP que correspondem a cada versão do HDInsight estão listadas juntamente com as datas de lançamento do produto.The HDP versions that correspond to each HDInsight version are listed along with the product release dates. As datas de expiração e de desativação de suporte também são fornecidas, quando elas são conhecidas.The support expiration and retirement dates are also provided, when they're known.

Versões disponíveisAvailable versions

A tabela a seguir lista as versões do HDInsight estão disponíveis no portal do Azure, bem como outros métodos de implantação como o PowerShell e o SDK do .NET.The following table lists the versions of HDInsight that are available in the Azure portal as well as other deployment methods like PowerShell and .NET SDK.

Versão do HDInsightHDInsight version Versão do HDPHDP version SO da VMVM OS Data de liberaçãoRelease date Data de expiração do suporteSupport expiration date Data de baixaRetirement date Alta disponibilidadeHigh availability Disponibilidade no Portal do AzureAvailability on the Azure portal
HDInsight 4.0HDInsight 4.0 HDP 3.0HDP 3.0 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 24 de setembro de 2018September 24, 2018 SimYes SimYes
HDInsight 3.6HDInsight 3.6 HDP 2.6HDP 2.6 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 4 de abril de 2017April 4, 2017 30 de junho de 2020June 30, 2020 31 de dezembro de 2020December 31, 2020 SimYes SimYes

Observação

Depois que o suporte para uma versão tiver expirado, ela poderá não estar disponível por meio do Portal do Microsoft Azure.After support for a version has expired, it might not be available through the Microsoft Azure portal. No entanto, as versões do cluster continuarão disponíveis usando o parâmetro Version no comando do Windows PowerShell New-AzHDInsightCluster e o SDK .NET até a data de baixa da versão.However, cluster versions continue to be available using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.

Versões desativadasRetired versions

A tabela a seguir lista as versões do HDInsight que não estão disponíveis no portal do Azure.The following table lists the versions of HDInsight that are not available in the Azure portal.

Versão do HDInsightHDInsight version Versão do HDPHDP version SO da VMVM OS Data de liberaçãoRelease date Data de expiração do suporteSupport expiration date Data de baixaRetirement date Alta disponibilidadeHigh availability Disponibilidade no Portal do AzureAvailability on the Azure portal
HDInsight 3.5HDInsight 3.5 HDP 2.5HDP 2.5 Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS 30 de setembro de 2016September 30, 2016 5 de setembro de 2017September 5, 2017 28 de junho de 2018June 28, 2018 SimYes NãoNo
HDInsight 3.4HDInsight 3.4 HDP 2.4HDP 2.4 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 29 de março de 2016March 29, 2016 29 de dezembro de 2016December 29, 2016 9 de janeiro de 2018January 9, 2018 SimYes NãoNo
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Windows Server 2012 R2Windows Server 2012 R2 2 de dezembro de 2015December 2, 2015 27 de junho de 2016June 27, 2016 31 de julho de 2018July 31, 2018 SimYes NãoNo
HDInsight 3.3HDInsight 3.3 HDP 2.3HDP 2.3 Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS 2 de dezembro de 2015December 2, 2015 27 de junho de 2016June 27, 2016 31 de julho de 2017July 31, 2017 SimYes NãoNo
HDInsight 3.2HDInsight 3.2 HDP 2.2HDP 2.2 Ubuntu 12.04 LTS ou Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 18 de fevereiro de 2015February 18, 2015 1º de março de 2016March 1, 2016 1º de abril de 2017April 1, 2017 SimYes NãoNo
HDInsight 3.1HDInsight 3.1 HDP 2,1HDP 2.1 Windows Server 2012 R2Windows Server 2012 R2 24 de junho de 2014June 24, 2014 18 de maio de 2015May 18, 2015 30 de junho de 2016June 30, 2016 SimYes NãoNo
HDInsight 3.0HDInsight 3.0 HDP 2,0HDP 2.0 Windows Server 2012 R2Windows Server 2012 R2 11 de fevereiro de 2014February 11, 2014 17 de setembro de 2014September 17, 2014 30 de junho de 2015June 30, 2015 SimYes NãoNo
HDInsight 2.1HDInsight 2.1 HDP 1,3HDP 1.3 Windows Server 2012 R2Windows Server 2012 R2 28 de outubro de 2013October 28, 2013 12 de maio de 2014May 12, 2014 31 de maio de 2015May 31, 2015 SimYes NãoNo
HDInsight 1.6HDInsight 1.6 HDP 1.1HDP 1.1 28 de outubro de 2013October 28, 2013 26 de abril de 2014April 26, 2014 31 de maio de 2015May 31, 2015 NãoNo NãoNo

Observação

Clusters altamente disponíveis com dois headnodes são implantados por padrão para clusters HDInsight versão 2.1 e posterior.Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. Eles não estão disponíveis para clusters HDInsight versão 1.6.They are not available for HDInsight version 1.6 clusters.

Pacote de Segurança Enterprise para HDInsightEnterprise Security Package for HDInsight

O Enterprise Security é um pacote opcional que pode ser adicionado ao cluster HDInsight como parte do fluxo de trabalho de criação de cluster.Enterprise Security is an optional package that you can add on your HDInsight cluster as part of create cluster workflow. O Pacote de Segurança Enterprise oferece suporte a:The Enterprise Security Package supports:

Tipos de cluster com suporteSupported cluster types

Atualmente, apenas os tipos de cluster a seguir oferecem suporte ao Pacote de Segurança Enterprise:Currently, only the following cluster types support the Enterprise Security Package:

  • Hadoop (somente HDInsight 3.6)Hadoop (HDInsight 3.6 only)
  • SparkSpark
  • Consulta InterativaInteractive Query

Suporte ao Azure Data Lake StorageSupport for Azure Data Lake Storage

O Enterprise Security Package oferece suporte ao uso do Azure Data Lake Storage como o armazenamento primário e o armazenamento de complemento.The Enterprise Security Package supports using Azure Data Lake Storage as both the primary storage and the add-on storage.

Preço e contrato de nível de serviçoPricing and service level agreement

Para obter informações sobre preços e SLA para o Pacote de Segurança Enterprise, consulte preços do HDInsight.For information on pricing and SLA for the Enterprise Security Package, see HDInsight pricing.

Contrato de nível de serviço para versões do cluster HDInsightService level agreement for HDInsight cluster versions

O Contrato de Nível de Serviço (SLA) é definido em termos de uma Janela de Suporte.The service level agreement (SLA) is defined in terms of a support window. A janela de suporte é o período de tempo que uma versão do cluster HDInsight tem suporte pelo Atendimento e Suporte ao Cliente da Microsoft.The support window is the period of time that an HDInsight cluster version is supported by Microsoft Customer Service and Support. Se a versão tiver uma Data de Expiração do Suporte que já passou, o cluster HDInsight ficará fora da janela de suporte.If the version has a support expiration date that has passed, the HDInsight cluster is outside the support window. A data de expiração do suporte de uma versão especificada do HDInsight (assim que uma versão X+1 mais nova estiver disponível) é calculada como a mais posterior de:The support expiration date for a specified HDInsight version X (after a newer X+1 version is available) is calculated as the later of:

  • Fórmula 1: adicionar 180 dias à data em que o cluster HDInsight versão X foi lançado.Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
  • Fórmula 2: adicionar 90 dias à data em que o cluster HDInsight versão X+1 foi disponibilizado no Portal do Azure.Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in Azure portal.

A data de baixa é a data após a qual a versão do cluster não pode ser criada no HDInsight.The retirement date is the date after which the cluster version cannot be created on HDInsight. Desde 31 de julho de 2017, você não pode redimensionar um cluster HDInsight após sua data de baixa.Starting July 31, 2017, you cannot resize an HDInsight cluster after its retirement date.

Observação

Os clusters HDInsight do Windows (incluindo as versões 2.1, 3.0, 3.1, 3.2 e 3.3) são executados na Família 4 de SOs Convidados do Azure, que usa a versão de 64 bits do Windows Server 2012 R2.HDInsight Windows clusters (including versions 2.1, 3.0, 3.1, 3.2 and 3.3) run on Azure Guest OS Family version 4, which uses the 64-bit version of Windows Server 2012 R2. A Família de SOs Convidados do Azure versão 4 dá suporte ao .NET Framework 4.0, 4.5, 4.5.1 e 4.5.2.Azure Guest OS Family version 4 supports the .NET Framework versions 4.0, 4.5, 4.5.1, and 4.5.2.

Notas de versão do Hortonworks associadas a versões do HDInsightHortonworks release notes associated with HDInsight versions

A seção fornece links para notas de versão para as distribuições do Hortonworks Data Platform e componentes do Apache que são usados com o HDInsight.The section provides links to release notes for the Hortonworks Data Platform distributions and Apache components that are used with HDInsight.

Tamanhos de máquina virtual e configuração de nó de padrão para clustersDefault node configuration and virtual machine sizes for clusters

Para obter mais informações sobre quais SKUs de máquina virtual selecionar para o cluster, consulte detalhes de configuração do cluster HDInsight do Azure.For more information on which virtual machine SKUs to select for your cluster, see Azure HDInsight cluster configuration details.

Próximas etapasNext steps