Quels sont les composants et versions Apache Hadoop disponibles avec HDInsight ?What are the Apache Hadoop components and versions available with HDInsight?
Découvrez les composants et versions de l’écosystème Apache Hadoop inclus dans Microsoft Azure HDInsight, ainsi que le Pack Sécurité Entreprise.Learn about the Apache Hadoop ecosystem components and versions in Microsoft Azure HDInsight, as well as the Enterprise Security Package. Découvrez également comment vérifier les versions des composants Hadoop dans HDInsight.Also, learn how to check Hadoop component versions in HDInsight.
Composants Apache Hadoop disponibles avec différentes versions de HDInsightApache Hadoop components available with different HDInsight versions
Azure HDInsight prend en charge plusieurs versions de cluster Hadoop qui peuvent être déployées à tout moment.Azure HDInsight supports multiple Hadoop cluster versions that can be deployed at any time. Depuis le 4 avril 2017, la version de cluster par défaut utilisée par Azure HDInsight est la version 3.6.As of April 4, 2017, the default cluster version used by Azure HDInsight is 3.6.
Les versions de composants associées aux versions de cluster HDInsight sont répertoriées dans le tableau suivant :The component versions associated with HDInsight cluster versions are listed in the following table:
Notes
La version par défaut associée au service HDInsight peut changer sans préavis.The default version for the HDInsight service might change without notice. Si vous dépendez d’une version, spécifiez cette dernière lorsque vous créez vos clusters à l’aide du kit SDK .NET avec Azure PowerShell et Azure Classic CLI.If you have a version dependency, specify the HDInsight version when you create your clusters with the .NET SDK with Azure PowerShell and Azure Classic CLI.
| ComposantComponent | HDInsight 4.0HDInsight 4.0 | HDInsight 3.6 (par défaut)HDInsight 3.6 (Default) |
|---|---|---|
| Apache Hadoop et YARNApache Hadoop and YARN | 3.1.13.1.1 | 2.7.32.7.3 |
| Apache TezApache Tez | 0.9.10.9.1 | 0.7.00.7.0 |
| Apache PigApache Pig | 0.16.00.16.0 | 0.16.00.16.0 |
| Apache HiveApache Hive | 3.1.03.1.0 | 2.1.0, 1.2.12.1.0, 1.2.1 |
| Apache Tez/Hive2Apache Tez Hive2 | - | 0.8.40.8.4 |
| Apache RangerApache Ranger | 1.1.01.1.0 | 0.7.00.7.0 |
| Apache HBaseApache HBase | 2.0.12.0.1 | 1.1.21.1.2 |
| Apache SqoopApache Sqoop | 1.4.71.4.7 | 1.4.61.4.6 |
| Apache OozieApache Oozie | 4.3.14.3.1 | 4.2.04.2.0 |
| Apache ZookeeperApache Zookeeper | 3.4.63.4.6 | 3.4.63.4.6 |
| Apache StormApache Storm | - | 1.1.01.1.0 |
| Apache MahoutApache Mahout | - | 0.9.0+0.9.0+ |
| Apache PhoenixApache Phoenix | 5.5 | 4.7.04.7.0 |
| Apache SparkApache Spark | 2.3.1, 2.42.3.1, 2.4 | 2.3.0, 2.2.0, 2.1.02.3.0, 2.2.0, 2.1.0 |
| Apache LivyApache Livy | 0.50.5 | 0.4, 0.4, 0.30.4, 0.4, 0.3 |
| Apache KafkaApache Kafka | 1.1.1, 2.11.1.1, 2.1 | 1.1, 1.0 * (Voir la remarque ci-dessous)1.1, 1.0 * (See Note below) |
| Apache AmbariApache Ambari | 2.7.02.7.0 | 2.6.02.6.0 |
| Apache ZeppelinApache Zeppelin | 0.8.00.8.0 | 0.7.00.7.0 |
| MonoMono | 4.2.14.2.1 | 4.2.14.2.1 |
Notes
En raison de considérations sur les performances système, la prise en charge de Kafka version 0.10 a expiré en mars 2019.Due to system performance considerations, support for Kafka version 0.10 was expired in March 2019.
Comment vérifier les informations de version du composant Hadoop actuelCheck for current Hadoop component version information
Les versions de composant d’écosystème Hadoop associées aux versions de cluster HDInsight peuvent changer avec les mises à jour de HDInsight.The Hadoop ecosystem component versions associated with HDInsight cluster versions can change with updates to HDInsight. Pour vérifier les composants Hadoop ainsi que les versions utilisées pour un cluster, utilisez l’API REST Ambari.To check the Hadoop components and to verify which versions are being used for a cluster, use the Ambari REST API. La commande GetComponentInformation extrait des informations sur les composants du service.The GetComponentInformation command retrieves information about service components. Pour plus d’informations, consultez la page Documentation Apache Ambari.For details, see the Apache Ambari documentation.
Notes de publicationRelease notes
Pour d’autres notes de publication sur les dernières versions de HDInsight, consultez la page Notes de publication de HDInsight .See HDInsight release notes for additional release notes on the latest versions of HDInsight.
Versions de HDInsight prises en chargeSupported HDInsight versions
Les tableaux suivants listent les versions HDInsight.The following tables list the versions of HDInsight. Les dates d’expiration et de mise hors service sont également fournies, lorsqu’elles sont connues.The support expiration and retirement dates are also provided, when they're known.
Versions disponiblesAvailable versions
Le tableau suivant liste les versions HDInsight qui sont disponibles dans le portail Azure ainsi que d’autres méthodes de déploiement telles que PowerShell et le kit .NET SDK.The following table lists the versions of HDInsight that are available in the Azure portal as well as other deployment methods like PowerShell and .NET SDK.
| Version de HDInsightHDInsight version | SYSTÈME D’EXPLOITATION DE LA MACHINE VIRTUELLEVM OS | Date de lancementRelease date | Date d’expiration du supportSupport expiration date | Date de mise hors serviceRetirement date | Haute disponibilitéHigh availability | Disponibilité dans le portail AzureAvailability in the Azure portal |
|---|---|---|---|---|---|---|
| HDInsight 4.0HDInsight 4.0 | Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS | 24 septembre 2018September 24, 2018 | OUIYes | OUIYes | ||
| HDInsight 3.6HDInsight 3.6 | Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS | 4 avril 2017April 4, 2017 | 31 décembre 2020December 31, 2020 | 31 décembre 2020December 31, 2020 | OUIYes | OUIYes |
Le support de Spark 2.1/2.2 et de Kafka 1.0 expire le 30 juin 2020.Spark 2.1, 2.2 & Kafka 1.0 support will expire on June 30th, 2020.
Notes
Quand une version cesse d’être prise en charge, elle n’est plus proposée dans le portail Microsoft Azure.After support for a version has expired, it might not be available through the Microsoft Azure portal. Toutefois, les versions des clusters restent disponibles avec le paramètre Version de la commande Windows PowerShell New-AzHDInsightCluster et le kit SDK .NET, jusqu’à leur date de mise hors service.However, cluster versions continue to be available using the Version parameter in the Windows PowerShell New-AzHDInsightCluster command and the .NET SDK until the version retirement date.
Versions suppriméesRetired versions
Le tableau suivant liste les versions HDInsight qui ne sont pas disponibles dans le portail Azure.The following table lists the versions of HDInsight that are not available in the Azure portal.
| Version de HDInsightHDInsight version | Version de la plateforme HDPHDP version | SYSTÈME D’EXPLOITATION DE LA MACHINE VIRTUELLEVM OS | Date de lancementRelease date | Date d’expiration du supportSupport expiration date | Date de mise hors serviceRetirement date | Haute disponibilitéHigh availability | Disponibilité sur le portail AzureAvailability on the Azure portal |
|---|---|---|---|---|---|---|---|
| HDInsight 3.5HDInsight 3.5 | HDP 2.5HDP 2.5 | Ubuntu 16.0.4 LTSUbuntu 16.0.4 LTS | 30 septembre 2016September 30, 2016 | 5 septembre 2017September 5, 2017 | 28 juin 2018June 28, 2018 | OUIYes | NonNo |
| HDInsight 3.4HDInsight 3.4 | HDP 2.4HDP 2.4 | Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS | 29 mars 2016March 29, 2016 | 29 décembre 2016December 29, 2016 | 9 janvier 2018January 9, 2018 | OUIYes | NonNo |
| HDInsight 3.3HDInsight 3.3 | HDP 2.3HDP 2.3 | Windows Server 2012 R2Windows Server 2012 R2 | 2 décembre 2015December 2, 2015 | 27 juin 2016June 27, 2016 | 31 juillet 2018July 31, 2018 | OUIYes | NonNo |
| HDInsight 3.3HDInsight 3.3 | HDP 2.3HDP 2.3 | Ubuntu 14.0.4 LTSUbuntu 14.0.4 LTS | 2 décembre 2015December 2, 2015 | 27 juin 2016June 27, 2016 | 31 juillet 2017July 31, 2017 | OUIYes | NonNo |
| HDInsight 3.2HDInsight 3.2 | HDP 2.2HDP 2.2 | Ubuntu 12.04 LTS ou Windows Server 2012 R2Ubuntu 12.04 LTS or Windows Server 2012 R2 | 18 février 2015February 18, 2015 | 1 mars 2016March 1, 2016 | 1 avril 2017April 1, 2017 | OUIYes | NonNo |
| HDInsight 3.1HDInsight 3.1 | HDP 2,1HDP 2.1 | Windows Server 2012 R2Windows Server 2012 R2 | 24 juin 2014June 24, 2014 | 18 mai 2015May 18, 2015 | 30 juin 2016June 30, 2016 | OUIYes | NonNo |
| HDInsight 3.0HDInsight 3.0 | HDP 2,0HDP 2.0 | Windows Server 2012 R2Windows Server 2012 R2 | 11 février 2014February 11, 2014 | 17 septembre 2014September 17, 2014 | 30 juin 2015June 30, 2015 | OUIYes | NonNo |
| HDInsight 2.1HDInsight 2.1 | HDP 1,3HDP 1.3 | Windows Server 2012 R2Windows Server 2012 R2 | 28 octobre 2013October 28, 2013 | 12 mai 2014May 12, 2014 | 31 mai 2015May 31, 2015 | OUIYes | NonNo |
| HDInsight 1.6HDInsight 1.6 | HDP 1.1HDP 1.1 | 28 octobre 2013October 28, 2013 | 26 avril 2014April 26, 2014 | 31 mai 2015May 31, 2015 | NonNo | NonNo |
Notes
Les clusters à haute disponibilité avec deux nœuds principaux sont déployés par défaut pour les clusters HDInsight 2.1 et versions ultérieures.Highly available clusters with two head nodes are deployed by default for HDInsight version 2.1 and later. Ils ne sont pas disponibles pour les clusters HDInsight version 1.6.They are not available for HDInsight version 1.6 clusters.
Package de sécurité d’entreprise pour HDInsightEnterprise Security Package for HDInsight
Le package de sécurité d’entreprise est un package facultatif que vous pouvez ajouter à votre cluster HDInsight dans le cadre du flux de travail de création du cluster.Enterprise Security is an optional package that you can add on your HDInsight cluster as part of create cluster workflow. Le package de sécurité d’entreprise prend en charge les aspects suivants :The Enterprise Security Package supports:
Intégration à Active Directory pour l’authentification.Integration with Active Directory for authentication.
Avant, vous pouviez créer des clusters HDInsight uniquement avec un utilisateur administrateur local et un utilisateur SSH local.In the past, you can only create HDInsight clusters with a local admin user and a local SSH user. L’utilisateur administrateur local pouvait accéder à tous les fichiers, dossiers, tables et colonnes.The local admin user can access all the files, folders, tables, and columns. Avec le package de sécurité d’entreprise, vous pouvez activer le contrôle d’accès en fonction du rôle en intégrant les clusters HDInsight à votre propre annuaire Active Directory, comprenant l’annuaire Active Directory local, Azure Active Directory Domain Services ou Active Directory sur une machine virtuelle IaaS.With the Enterprise Security Package, you can enable role-based access control by integrating HDInsight clusters with your own Active Directory, which include on-premises Active Directory, Azure Active Directory Domain Services, or Active Directory on IaaS virtual machine. L’administrateur de domaine sur le cluster peut autoriser les utilisateurs à utiliser leurs propres nom d’utilisateur et mot de passe d’entreprise (domaine) pour accéder au cluster.Domain administrator on the cluster can grant users to use their own corporate (domain) user-name and password to access the cluster.
Pour plus d'informations, consultez les pages suivantes :For more information, see:
- Introduction aux fonctions de sécurité Apache Hadoop sur la base de clusters HDInsight joints à un domaineAn introduction to Apache Hadoop security with domain-joined HDInsight clusters
- Planifier des clusters Apache Hadoop Azure joints à un domaine dans HDInsightPlan Azure domain-joined Apache Hadoop clusters in HDInsight
- Configurer un environnement de bac à sable joint à un domaineConfigure domain-joined sandbox environment
- Configurer les clusters HDInsight joints à un domaine avec Azure Active Directory Domain ServicesConfigure Domain-joined HDInsight clusters using Azure Active Directory Domain Services
Autorisation pour les donnéesAuthorization for data
Intégration à Apache Ranger pour l’autorisation sur les files d’attente Yarn Hive et Spark SQL.Integration with Apache Ranger for authorization for Hive, Spark SQL, and Yarn Queues.
Vous pouvez définir le contrôle d’accès sur les fichiers et dossiers.You can set access control on files and folders.
Pour plus d'informations, consultez les pages suivantes :For more information, see:
Affichage des journaux d’audit pour surveiller les accès et les stratégies configurées.View the audit logs to monitor accesses and the configured policies.
Types de cluster pris en chargeSupported cluster types
Seuls les types de cluster suivants prennent en charge le package de sécurité d’entreprise :Currently, only the following cluster types support the Enterprise Security Package:
- Hadoop (HDInsight 3.6 uniquement)Hadoop (HDInsight 3.6 only)
- SparkSpark
- Interactive QueryInteractive Query
Prise en charge d’Azure Data Lake StorageSupport for Azure Data Lake Storage
Le Pack Sécurité Entreprise prend en charge l’utilisation d’Azure Data Lake Storage comme stockage principal et stockage complémentaire.The Enterprise Security Package supports using Azure Data Lake Storage as both the primary storage and the add-on storage.
Tarification et contrat de niveau de servicePricing and service level agreement
Pour plus d’informations sur les tarifs et le contrat SLA du package de sécurité d’entreprise, consultez Tarification HDInsight.For information on pricing and SLA for the Enterprise Security Package, see HDInsight pricing.
Contrat de niveau de service pour les versions de cluster HDInsightService level agreement for HDInsight cluster versions
Le contrat de niveau de service (SLA) est défini en termes de fenêtre de support.The service level agreement (SLA) is defined in terms of a support window. L’expression « fenêtre de support » désigne la durée pendant laquelle une version de cluster HDInsight est prise en charge par le support technique et le service clientèle Microsoft.The support window is the period of time that an HDInsight cluster version is supported by Microsoft Customer Service and Support. Si la version du logiciel est associée à une date d’expiration du support dépassée, cela signifie que le cluster HDInsight n’est plus inclus dans la fenêtre de support.If the version has a support expiration date that has passed, the HDInsight cluster is outside the support window. La date d’expiration du support d’une version donnée de HDInsight (lorsqu’une version X+1 plus récente est disponible) est calculée comme suit, la date la plus tardive prévalant :The support expiration date for a specified HDInsight version X (after a newer X+1 version is available) is calculated as the later of:
- Formule 1 : ajoutez 180 jours à la date de lancement du cluster HDInsight version X.Formula 1: Add 180 days to the date when the HDInsight cluster version X was released.
- Formula 2 : ajoutez 90 jours à la date de lancement du cluster HDInsight version X+1 dans le portail Azure.Formula 2: Add 90 days to the date when the HDInsight cluster version X+1 is made available in Azure portal.
La date de mise hors service est la date après laquelle la version du cluster ne peut plus être créée sur HDInsight.The retirement date is the date after which the cluster version cannot be created on HDInsight. Depuis le 31 juillet 2017, vous ne pouvez pas redimensionner un cluster HDInsight après sa date de mise hors service.Starting July 31, 2017, you cannot resize an HDInsight cluster after its retirement date.
Notes
Les clusters HDInsight sous Windows (y compris les versions 2.1, 3.0, 3.1, 3.2 et 3.3) s’exécutent sur la 4e famille de systèmes d’exploitation invités d’Azure, qui utilise la version 64 bits de Windows Server 2012 R2.HDInsight Windows clusters (including versions 2.1, 3.0, 3.1, 3.2 and 3.3) run on Azure Guest OS Family version 4, which uses the 64-bit version of Windows Server 2012 R2. Cette famille prend en charge les versions de .NET Framework 4.0, 4.5, 4.5.1 et 4.5.2.Azure Guest OS Family version 4 supports the .NET Framework versions 4.0, 4.5, 4.5.1, and 4.5.2.
Notes de publication de Hortonworks associées aux versions de HDInsightHortonworks release notes associated with HDInsight versions
Cette section fournit des liens vers des notes de publication des distributions Hortonworks Data Platform et des composants Apache utilisés avec HDInsight.The section provides links to release notes for the Hortonworks Data Platform distributions and Apache components that are used with HDInsight.
Le cluster HDInsight version 4.0 utilise une distribution Hadoop basée sur Hortonworks Data Platform 3.0.HDInsight cluster version 4.0 uses a Hadoop distribution that is based on Hortonworks Data Platform 3.0
Le cluster HDInsight version 3.6 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.6.HDInsight cluster version 3.6 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.6.
Le cluster HDInsight version 3.5 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.5.HDInsight cluster version 3.5 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.5. HDInsight 3.5 est la version par défaut du cluster Hadoop créé dans le portail Azure.HDInsight cluster version 3.5 is the default Hadoop cluster that is created in the Azure portal.
Le cluster HDInsight version 3.4 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.4.HDInsight cluster version 3.4 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.4.
Le cluster HDInsight version 3.3 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.3.HDInsight cluster version 3.3 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.3.
- Les notes de publication d’Apache Storm sont disponibles sur le site web d’Apache.Apache Storm release notes are available on the Apache website.
- Les notes de publication d’Apache Hive sont disponibles sur le site web d’Apache.Apache Hive release notes are available on the Apache website.
Le cluster HDInsight version 3.2 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.2.HDInsight cluster version 3.2 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.2.
- Les notes de publication propres aux différents composants Apache sont disponibles comme suit : Hive 0.14, Pig 0.14, HBase 0.98.4, Phoenix 4.2.0, M/R 2.6, HDFS 2.6, YARN 2.6, Common, Tez 0.5.2, Ambari 2.0, Storm 0.9.3 et Oozie 4.1.0.Release notes for specific Apache components are available as follows: Hive 0.14, Pig 0.14, HBase 0.98.4, Phoenix 4.2.0, M/R 2.6, HDFS 2.6, YARN 2.6, Common, Tez 0.5.2, Ambari 2.0, Storm 0.9.3, and Oozie 4.1.0.
Le cluster HDInsight version 3.1 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.1.7.HDInsight cluster version 3.1 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.1.7. Les clusters HDInsight 3.1 créés avant le 7 novembre 2014 sont basés sur Hortonworks Data Platform 2.1.1.HDInsight 3.1 clusters created before November, 7, 2014, are based on Hortonworks Data Platform 2.1.1.
Le cluster HDInsight version 3.0 utilise une distribution Hadoop basée sur Hortonworks Data Platform 2.0.HDInsight cluster version 3.0 uses a Hadoop distribution that is based on Hortonworks Data Platform 2.0.
Le cluster HDInsight version 2.1 utilise une distribution Hadoop basée sur Hortonworks Data Platform 1.3.HDInsight cluster version 2.1 uses a Hadoop distribution that is based on Hortonworks Data Platform 1.3.
Le cluster HDInsight version 1.6 utilise une distribution Hadoop basée sur Hortonworks Data Platform 1.1.HDInsight cluster version 1.6 uses a Hadoop distribution that is based on Hortonworks Data Platform 1.1.
Tailles des machines virtuelles et configuration des nœuds par défaut pour les clustersDefault node configuration and virtual machine sizes for clusters
Pour plus d’informations sur les références SKU de machine virtuelle à sélectionner pour votre cluster, consultez Détails de configuration du cluster Azure HDInsight.For more information on which virtual machine SKUs to select for your cluster, see Azure HDInsight cluster configuration details.
Étapes suivantesNext steps
Commentaires
Chargement du commentaire...