Componenti e versioni di Hadoop disponibili in HDInsight

Informazioni su componenti e versioni dell'ecosistema Apache Hadoop in Microsoft Azure HDInsight e sui livelli di servizio Standard e Premium. Informazioni su come controllare le versioni di componenti Hadoop in HDInsight.

Ogni versione di HDInsight è una distribuzione cloud di una versione di Hortonworks Data Platform (HDP).

Componenti di Hadoop disponibili con diverse versioni di HDInsight

Azure HDInsight supporta più versioni cluster di Hadoop che possono essere distribuite in qualsiasi momento. Ogni versione scelta crea una versione specifica della distribuzione HDP (Hortonworks Data Platform) e un set di componenti contenuti in tale distribuzione. A partire dal 17 febbraio 2017, la versione cluster predefinita usata da Azure HDInsight è la 3.5, basata su HDP 2.5.

Le versioni del componente associate alle versioni del cluster HDInsight sono elencate nella tabella seguente.

Nota

La versione predefinita per il servizio HDInsight può essere modificata senza preavviso. Se si dispone di una dipendenza della versione, specificare la versione HDInsight quando si crea il cluster tramite l'SDK .NET con Azure PowerShell e l'interfaccia della riga di comando di Azure.

Componente HDInsight 3.6 (predefinito) HDInsight 3.5 HDInsight 3.4 HDInsight 3.3 HDInsight 3.2 HDInsight 3.1 HDInsight 3.0
Hortonworks Data Platform 2.6 2.5 2.4 2.3 2.2 2.1.7 2.0
Apache Hadoop e YARN 2.7.3 2.7.3 2.7.1 2.7.1 2.6.0 2.4.0 2.2.0
Apache Tez 0.7.0 0.7.0 0.7.0 0.7.0 0.5.2 0.4.0 -
Apache Pig 0.16.0 0.16.0 0.15.0 0.15.0 0.14.0 0.12.1 0.12.0
Apache Hive e HCatalog 1.2.1 1.2.1 1.2.1 1.2.1 0.14.0 0.13.1 0.12.0
Apache Hive2 2.1.0 - - - - - -
Apache Tez Hive2 0.8.4 - - - - - -
Apache Ranger 0.7.0 0.6.0 - - - - -
Apache HBase 1.1.2 1.1.2 1.1.2 1.1.1 0.98.4 0.98.0 -
Apache Sqoop 1.4.6 1.4.6 1.4.6 1.4.6 1.4.5 1.4.4 1.4.4
Apache Oozie 4.2.0 4.2.0 4.2.0 4.2.0 4.1.0 4.0.0 4.0.0
Apache Zookeeper 3.4.6 3.4.6 3.4.6 3.4.6 3.4.6 3.4.5 3.4.5
Apache Storm 1.1.0 1.0.1 0.10.0 0.10.0 0.9.3 0.9.1 -
Apache Mahout 0.9.0+ 0.9.0+ 0.9.0+ 0.9.0+ 0.9.0 0.9.0 -
Apache Phoenix 4.7.0 4.7.0 4.4.0 4.4.0 4.2.0 4.0.0.2.1.7.0-2162 -
Apache Spark 2.1.0 (solo Linux) 1.6.2 + 2.0 (solo Linux) 1.6.0 (solo Linux) 1.5.2 (solo Linux/build sperimentale) 1.3.1 (solo Windows) - -
Apache Kafka 0.10.0 0.10.0 0.9.0 - - - -
Apache Ambari 2.5.0 2.4.0 2.2.1 2.1.0 - - -
Apache Zeppelin 0.7.0 - - - - - -
Mono 4.2.1 4.2.1 3.2.8 - - -

Controllare le informazioni sulle versioni correnti dei componenti Hadoop

Le versioni dei componenti dell'ecosistema Hadoop associate alle versioni cluster HDInsight potrebbero subire modifiche con gli aggiornamenti a HDInsight. Per controllare i componenti Hadoop e verificare le versioni in uso per un cluster, usare l'API REST Ambari. Il comando GetComponentInformation recupera informazioni sui componenti del servizio. Per informazioni dettagliate, vedere la documentazione di Ambari.

Per i cluster Windows, un altro modo per controllare le versioni dei componenti è accedere a un cluster usando Desktop remoto ed esaminare i contenuti della directory C:\apps\dist.

Importante

Linux è l'unico sistema operativo usato in HDInsight versione 3.4 o successiva. Per altre informazioni, vedere Ritiro di HDInsight su Windows.

Note sulla versione

Per altre note sulla versione relative alle versioni più recenti di HDInsight, vedere Note sulla versione di HDInsight .

Versioni supportate di HDInsight

Nella tabella seguente sono elencate le versioni di HDInsight attualmente disponibili nel portale di Azure. Le versioni HDP che corrispondono a ogni versione di HDInsight sono elencate insieme alle date di rilascio del prodotto. Se note, vengono indicate anche la data di scadenza del supporto e la data di ritiro.

Nota

Se il supporto per una versione è scaduto, potrebbe non essere disponibile tramite il portale classico di Microsoft Azure. Tuttavia, le versioni dei cluster continueranno a essere disponibili usando il parametro Version nel comando New-AzureRmHDInsightCluster di Windows PowerShell e .NET SDK fino alla data di ritiro della versione.

I cluster ad alta disponibilità con due nodi head vengono distribuiti per impostazione predefinita per HDInsight versione 2.1 e successive. Non sono disponibili per i cluster HDInsight versione 1.6.

Versione HDInsight Versione HDP Sistema operativo della macchina virtuale Disponibilità elevata Data di rilascio Disponibilità nel portale di Azure Data di scadenza del supporto Data di ritiro
HDInsight 3.6 HDP 2.6 Ubuntu 16 4 aprile 2017
HDInsight 3.5 HDP 2.5 Ubuntu 16 30 settembre 2016 5 settembre 2017 31 maggio 2018
HDInsight 3.4 HDP 2.4 Ubuntu 14.0.4 LTS 29 marzo 2016 29 dicembre 2016 9 gennaio 2018
HDInsight 3.3 HDP 2.3 Windows Server 2012 R2 2 dicembre 2015 27 giugno 2016 31 luglio 2018
HDInsight 3.3 HDP 2.3 Ubuntu 14.0.4 LTS 2 dicembre 2015 27 giugno 2016 31 luglio 2017
HDInsight 3.2 HDP 2.2 Ubuntu 12.04 LTS o Windows Server 2012 R2 18 febbraio 2015 No 1° marzo 2016 1° aprile 2017
HDInsight 3.1 HDP 2.1 Windows Server 2012 R2 24 giugno 2014 No 18 maggio 2015 30 giugno 2016
HDInsight 3.0 HDP 2.0 Windows Server 2012 R2 11 febbraio 2014 No 17 settembre 2014 30 giugno 2015
HDInsight 2.1 HDP 1.3 Windows Server 2012 R2 28 ottobre 2013 No 12 maggio 2014 31 maggio 2015
HDInsight 1.6 HDP 1.1 No 28 ottobre 2013 No 26 aprile 2014 31 maggio 2015

Ritiro di HDInsight in Windows

Microsoft Azure HDInsight versione 3.3 è stata l'ultima versione di HDInsight per Windows. La data di ritiro di HDInsight per Windows è il 31 luglio 2018. Se si dispone di tutti i cluster HDInsight in Windows 3.3 o precedente, è necessario eseguire la migrazione ad HDInsight per Linux (HDInsight 3.5 o versione successiva) prima del 31 luglio 2018. La migrazione al sistema operativo Linux consente di mantenere la possibilità di creare o ridimensionare i cluster HDInsight. Il supporto per HDInsight versione 3.3 per Windows è scaduto il 27 giugno 2016.

A partire da HDInsight versione 3.4, Microsoft ha rilasciato HDInsight solo per il sistema operativo Linux. Di conseguenza, alcuni dei componenti all'interno di HDInsight sono disponibili esclusivamente per Linux. Sono inclusi Apache Ranger, Kafka, Interactive Hive, Spark, le applicazioni HDInsight e Azure Data Lake Store come file system primario. Le versioni future di HDInsight sono disponibili solo per il sistema operativo Linux. Per il sistema operativo Windows non saranno più rilasciate versioni di HDInsight.

Domande frequenti

Qual è la sequenza temporale per il ritiro di HDInsight su Windows?

La data di ritiro di HDInsight per Windows è il 31 luglio 2018. Se la data di ritiro pianificata è diversa per la propria regione, si riceverà una notifica separata.

Quale sarà l'impatto che il ritiro di HDInsight per Windows avrà sui clienti esistenti?

Dopo che HDInsight per Windows è ritirato, non sarà possibile creare un nuovo cluster HDInsight su Windows o ridimensionarne uno esistente. Il supporto per HDInsight versione 3.3 è scaduto il 27 giugno 2016. Non sono pertanto disponibili supporto e correzioni di bug per HDInsight 3.3 o versioni precedenti. Le versioni future di HDInsight sono disponibili solo per il sistema operativo Linux. Per il sistema operativo Windows non saranno più rilasciate versioni di HDInsight.

Quali versioni di HDInsight per Windows sono interessate?

Azure HDInsight versione 3.3 è l'ultima versione di HDInsight per Windows. Prima che HDInsight su Windows venga ritirato, tutti i cluster HDInsight per Windows ,versione 3.3, devono essere migrati a HDInsight per Linux, versione 3.5 o successiva. La migrazione dei cluster a HDInsight per Linux consente di mantenere la possibilità di creare nuovi cluster o di ridimensionare un cluster esistente.

Cosa occorre fare?

Eseguire la migrazione del cluster HDInsight per Windows a un cluster HDInsight per Linux supportato prima del 31 luglio 2018. Per maggiori informazioni, fare riferimento al documento di migrazione HDInsight. Per informazioni dettagliate sulle versioni di Azure HDInsight, vedere l'elenco delle versioni supportate.

Dove è possibile trovare il tipo di sistema operativo del cluster?

Nel portale di Azure, accedere alla pagina della panoramica del cluster HDInsight e individuare Tipo cluster in Informazioni di base. I tipi di sistema operativo del cluster sono elencati in questa pagina.

Impossibile eseguire la migrazione a un cluster HDInsight per Linux entro il 31 luglio 2018. Quali sono le conseguenze per il cluster HDInsight per Windows?

Il cluster HDInsight per Windows verrà eseguito "così come è". Non sarà invece possibile creare un nuovo cluster HDInsight su Windows o ridimensionarne uno esistente.

Il cluster include una dipendenza .NET. Come si risolve questa dipendenza su Linux?

È possibile risolvere la dipendenza del cluster per Linux tramite il progetto Mono. Questa implementazione open source di .NET è disponibile per i cluster HDInsight su Linux. Per maggiori informazioni, fare riferimento al documento di migrazione HDInsight.

Sono un nuovo cliente di HDInsight per Windows. Come è possibile creare un cluster HDInsight per Windows?

A partire dal 3 luglio 2017, solo i clienti esistenti di HDInsight per Windows possono creare nuovi cluster HDInsight per Windows. I nuovi clienti non possono creare un cluster HDInsight per Windows nel portale di Azure usando PowerShell o SDK. È consigliabile che i nuovi clienti creino un cluster HDInsight per Linux. I clienti esistenti possono creare nuovi cluster HDInsight per Windows fino alla data di ritiro di HDInsight per Windows.

Il passaggio da HDInsight per Windows a HDInsight per Linux influisce sui prezzi?

No, il piano tariffario è lo stesso per HDInsight su entrambi i sistemi operativi.

Quali sono i vantaggi per i clienti che passano a HDInsight utilizzando solo il sistema operativo Linux?

  • Tempi di realizzazione più veloci per le tecnologie Big Data open source tramite il servizio HDInsight
  • Sono disponibili una community e un ecosistema di grandi dimensioni per il supporto
  • La community del software open source per Hadoop permette uno sviluppo più attivo e offre tecnologie Big Data innovative

HDInsight per Linux fornisce funzionalità aggiuntive oltre a quelle disponibili in HDInsight per Windows?

A partire da HDInsight versione 3.4, Microsoft ha rilasciato HDInsight solo per il sistema operativo Linux. Di conseguenza, alcuni dei componenti all'interno di HDInsight sono disponibili esclusivamente per Linux. Sono inclusi Apache Ranger, Kafka, Interactive Hive, Spark, le applicazioni HDInsight e Azure Data Lake Store come file system primario.

Contratto di servizio per le versioni dei cluster HDInsight

Il Contratto di servizio (SLA) viene definito come finestra di supporto. Il termine finestra di supporto indica il periodo di tempo in cui una versione cluster HDInsight è supportata dal Supporto tecnico Microsoft. Un cluster HDInsight non è compreso nella finestra di supporto se la data di scadenza del supporto della versione ha superato la data corrente. Per ulteriori informazioni sulle versioni supportate, vedere l'elenco delle versioni cluster HDInsight supportate. La data di scadenza del supporto per una specifica versione di HDInsight X (dopo che sarà disponibile una versione X+1 più recente) viene calcolata come l'ultima di:

  • Formula 1: aggiungere 180 giorni alla data di rilascio del cluster HDInsight versione X.
  • Formula 2: aggiungere 90 giorni alla data di rilascio del cluster HDInsight versione X+1 nel portale di Azure.

La data di ritiro è la data dopo la quale non è possibile creare la versione del cluster su HDInsight. A partire dal 31 luglio 2017 non è possibile ridimensionare un cluster HDInsight dopo la data di ritiro.

Nota

I cluster HDInsight su Windows (incluse le versioni 2.1, 3.0, 3.1, 3.2 e 3.3) eseguono il sistema operativo guest di Azure Family versione 4, che usa la versione a 64 bit di Windows Server 2012 R2. Il sistema operativo guest di Azure Family versione 4 supporta le versioni di .NET Framework 4.0, 4.5, 4.5.1 e 4.5.2.

Note sulla versione di Hortonworks associate alle versioni di HDInsight

La sezione fornisce collegamenti alle note sulla versione di Hortonworks Data Platform e i componenti di Apache utilizzati con HDInsight.

HDInsight Standard e HDInsight Premium

Azure HDInsight presenta le offerte cloud per i Big Data in due categorie: Standard e Premium. Nella tabella seguente sono elencate le funzionalità disponibili esclusivamente in HDInsight Premium. Le funzionalità che non sono descritte in modo esplicito nella tabella sono disponibili sia in HDInsight Standard che in Premium.

Nota

Attualmente l’offerta HDInsight Premium è disponibile in anteprima e solo per i cluster Linux.

Funzionalità HDInsight Premium Description
Cluster HDInsight aggiunti al dominio Aggiungere i cluster HDInsight ai domini di Azure Active Directory (Azure AD) per ottenere una sicurezza di livello aziendale. Con HDInsight Premium è possibile configurare un elenco di dipendenti dell'azienda autorizzati a eseguire l'autenticazione tramite Azure Active Directory per accedere al cluster HDInsight. L'amministratore può configurare il controllo degli accessi basato sui ruoli per la sicurezza di Hive usando Apache Ranger, limitando così l'accesso ai dati solo ai ruoli interessati. Infine, l'amministratore può controllare l'accesso ai dati da parte dei dipendenti e le eventuali modifiche apportate ai criteri di controllo degli accessi, ottenendo in questo modo un elevato livello di governance delle risorse aziendali. Per altre informazioni, vedere Configure domain-joined HDInsight clusters (Configurare i cluster HDInsight aggiunti al dominio).

Tipi di cluster supportati in HDInsight Premium

Nella tabella seguente sono elencati i tipi di cluster che sono supportati in HDInsight Premium.

Tipo di cluster Standard Premium (anteprima)
Hadoop Sì (solo HDInsight 3.6)
Spark No
HBase No
Storm No
R Server No
Interactive Hive (anteprima) No
Kafka (anteprima) No

Supporto per Azure Data Lake Store in HDInsight Premium

I cluster HDInsight Premium non supportano l'utilizzo di Azure Data Lake Store come risorsa di archiviazione primaria. È comunque possibile usare Azure Data Lake Store come risorsa di archiviazione aggiuntiva con i cluster HDInsight Premium.

Prezzi e contratto di servizio

Per informazioni su prezzi e contratto di servizio per HDInsight Premium, vedere Prezzi di HDInsight.

Configurazione del nodo predefinito e dimensioni della macchina virtuale per i cluster

La tabella seguente elenca le dimensioni di macchina virtuale (VM) predefinite per i cluster HDInsight.

Importante

Se si prevedono più di 32 nodi di lavoro in un cluster, è necessario selezionare una dimensione del nodo head con almeno 8 core e 14 GB di RAM.

  • Tutte le aree supportate tranne Brasile meridionale e Giappone occidentale:

    Tipo di cluster Hadoop HBase Storm Spark R Server
    Head: dimensioni VM predefinite D3 v2 D3 v2 A3 D12 v2 D12 v2
    Head: dimensioni VM consigliate D3 v2, D4 v2, D12 v2 D3 v2, D4 v2, D12 v2 A3, A4, A5 D12 v2, D13 v2, D14 v2 D12 v2, D13 v2, D14 v2
    Ruolo di lavoro: dimensioni VM predefinite D3 v2 D3 v2 D3 v2 Windows: D12 v2; Linux: D4 v2 Windows: D12 v2; Linux: D4 v2
    Ruolo di lavoro: dimensioni VM consigliate D3 v2, D4 v2, D12 v2 D3 v2, D4 v2, D12 v2 D3 v2, D4 v2, D12 v2 Windows: D12 v2, D13 v2, D14 v2; Linux: D4 v2, D12 v2, D13 v2, D14 v2 Windows: D12 v2, D13 v2, D14 v2; Linux: D4 v2, D12 v2, D13 v2, D14 v2
    ZooKeeper: dimensioni VM predefinite A3 A2
    ZooKeeper: dimensioni VM consigliate A3, A4, A5 A2, A3, A4
    Edge: dimensioni VM predefinite Windows: D12 v2; Linux: D4 v2
    Edge: dimensioni VM consigliate Windows: D12 v2, D13 v2, D14 v2; Linux: D4 v2, D12 v2, D13 v2, D14 v2
  • Solo Brasile meridionale e Giappone occidentale (non sono disponibili dimensioni v2):

    Tipo di cluster Hadoop HBase Storm Spark R Server
    Head: dimensioni VM predefinite D3 D3 A3 D12 D12
    Head: dimensioni VM consigliate D3, D4, D12 D3, D4, D12 A3, A4, A5 D12, D13, D14 D12, D13, D14
    Ruolo di lavoro: dimensioni VM predefinite D3 D3 D3 Windows: D12; Linux: D4 Windows: D12; Linux: D4
    Ruolo di lavoro: dimensioni VM consigliate D3, D4, D12 D3, D4, D12 D3, D4, D12 Windows: D12, D13, D14; Linux: D4, D12, D13, D14 Windows: D12, D13, D14; Linux: D4, D12, D13, D14
    ZooKeeper: dimensioni VM predefinite A2 A2
    ZooKeeper: dimensioni VM consigliate A2, A3, A4 A2, A3, A4
    Edge: dimensioni VM predefinite Windows: D12; Linux: D4
    Edge: dimensioni VM consigliate Windows: D12, D13, D14; Linux: D4, D12, D13, D14

Nota

  • Il nodo Head è chiamato Nimbus per il tipo di cluster Storm.
  • Il nodo Ruolo di lavoro è chiamato Supervisor per il tipo di cluster Storm.
  • Il nodo Ruolo di lavoro è chiamato Regione per il tipo di cluster HBase.

Passaggi successivi