Note sulla versione di componenti Hadoop in Azure HDInsightRelease notes for Hadoop components on Azure HDInsight

Questo articolo include informazioni sugli aggiornamenti di versione di Azure HDInsight più recenti.This article provides information about the most recent Azure HDInsight release updates. Per informazioni sulle versioni precedenti, vedere Archivio delle note di versione di HDInsight.For information on earlier releases, see HDInsight Release Notes Archive.

Importante

Linux è l'unico sistema operativo usato in HDInsight versione 3.4 o successiva.Linux is the only operating system used on HDInsight version 3.4 or greater. Per altre informazioni, vedere l'articolo sul controllo delle versioni di HDInsight.For more information, see HDInsight versioning article.

Note per la versione di HDInsight rilasciata in data 01/08/2017Notes for 08/01/2017 release of HDInsight

TitoloTitle DescrizioneDescription Area interessataImpacted Area Tipo di clusterCluster Type
Versione di Microsoft R Server 9.1 in HDInsightRelease of Microsoft R Server 9.1 on HDInsight HDInsight supporta ora il provisioning dei cluster R Server 9.1 in HDInsight.HDInsight now supports provisioning R Server 9.1 clusters on HDInsight. Per altre informazioni sulla versione di Microsoft R Server 9.1, vedere questo blog.For more information on Microsoft R Server 9.1 release, see this blog. ServiceService R ServerR Server
HDInsight 3.6 include ora le versioni più recenti dello stack di HadoopHDInsight 3.6 now includes newer versions of the Hadoop stack ServiceService TuttiAll
Aggiornamenti ai cluster Interactive Hive (anteprima)Updates to Interactive Hive (Preview) clusters
  • Miglioramento della funzionalità.Feature improvement. L'implementazione del metastore memorizzato nella cache riduce il carico sul database di back-end di SQL memorizzando nella cache i metadati e migliora le prestazioni per tutte le operazioni dei metadati.Implementation of cached metastore that reduces the load on the backend SQL by caching the metadata and improves performance for all metadata operations. Questo miglioramento è ora un'impostazione predefinita in tutti i cluster Interactive Hive.This improvement is now a default on all Interactive Hive clusters. Per altre informazioni, vedere https://issues.apache.org/jira/browse/HIVE-16520.For more information, see https://issues.apache.org/jira/browse/HIVE-16520.
  • Miglioramento della funzionalità.Feature improvement. Il caricamento della partizione dinamica è ottimizzato.Dynamic partition loading is optimized. Per altre informazioni, vedere https://issues.apache.org/jira/browse/HIVE-14204.For more information, see https://issues.apache.org/jira/browse/HIVE-14204.
  • Miglioramento della funzionalità.Feature improvement. Ottimizzazioni di configurazione per HDInsight su Linux.Configuration optimizations for HDInsight on Linux.
  • Correzione di bug.Bug fix. CredentialProviderFactory$getProviders non è thread-safe.CredentialProviderFactory$getProviders is not thread-safe. Questo problema ora è stato corretto.This issue is now fixed. Per altre informazioni, vedere https://issues.apache.org/jira/browse/HADOOP-14195.For more information, see https://issues.apache.org/jira/browse/HADOOP-14195.
  • Correzione di bug.Bug fix. L'utilizzo elevato della CPU con API liststatus del driver WASB genera prestazioni ATS non valide.High CPU usage with WASB driver liststatus API resulting in bad ATS performance. Questo problema ora è stato corretto.This issue is now fixed. Per altre informazioni, vedere https://github.com/Azure/azure-storage-java/pull/154.For more information, see https://github.com/Azure/azure-storage-java/pull/154.
ServiceService Interactive Hive (anteprima)Interactive Hive (Preview)
Aggiornamenti ai cluster HadoopUpdates to Hadoop clusters L'affidabilità dell'operazione del processo Templeton è migliorata.Templeton job operation reliability is improved. Per altre informazioni, vedere https://issues.apache.org/jira/browse/HIVE-15947.For more information, see https://issues.apache.org/jira/browse/HIVE-15947 ServiceService HadoopHadoop
Aggiornamenti di YARNYARN updates HDInsight ora crea un database Ambari da 250 GB (senza l'aumento dei costi), che comporta una migliore esperienza per i clienti.HDInsight now creates a 250 GB Ambari database (without increasing cost), which results in a better experience for customers. Questa modifica dovrebbe impedire il riempimento di ATS e migliorare le prestazioni.This change should prevent ATS from getting filled up and likely have a better performance. ServiceService TuttiAll
Aggiornamenti di SparkSpark updates Versione di Spark 2.1.1.Release of Spark 2.1.1. Per altre informazioni, vedere la pagina relativa alle note sulla versione di Spark 2.1.1.For more information, see Spark Release 2.1.1. ServiceService SparkSpark

04/06/2017 - Disponibilità generale di HDInsight 3.604/06/2017 - General availability of HDInsight 3.6

  • Con questa versione, Azure HDInsight aggiunge la versione 3.6, basata su HDP 2.6.With this release, Azure HDInsight adds version 3.6, which is based on HDP 2.6. Le note sulla versione di HDP 2.6 sono disponibili qui e altre informazioni sulle versioni di HDInsight sono disponibili qui.HDP 2.6 release notes are available here and more information on HDInsight versions can be found here. HDInsight 3.6 è disponibile per i carichi di lavoro seguenti:HDInsight 3.6 is available for the following workloads:

    • Hadoop v2.7.3Hadoop v2.7.3
    • HBase v1.1.2HBase v1.1.2
    • Storm v1.1.0Storm v1.1.0
    • Spark v2.1.0Spark v2.1.0
    • Interactive Hive v2.1.0Interactive Hive v2.1.0
  • Supporto per Hive View 2.0.Support for Hive View 2.0. Questa vista migliora l'esperienza utente in Interactive Hive.This should improve the user experience for Interactive Hive. Per altre informazioni, vedere la documentazione di Hortonworks.For more information, see Hortonworks documentation.

  • Miglioramenti delle prestazioni con Hive LLAP.Performance enhancements with Hive LLAP. Per altre informazioni, vedere la documentazione di Hortonworks.For more information, see Hortonworks documentation.

  • Nuove funzionalità di Hive.New features in Hive. Vedere la documentazione di Hortonworks.See Hortonworks documentation.

  • Interfaccia della riga di comandi di Hive deprecata: l'interfaccia della riga di comando di Hive verrà deprecata e si invita gli utenti a usare Beeline al suo posto.Hive CLI Deprecation: Hive CLI is being deprecated and customers are encouraged to use Beeline instead. Per altre informazioni, vedere la documentazione Apache.For more information, see Apache documentation. Per istruzioni su come usare Beeline con HDInsight, vedere Use Beeline with HDInsight Hadoop clusters (Usare Beeline con i cluster Hadoop HDInsight).For instructions on how to use Beeline with HDInsight, see Use Beeline with HDInsight Hadoop clusters.

  • Nuove funzionalità di Apache Phoenix e HBase.New features in Apache Phoenix and HBase.

    • Supporto di quota di archiviazione: comunemente usato negli ambienti multi-tenant, consente uno spazio di archiviazione limitato a livello di tabella e di spazio dei nomi.Storage quota support: Commonly used in multi-tenant environments, allowing limited storage space on a per table and per namespace level.
    • Miglioramenti di indicizzazione Phoenix: creazione dell'indice incrementale e ricompilazione o ripresa dell'indicizzazione da errori precedenti.Phoenix indexing improvements: Incremental index creation and rebuild/resume indexing from previous failures.
    • Strumento di integrità dei dati di Phoenix: supporta la convalida di schema, indice e altri metadati.Phoenix data integrity tool: Supports validation of schema, index, and other metadata.
  • Problema con HBase: durante l'esecuzione di un processo MapReduce di caricamento in massa di CSV, la sintassi seguente potrebbe causare un errore.Issue with HBase: While running a CSV bulk upload MapReduce job, the following syntax might result in an error.

      HADOOP_CLASSPATH=$(hbase mapredcp):/path/to/hbase/conf hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv
    

    Usare invece la sintassi seguente:Use the following syntax instead:

      HADOOP_CLASSPATH=/path/to/hbase-protocol.jar:/path/to/hbase/conf hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv
    

02/28/2017 - Versione di Spark 2.1 in HDInsight 3.6 (Anteprima)02/28/2017 - Release of Spark 2.1 on HDInsight 3.6 (Preview)

  • Spark 2.1 risolve i molti problemi relativi a usabilità e stabilità riscontrati con le versioni precedenti.Spark 2.1 improves many stability and usability issues with previous versions. Offre anche nuove funzionalità in tutti i carichi di lavoro di Spark, ad esempio Spark Core, SQL, ML e Streaming.It also brings new features across all Spark workloads, such as Spark Core, SQL, ML, and Streaming.
  • Streaming strutturati presentano una migliore scalabilità con il supporto per soglie di tempo dell'evento e con il connettore Kafka 0.10.Structured Streaming gets improved scalability with support for event time watermarks and Kafka 0.10 connector.
  • Il partizionamento Spark SQL viene ora gestito usando il nuovo meccanismo di gestione di partizioni scalabili.Spark SQL partitioning is now handled using new Scalable Partition Handling mechanism. Per altre informazioni su come eseguire l'aggiornamento, vedere qui.See more details here on how to upgrade.
  • Spark 2.1 in Azure HDInsight 3.6 Preview attualmente non supporta la connettività degli strumenti di Business Intelligence tramite il driver ODBC.Spark 2.1 on Azure HDInsight 3.6 Preview currently does not support BI Tool connectivity using ODBC driver.
  • L'accesso di Azure Data Lake Store dai cluster Spark 2.1 non è supportato in questa versione di anteprima.Azure Data Lake Store access from Spark 2.1 clusters is not supported in this Preview.

11/18/2016 - Versione di Spark 2.0.1 in HDInsight 3.511/18/2016 - Release of Spark 2.0.1 on HDInsight 3.5

Spark 2.0.1 è ora disponibile in cluster Spark (HDInsight versione 3.5).Spark 2.0.1 is now available on Spark clusters (HDInsight version 3.5).

11/16/2016 - Versione di R Server 9.0 in HDInsight 3.5 (Spark 2.0)11/16/2016 - Release of R Server 9.0 on HDInsight 3.5 (Spark 2.0)

  • Nei cluster R Server è ora possibile scegliere due versioni: R Server 9.0 in HDI 3.5 (Spark 2.0) e R Server 8.0 in HDI 3.4 (Spark 1.6).R Server clusters now include the option for two versions: R Server 9.0 on HDI 3.5 (Spark 2.0) and R Server 8.0 on HDI 3.4 (Spark 1.6).
  • R Server 9.0 in HDI 3.5 (Spark 2.0) si basa su R 3.3.2 e include nuove funzioni di origine dati per ScaleR, denominate RxHiveData e RxParquetData, per il caricamento diretto di dati da Hive e Parquet a frame di dati Spark per l'analisi in ScaleR.R Server 9.0 on HDI 3.5 (Spark 2.0) is built on R 3.3.2 and includes new ScaleR data source functions called RxHiveData and RxParquetData for loading data from Hive and Parquet directly to Spark DataFrames for analysis by ScaleR. Per altre informazioni su queste funzioni, vedere la guida in linea di R usando i comandi ?RxHiveData e ?RxParquetData.For more information, see the inline help on these functions in R through use of the ?RxHiveData and ?RxParquetData commands.
  • RStudio Server Community Edition è ora installato per impostazione predefinita (con possibilità di rifiuto esplicito) nel pannello Configurazione cluster, nell'ambito del flusso di provisioning.RStudio Server community edition is now installed by default (with an opt-out option) on the Cluster Configuration blade as part of the provisioning flow.

11/09/2016 - Versione di Spark 2.0 in HDInsight11/09/2016 - Release of Spark 2.0 on HDInsight

  • I cluster Spark 2.0 in HDInsight 3.5 supportano ora servizi Livy e Jupyter.Spark 2.0 clusters on HDInsight 3.5 now support Livy and Jupyter services.

10/26/2016 - Versione di R Server in HDInsight10/26/2016 - Release of R Server on HDInsight

  • L'URI per l'accesso a nodi perimetrali è stato modificato in nomecluster-ed-ssh.azurehdinsight.netThe URI for edge node access has changed to clustername-ed-ssh.azurehdinsight.net
  • Il provisioning del cluster R Server in HDInsight è stato semplificato.R Server on HDInsight cluster provisioning has been streamlined.
  • R Server in HDInsight ora è disponibile come normale tipo di cluster "R Server" in HDInsight e non viene più installato come applicazione HDInsight separata.R Server on HDInsight is now available as regular HDInsight "R Server" cluster type and no longer installed as a separate HDInsight application. Il provisioning del nodo perimetrale e dei file binari di R Server ora viene effettuato durante la distribuzione del cluster R Server.The edge node and R Server binaries are now provisioned as part of the R Server cluster deployment. In questo modo il provisioning è più veloce e affidabile.This improves speed and reliability of provisioning. Il modello di determinazione prezzi per R Server viene aggiornato di conseguenza.Pricing model for R Server is updated accordingly.
  • Il prezzo del tipo di cluster R Server ora corrisponde al prezzo del piano Standard più la maggiorazione per R Server.R Server cluster type price is now based on Standard tier price plus R Server surcharge price. Il piano Premium è riservato alle funzionalità Premium disponibili in tipi di cluster diversi e non viene usato per il tipo di cluster R Server.Premium tier is reserved for Premium features available across different cluster types and isn't used for R Server cluster type. Questa modifica non ha effetto sul prezzo effettivo di R Server. Cambia solo il modo in cui gli addebiti vengono presentati nella fattura.This change doesn't affect effective pricing of R Server; it changes only how the charges are presented in the bill. Tutti i cluster R Server esistenti e i modelli di Azure Resource Manager continuano a funzionare fino all'avviso di funzionalità deprecata.All existing R Server clusters continue to work and Resource Manager templates continue to function until deprecation notice. È tuttavia consigliabile aggiornare le distribuzioni con script per l'uso del nuovo modello di Resource Manager.It is recommended though to update your scripted deployments to use new Resource Manager template.