Creare un cluster Hadoop con account di archiviazione con trasferimento sicuro in Azure HDInsight

La funzionalità Trasferimento sicuro obbligatorio aumenta la sicurezza dell'account di archiviazione di Azure perché consente l'invio di tutte le richieste all'account solo tramite connessioni sicure. Questa funzionalità e lo schema wasbs sono supportati solo dal cluster HDInsight versione 3.6 o successiva.

Nota

La creazione di cluster con account di archiviazione con trasferimento sicuro abilitato tramite .NET SDK non è attualmente supportata. La soluzione alternativa consiste nell'impostare "wasbs" nella proprietà "fs.defaultFS" della configurazione core-site come parte di ClusterCreateParametersExtended.

Prerequisiti

Prima di iniziare questa esercitazione, è necessario avere:

Avviso

La fatturazione dei cluster HDInsight viene calcolata al minuto, indipendentemente dal fatto che siano in uso o meno. Assicurarsi di eliminare il cluster dopo aver finito di usarlo. Per altre informazioni, vedere l'articolo su come eliminare un cluster HDInsight.

In questa sezione viene creato un cluster Hadoop in HDInsight usando un modello di Azure Resource Manager. Il modello è disponibile in Gibhub. Per questa esercitazione non è necessario conoscere il modello di Resource Manager. Per altri metodi di creazione di cluster e per informazioni sulle proprietà usate in questa esercitazione, vedere Creare cluster HDInsight.

  1. Fare clic sull'immagine seguente per accedere ad Azure e aprire il modello di Resource Manager nel portale di Azure.

    Deploy to Azure

  2. Seguire le istruzioni per creare il cluster con le specifiche seguenti:

    • Specificare HDInsight versione 3.6. La versione predefinita è 3.5. È necessaria la versione 3.6 o successiva.
    • Specificare un account di archiviazione con trasferimento sicuro abilitato.
    • Usare un nome breve per l'account di archiviazione.
    • È necessario creare prima l'account di archiviazione e il contenitore BLOB.

      Per le istruzioni, vedere Creare cluster.

Se si usa l'azione di script per fornire i file di configurazione, è necessario usare wasbs nelle impostazioni seguenti:

  • fs.defaultFS (core-site)
  • spark.eventLog.dir
  • spark.history.fs.logDirectory

Aggiungere altri account di archiviazione

Sono disponibili diverse opzioni per aggiungere altri account di archiviazione con trasferimento sicuro abilitato:

  • Modificare il modello di Azure Resource Manager nell'ultima sezione.
  • Creare un cluster usando il portale di Azure e specificare l'account di archiviazione collegato.
  • Usare l'azione script per aggiungere altri account di archiviazione con trasferimento sicuro abilitato a un cluster HDInsight esistente. Per altre informazioni, vedere Aggiungere altri account di archiviazione a HDInsight.

Passaggi successivi

In questa esercitazione si è appreso come creare un cluster HDInsight e abilitare il trasferimento sicuro per gli account di archiviazione.

Per altre informazioni sull'analisi dei dati con HDInsight, vedere gli articoli seguenti:

Per altre informazioni sulle modalità di archiviazione dei dati in HDInsight o sull'importazione dei dati in HDInsight, vedere gli articoli seguenti:

Per altre informazioni sulla creazione o la gestione di un cluster HDInsight, vedere gli articoli seguenti:

  • Per altre informazioni sulla gestione di cluster HDInsight basati su Linux, vedere Gestire i cluster HDInsight tramite Ambari.
  • Per altre informazioni sulle opzioni che è possibile selezionare durante la creazione di un cluster HDInsight, vedere Creare cluster Hadoop basati su Linux in HDInsight.
  • Se si ha familiarità con Linux e Hadoop ma si vogliono informazioni specifiche su Hadoop in HDInsight, vedere Uso di HDInsight in Linux. In questo articolo sono disponibili informazioni quali:

    • URL per i servizi ospitati nel cluster, ad esempio Ambari e WebHCat
    • Il percorso del file Hadoop e gli esempi nel file system locale
    • L'utilizzo di archiviazione di Azure (WASB) anziché di HDFS come archivio predefinito di dati