Gestire cluster Hadoop in HDInsight tramite il portale di Azure

Il portale di Azure consente di gestire cluster Hadoop in Azure HDInsight. Usare il selettore di schede per informazioni sulla gestione di cluster Hadoop in HDInsight con altri strumenti.

Prerequisiti

Per eseguire le procedure descritte nell'articolo è necessario:

Aprire il portale

  1. Accedere a https://portal.azure.com.
  2. Dopo avere aperto il portale, è possibile:

    • Scegliere Nuovo dal menu di sinistra per creare un nuovo cluster:

      Pulsante Nuovo cluster HDInsight

    • Fare clic su Cluster HDInsight dal menu a sinistra per elencare i cluster esistenti

      Pulsante Cluster HDInsight del portale di Azure

      Se non viene visualizzato il cluster HDInsight, fare clic su More services (Altri servizi) in fondo all'elenco, quindi fare clic su cluster HDInsight nella sezione Intelligence e analisi.

Creare i cluster

Avviso

La fatturazione dei cluster HDInsight viene calcolata al minuto, indipendentemente dal fatto che siano in uso o meno. Assicurarsi di eliminare il cluster dopo aver finito di usarlo. Per altre informazioni, vedere l'articolo su come eliminare un cluster HDInsight.

HDInsight è compatibile con una vasta gamma di componenti Hadoop. Per l'elenco dei componenti verificati e supportati, vedere Versione di Hadoop inclusa in Azure HDInsight. Per informazioni generali sulla creazione di cluster, vedere Creare cluster Hadoop basati su Linux in HDInsight.

Requisiti di controllo di accesso

Quando si crea un cluster HDInsight, è necessario specificare una sottoscrizione di Azure. È possibile creare il cluster in un nuovo gruppo di risorse di Azure o un gruppo di risorse esistente. È possibile usare la procedura seguente per verificare le autorizzazioni per la creazione di cluster HDInsight:

  • Per usare un gruppo di risorse esistente.

    1. Accedere al portale di Azure.
    2. Fare clic su Gruppi di risorse dal menu a sinistra per elencare i gruppi di risorse.
    3. Fare clic sul gruppo di risorse da usare per la creazione del cluster HDInsight.
    4. Fare clic su Controllo di accesso (IAM) e verificare di avere almeno l'accesso come collaboratore per il gruppo di risorse, se non personale, del gruppo al quale si appartiene.
  • Per creare un nuovo gruppo di risorse

    1. Accedere al portale di Azure.
    2. Fare clic su Sottoscrizione dal menu a sinistra. Viene visualizzata un'icona gialla a forma di chiave. Verrà visualizzato un elenco di sottoscrizioni.
    3. Fare clic sulla sottoscrizione che verrà usate per creare l cluster.
    4. Fare clic su Autorizzazioni personali. Viene visualizzato il ruolo dell'utente nella sottoscrizione. Per creare cluster HDInsight è necessario almeno l'accesso come collaboratore.

Se si riceve l'errore NoRegisteredProviderFound o l'errore MissingSubscriptionRegistration, vedere Risolvere errori comuni durante la distribuzione di risorse in Azure con Azure Resource Manager.

Elencare e visualizzare i cluster

  1. Accedere a https://portal.azure.com.
  2. Fare clic su Cluster HDInsight nel menu a sinistra per elencare i cluster esistenti.
  3. Fare clic sul nome del cluster. Se l'elenco di cluster è lungo, è possibile utilizzare il filtro nella parte superiore della pagina.
  4. Fare clic su un cluster nell'elenco per visualizzare la pagina della panoramica:

    Informazioni di base sul cluster HDInsight del Portale di Azure

    Menu della panoramica:

    • Dashboard: consente di aprire il dashboard del cluster, ovvero Ambari Web per i cluster basati su Linux.
    • Secure Shell: mostra le istruzioni per la connessione al cluster tramite connessione Secure Shell (SSH).
    • Scala Cluster: consente di modificare il numero di nodi del ruolo di lavoro per questo cluster.
    • Elimina: elimina il cluster.

      Menu a sinistra:

    • Log attività: visualizza ed effettua una query dei log attività.

    • Controllo di accesso (IAM): usa le assegnazioni di ruolo. Vedere Usare le assegnazioni di ruolo per gestire l'accesso alle risorse della sottoscrizione di Azure.
    • Tag: consente di impostare coppie chiave/valore per definire una tassonomia dei servizi cloud personalizzata. Ad esempio, è possibile creare una chiave denominata progettoe usare un valore comune per tutti i servizi associati a un progetto specifico.
    • Diagnostica e risoluzione dei problemi: visualizza informazioni per la risoluzione dei problemi.
    • Blocchi: aggiunge un blocco per impedire la modifica o l'eliminazione del cluster.
    • Script di automazione: visualizza ed esporta il modello di Azure Resource Manager per il cluster. Attualmente è possibile esportare solo l'account di archiviazione di Azure dipendente. Vedere Creare cluster Hadoop basati su Linux in HDInsight tramite modelli di Azure Resource Manager.
    • Avvio rapido: visualizza le informazioni che consentiranno di iniziare a usare HDInsight.
    • Strumenti per HDInsight: informazioni della Guida per gli strumenti correlati a HDInsight.
    • Account di accesso del cluster: visualizza le informazioni di accesso del cluster.
    • Utilizzo di core della sottoscrizione: visualizza i core usati e disponibili per la sottoscrizione.
    • Ridimensiona cluster: aumenta e diminuisce il numero di nodi di lavoro del cluster. Vedere Ridimensionare i cluster.
    • Secure Shell: mostra le istruzioni per la connessione al cluster tramite connessione Secure Shell (SSH). Per altre informazioni, vedere Usare SSH con HDInsight.
    • Partner HDInsight: aggiunge/rimuove il Partner HDInsight corrente.
    • Metastore esterni: visualizza i metastore Hive e Oozie. I metastore possono essere configurati solo durante il processo di creazione dei cluster. Vedere Usare metastore Hive/Oozie.
    • Azioni script: esegue script Bash nel cluster. Vedere Personalizzare cluster HDInsight basati su Linux tramite Azione script.
    • Applicazioni: aggiungere/rimuovere applicazioni HDInsight. Vedere Installare applicazioni HDInsight personalizzate.
    • Proprietà: visualizza le proprietà del cluster.
    • Account di archiviazione: visualizza gli account di archiviazione e le chiavi. Gli account di archiviazione vengono configurati durante il processo di creazione dei cluster.
    • Identità AAD cluster:
    • Nuova richiesta di supporto: consente di creare un ticket di supporto con il supporto Microsoft.
  5. Fare clic su Proprietà:

    Le proprietà sono:

    • Nome host: nome del cluster.
    • URL cluster. URL per l'interfaccia Web Ambari.
    • Stato: include Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timedout, DeleteQueued, DeleteTimedout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued, ClusterCustomization
    • Area: località di Azure. Per un elenco di località di Azure supportate, vedere l'elenco a discesa Area in Prezzi di HDInsight.
    • Dati creati.
    • Sistema operativo: Windows o Linux.
    • Tipo: Hadoop, HBase, Storm, Spark.
    • Versione. Vedere Versioni di HDInsight
    • Sottoscrizione: nome della sottoscrizione.
    • Origine dati predefinita: file system predefinito del cluster.
    • Worker nodes size (Dimensioni nodi di lavoro).
    • Dimensioni nodo head.

Eliminare cluster

L'eliminazione di un cluster non determinerà l'eliminazione dell'account di archiviazione predefinito o di qualsiasi account di archiviazione collegato. È possibile ricreare il cluster usando gli stessi account di archiviazione e gli stessi metastore. È consigliabile utilizzare un nuovo contenitore BLOB predefinito quando si ricrea il cluster.

  1. Accedere al portale.
  2. Scegliere Cluster HDInsight dal menu di sinistra. Se Cluster HDInsight non è visualizzato, prima fare clic su Altri servizi.
  3. Fare clic sul cluster che si vuole eliminare.
  4. Scegliere Elimina dal menu in alto e quindi seguire le istruzioni.

Vedere anche Sospendere/Arrestare i cluster.

Ridimensionare i cluster

La funzionalità di scalabilità del cluster consente di modificare il numero di nodi del ruolo di lavoro usati da un cluster in esecuzione in Azure HDInsight senza dover ricreare il cluster.

Nota

Sono supportati solo i cluster con HDInsight versione 3.1.3 o successive. Se non si è certi della versione del cluster, è possibile controllare la pagina delle proprietà. Vedere Elencare e visualizzare i cluster.

Questa sezione descrive l'impatto della modifica del numero di nodi dati per ogni tipo di cluster supportato da HDInsight:

  • Hadoop

    È possibile aumentare facilmente il numero di nodi del ruolo di lavoro in un cluster Hadoop in esecuzione senza conseguenze per eventuali processi in sospeso o in esecuzione. È inoltre possibile inviare nuovi processi mentre è in corso l'operazione. Gli errori in un'operazione di scalabilità vengono gestiti in modo che il cluster rimanga sempre in uno stato funzionale.

    Quando un cluster Hadoop viene ridimensionato riducendo il numero di nodi dati, alcuni dei servizi del cluster vengono riavviati. In questo modo, tutti i processi in esecuzione e in attesa daranno esito negativo dopo il completamento dell'operazione di ridimensionamento. È tuttavia possibile inviare nuovamente i processi una volta completata l'operazione.

  • HBase

    È possibile aggiungere o rimuovere facilmente nodi nel cluster HBase mentre è in esecuzione. I server a livello di area vengono bilanciati automaticamente entro pochi minuti dal completamento dell'operazione di ridimensionamento. È tuttavia possibile anche bilanciare manualmente i server a livello di area accedendo al nodo head del cluster ed eseguendo i comandi seguenti da una finestra del prompt dei comandi:

      >pushd %HBASE_HOME%\bin
      >hbase shell
      >balancer
    

    Per altre informazioni sull'uso della shell HBase, vedere []

  • Storm

    È possibile aggiungere o rimuovere facilmente nodi dati dal cluster Storm mentre è in esecuzione. Tuttavia, dopo il completamento dell'operazione di ridimensionamento, è necessario bilanciare nuovamente la topologia.

    A tale scopo, è possibile scegliere tra due opzioni:

    • Interfaccia utente Web di Storm
    • Interfaccia della riga di comando (CLI)

      Per altre informazioni, fare riferimento alla documentazione su Apache Storm .

      L'interfaccia utente Web di Storm è disponibile nel cluster HDInsight:

      Ribilanciamento di HDInsight Storm

      Di seguito viene fornito un esempio d'uso del comando CLI per ribilanciare la topologia di Storm:

      ## Reconfigure the topology "mytopology" to use 5 worker processes,
      ## the spout "blue-spout" to use 3 executors, and
      ## the bolt "yellow-bolt" to use 10 executors
      $ storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10
      

Per ridimensionare i cluster

  1. Accedere al portale.
  2. Scegliere Cluster HDInsight dal menu di sinistra.
  3. Fare clic sul cluster che si vuole ridimensionare.
  4. Fare clic su Ridimensiona cluster.
  5. Immettere il numero di nodi del ruolo di lavoro. Il limite al numero dei nodi del cluster varia tra le diverse sottoscrizioni di Azure. Per aumentare il limite, contattare il team del supporto fatturazione. Le informazioni sui costi rifletteranno le modifiche apportate al numero di nodi.

    Scalabilità di HDInsight Hadoop, HBase, Storm, Spark

Sospendere/Arrestare i cluster

La maggior parte dei processi Hadoop sono processi batch che vengono eseguito solo occasionalmente. La maggior parte dei cluster Hadoop non viene usata per l'elaborazione per lunghi periodi di tempo. Con HDInsight, i dati vengono archiviati in Archiviazione di Azure ed è possibile eliminare tranquillamente un cluster quando non viene usato. Vengono addebitati i costi anche per i cluster HDInsight che non sono in uso. Poiché i costi per il cluster sono decisamente superiori a quelli per l'archiviazione, economicamente ha senso eliminare i cluster quando non vengono usati.

Questo processo può essere programmato in molti modi:

Per informazioni sui prezzi, vedere Prezzi di HDInsight. Per eliminare un cluster dal portale, vedere Eliminare cluster

Modificare le password

Per un cluster HDInsight possono esistere due account utente. L'account utente del cluster HDInsight (anche noto come account utente HTTP) e l'account utente SSH vengono creati durante il processo di creazione. È possibile usare l'interfaccia utente Web di Ambari per modificare nome utente e password dell'account utente del cluster e le azioni script per modificare l'account utente SSH.

Modificare la password utente del cluster

Per modificare la password dell'utente del cluster, è possibile usare l'interfaccia utente Web di Ambari. Per accedere ad Ambari, è necessario usare il nome utente e la password esistenti del cluster.

Nota

Se si modifica la password utente del cluster (admin), è possibile che le azioni script eseguite sul cluster abbiano esito negativo. Nel caso in cui siano presenti azioni script persistenti che hanno come destinazione nodi di lavoro, queste potrebbero avere esito negativo se si aggiungono nodi al cluster mediante operazioni di ridimensionamento. Per altre informazioni sulle azioni script, vedere Personalizzare cluster HDInsight basati su Linux tramite Azione script.

  1. Accedere all'interfaccia utente Web di Ambari usando le credenziali utente del cluster HDInsight. Il nome utente predefinito è admin. L'URL è https://<Nome cluster HDInsight>azurehdinsight.net.
  2. Scegliere Admin (Amministratore) dal menu in alto e quindi fare clic su "Manage Ambari" (Gestisci Ambari).
  3. Scegliere Users(Utenti) dal menu a sinistra.
  4. Fare clic su Admin.
  5. Fare clic su Change Password(Modifica password).

Ambari modifica la password in tutti i nodi del cluster.

Modificare la password utente SSH

  1. Usando un editor di testo, salvare il testo seguente come file denominato changepassword.sh.

    Importante

    È necessario usare un editor che prevede LF come terminazione di riga. Se l'editor prevede CRLF, lo script non funzionerà.

     #! /bin/bash
     USER=$1
     PASS=$2
    
     usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER
    
  2. Caricare il file in un percorso di archiviazione a cui è possibile accedere da HDInsight con un indirizzo HTTP o HTTPS, ad esempio in un archivio di file pubblico come OneDrive o l'archiviazione BLOB di Azure. Salvare l'URI (indirizzo HTTP o HTTPS) nel file, poiché sarà necessario nel passaggio successivo.
  3. Nel portale di Azure fare clic su Cluster HDInsight.
  4. Fare clic sul cluster HDInsight.
  5. Fare clic su Azioni script.
  6. Nella pannello Azioni script selezionare Invia nuova. Quando viene visualizzato il pannello Invia azione script, immettere le informazioni seguenti.

    Campo Valore
    Nome Modifica password SSH
    URI script Bash L'URI per il file changepassword.sh
    Nodi (head, lavoro, Nimbus, Supervisor, Zookeeper, e così via) ✓ per tutti i tipi di nodo elencati
    Parametri Immettere il nome utente SSH e la nuova password. Deve essere presente uno spazio tra il nome utente e la password.
    Salvare questa azione script... Lasciare questo campo vuoto.
  7. Selezionare Crea per applicare lo script. Al termine dell'esecuzione dello script, sarà possibile usare la nuova password per connettersi al cluster tramite SSH.

Concedere/Revocare l'accesso

Per i cluster HDInsight sono disponibili i servizi Web HTTP seguenti (tutti con endpoint RESTful):

  • ODBC
  • JDBC
  • Ambari
  • Oozie
  • Templeton

Per impostazione predefinita, a questi servizi è concesso l'accesso. È possibile revocare/concedere l'accesso tramite l'interfaccia della riga di comando di Azure e Azure PowerShell.

Trovare l'ID sottoscrizione

Per trovare gli ID sottoscrizione di Azure

  1. Accedere al portale.
  2. Fare clic su Sottoscrizioni. Ogni sottoscrizione ha un nome e un ID.

Ogni cluster è associato a una sottoscrizione di Azure. L'ID sottoscrizione viene visualizzato nel riquadro Informazioni di base del cluster. Vedere Elencare e visualizzare i cluster.

Trovare il gruppo di risorse

In modalità Azure Resource Manager ogni cluster HDInsight viene creato con un gruppo di Azure Resource Manager. Il gruppo di Resource Manager a cui appartiene un cluster viene visualizzato in:

  • Colonna Gruppo di risorse dell'elenco di cluster.
  • Riquadro Informazioni di base del cluster.

Vedere Elencare e visualizzare i cluster.

Trovare l'account di archiviazione predefinito

Ogni cluster HDInsight ha un account di archiviazione predefinito. L'account di archiviazione predefinito e le relative chiavi per un cluster vengono visualizzati in Account di archiviazione. Vedere Elencare e visualizzare i cluster.

Eseguire query Hive

Non è possibile eseguire il processo Hive direttamente dal portale di Azure, ma è possibile usare la vista Hive nell'interfaccia utente Web di Ambari.

Per eseguire query Hive usando la vista Hive di Ambari

  1. Accedere all'interfaccia utente Web di Ambari usando le credenziali utente del cluster HDInsight. Il nome utente predefinito è admin. L'URL è https://<Nome cluster HDInsight>azurehdinsight.net.
  2. Aprire Hive View (vista Hive) come illustrato nella schermata seguente:

    Vista Hive di HDInsight

  3. Scegliere Query dal menu in alto.
  4. Immettere una query Hive in Editor query e quindi fare clic su Esegui.

Monitorare i processi

Vedere Gestire i cluster HDInsight mediante l'utilizzo dell'interfaccia utente Web Ambari.

Ricerca dei file

Tramite il portale di Azure è possibile esplorare il contenuto del contenitore predefinito.

  1. Accedere a https://portal.azure.com.
  2. Fare clic su Cluster HDInsight nel menu a sinistra per elencare i cluster esistenti.
  3. Fare clic sul nome del cluster. Se l'elenco di cluster è lungo, è possibile utilizzare il filtro nella parte superiore della pagina.
  4. Scegliere Account di archiviazione dal menu a sinistra del cluster.
  5. Fare clic su un account di archiviazione.
  6. Fare clic sul riquadro BLOB .
  7. Fare clic sul nome del contenitore predefinito.

Monitorare l'utilizzo del cluster

La sezione Utilizzo del pannello relativo al cluster HDInsight contiene informazioni sul numero di memorie centrali disponibili per la sottoscrizione da usare con HDInsight, il numero di memorie centrali allocate al cluster e il modo in cui vengono allocate per i nodi nel cluster. Vedere Elencare e visualizzare i cluster.

Importante

Per monitorare i servizi forniti dal cluster HDInsight, è necessario utilizzare Ambari Web o l'API REST di Ambari. Per altre informazioni sull'uso di Ambari, vedere Gestire i cluster HDInsight tramite Ambari

Connettersi a un cluster

Passaggi successivi

In questo articolo è stato illustrato come creare un cluster HDInsight tramite il portale, e come aprire lo strumento da riga di comando di Hadoop. Per altre informazioni, vedere gli articoli seguenti: