Usare Azioni script per installare pacchetti Python esterni per notebook di Jupyter in cluster Apache Spark in HDInsight

Vengono fornite informazioni su come usare le azioni script per configurare un cluster Apache Spark in HDInsight (Linux) per l'uso di pacchetti python esterni creati dalla community non inclusi e non immediatamente disponibili nel cluster.

Nota

È anche possibile configurare un notebook di Jupyter con il comando Magic %%configure per usare pacchetti esterni. Per istruzioni, vedere Usare pacchetti esterni con notebook di Jupyter nei cluster Apache Spark in HDInsight.

Per un elenco completo dei pacchetti disponibili, è possibile eseguire una ricerca nell'indice di pacchetto. È anche possibile ottenere un elenco dei pacchetti disponibili da altre origini. È possibile ad esempio installare pacchetti resi disponibili tramite Anaconda o conda-forge.

Questo articolo descrive come installare il pacchetto TensorFlow usando azioni script nel cluster e come usarlo tramite notebook di Jupyter.

Prerequisiti

È necessario disporre di quanto segue:

Usare pacchetti esterni con i notebook Jupyter

  1. Dalla Schermata iniziale del portale di Azurefare clic sul riquadro del cluster Spark (se è stato aggiunto sulla Schermata iniziale). È anche possibile passare al cluster da Esplora tutto > Cluster HDInsight.

  2. Nel pannello del cluster Spark fare clic su Azioni script in Utilizzo. Eseguire l'azione personalizzata per installare TensorFlow nei nodi head e nei nodi del ruolo di lavoro. Per informazioni sullo script Bash, fare riferimento al sito https://hdiconfigactions.blob.core.windows.net/linuxtensorflow/tensorflowinstall.sh. Vedere la documentazione su come usare le azioni script personalizzate.

    Nota

    Nel cluster sono presenti due installazioni di Python. Spark userà l'installazione Anaconda Python che si trova in /usr/bin/anaconda/bin. Fare riferimento a tale installazione nelle azioni personalizzate tramite /usr/bin/anaconda/bin/pip e /usr/bin/anaconda/bin/conda.

  3. Aprire un notebook PySpark Jupyter

    Creare un nuovo notebook Jupyter

  4. Un nuovo notebook verrà creato e aperto con il nome Untitled.pynb. Fare clic sul nome del notebook nella parte superiore e immettere un nome descrittivo.

    Specificare un nome per il notebook

  5. A questo punto verranno eseguiti il codice relativo a import tensorflow e l'esempio di tipo hello world.

    Codice da copiare:

     import tensorflow as tf
     hello = tf.constant('Hello, TensorFlow!')
     sess = tf.Session()
     print(sess.run(hello))
    

    Il risultato avrà l'aspetto seguente:

    Esecuzione del codice TensorFlow

Vedere anche

Scenari

Creare ed eseguire applicazioni

Strumenti ed estensioni

Gestire risorse