Lavorare all'interno dell'ecosistema Hadoop in HDInsight da un computer Windows

Informazioni sulle opzioni di sviluppo e gestione sul computer Windows per lavorare nell'ecosistema di Hadoop in HDInsight.

HDInsight si basa su componenti Apache Hadoop e Hadoop, tecnologie open source sviluppate in Linux. HDInsight 3.4 e versioni successive usa la distribuzione Ubuntu Linux come sistema operativo sottostante per il cluster. Tuttavia, è possibile lavorare con HDInsight da un client Windows o l'ambiente di sviluppo Windows.

Usare PowerShell per attività di distribuzione e gestione

Azure PowerShell è un ambiente di scripting che può essere usato per controllare e automatizzare attività di distribuzione e gestione in HDInsight da Windows.

Esempi di attività che è possibile eseguire con PowerShell:

Attenersi alla procedura installare e configurare Azure Powershell per ottenere la versione più recente. Se sono presenti script che devono essere modificati per l'uso dei nuovi cmdlet per Azure Resource Manager, vedere Migrare a strumenti di sviluppo basati su Azure Resource Manager per i cluster HDInsight.

Utilità che è possibile eseguire in un browser

Le seguenti utilità hanno un'interfaccia utente Web che viene eseguita in un browser:

Strumenti Data Lake (Hadoop) per Visual Studio

Usare gli strumenti Data Lake per Visual Studio per distribuire e gestire topologie Storm. Gli strumenti Data Lake installano anche SCP.NET SDK, che consente di sviluppare topologie Storm C# con Visual Studio.

Prima di passare agli esempi seguenti, installare e provare gli strumenti Data Lake per Visual Studio.

Esempi di attività che è possibile eseguire con Visual Studio e gli strumenti Data Lake per Visual Studio:

Visual Studio e .NET SDK

È possibile usare Visual Studio con .NET SDK per gestire i cluster e sviluppare applicazioni Big Data. È possibile usare altri IDE per le attività seguenti, ma gli esempi presentati sono in Visual Studio.

Esempi di attività che è possibile eseguire con .NET SDK in Visual Studio:

SUGGERIMENTO Se si eseguono soluzioni .NET con cluster HDInsight basati su Windows, è opportuno pianificare una migrazione verso cluster basati su Linux. Per altre informazioni, vedere Migrare una soluzione .NET per HDInsight basato su Windows a HDInsight basato su Linux.

Intellij IDEA e IDE di Eclipse per cluster Spark

È possibile usare sia Intellij IDEA che l'IDE di Eclipse per:

  • Sviluppare e inviare un'applicazione Spark in Scala in un cluster HDInsight Spark.
  • Accedere a risorse cluster di Spark.
  • Sviluppare ed eseguire un'applicazione Spark in Scala localmente.

Questi articoli mostrano come:

Notebook su Spark per data scientist

I cluster Apache Spark in HDInsight includono notebook e kernel Zeppelin che possono essere usati con notebook Jupyter.

Eseguire strumenti e tecnologie basate su Linux in Windows

Se si verifica una situazione in cui è necessario usare uno strumento o una tecnologia che è disponibile solo in Linux, considerare le opzioni seguenti:

  • Bash (beta) in Windows 10 fornisce un sottosistema Linux in Windows. Bash consente di eseguire direttamente le utilità di Linux senza dover gestire un'installazione di Linux dedicata. Installare ed eseguire la versione beta di Bash in Windows 10
  • Docker per Windows fornisce l'accesso a molti strumenti basati su Linux e può essere eseguito direttamente da Windows. Ad esempio è possibile usare Docker per eseguire il client Beeline per Hive direttamente da Windows. È possibile inoltre usare Docker per eseguire un notebook Jupyter locale e connettersi da remoto a Spark in HDInsight. Introduzione a Docker per Windows
  • MobaXTerm consente di visualizzare graficamente il file system del cluster tramite una connessione SSH.

Passaggi successivi

Se non si ha familiarità con l'uso dei cluster basati su Linux, vedere gli articoli seguenti: