Kurz: Vytvoření Apache Spark aplikací pro cluster HDInsight pomocí Azure Toolkit for IntelliJTutorial: Use Azure Toolkit for IntelliJ to create Apache Spark applications for HDInsight cluster

V tomto kurzu se dozvíte, jak používat modul plug-in Azure Toolkit for IntelliJ k vývoji Apache Spark aplikací napsaných v Scalaa pak je odeslat do clusteru HDInsight Spark přímo z integrovaného vývojového prostředí (IDE) IntelliJ.This tutorial demonstrates how to use the Azure Toolkit for IntelliJ plug-in to develop Apache Spark applications written in Scala, and then submit them to an HDInsight Spark cluster directly from the IntelliJ integrated development environment (IDE). Modul plug-in můžete použít několika způsoby:You can use the plug-in in a few ways:

  • Vývoj a odesílání aplikace Scala Spark v clusteru HDInsight Spark.Develop and submit a Scala Spark application on an HDInsight Spark cluster.
  • Přístup k prostředkům Azure HDInsight Spark clusteru.Access your Azure HDInsight Spark cluster resources.
  • Vývoj a spouštění aplikace Scala Spark lokálněDevelop and run a Scala Spark application locally.

V tomto kurzu se naučíte:In this tutorial, you learn how to:

  • Použití modulu plug-in Azure Toolkit for IntelliJUse the Azure Toolkit for IntelliJ plug-in
  • Vývoj aplikací Apache SparkDevelop Apache Spark applications
  • Odeslat aplikaci do clusteru Azure HDInsightSubmit application to Azure HDInsight cluster

PožadavkyPrerequisites

Instalace modulu plug-in Scala pro IntelliJ IDEAInstall Scala plugin for IntelliJ IDEA

K instalaci modulu plug-in Scala proveďte následující kroky:Perform the following steps to install the Scala plugin:

  1. Otevřete IntelliJ IDEA.Open IntelliJ IDEA.

  2. Na úvodní obrazovce přejděte na Konfigurace > modulů plug- in a otevřete okno moduly plug-in .On the welcome screen, navigate to Configure > Plugins to open the Plugins window.

    IntelliJ nápad povolit modul plug-in Scala

  3. Vyberte nainstalovat pro modul plug-in Scala, který je vybraný v novém okně.Select Install for the Scala plugin that is featured in the new window.

    IntelliJ nápad nainstalovat modul plug-in Scala

  4. Po úspěšné instalaci modulu plug-in je potřeba restartovat integrované vývojové prostředí (IDE).After the plugin installs successfully, you must restart the IDE.

Vytvoření aplikace Spark Scala pro cluster HDInsight SparkCreate a Spark Scala application for an HDInsight Spark cluster

  1. Spusťte IntelliJ nápad a výběrem vytvořit nový projekt otevřete okno Nový projekt .Start IntelliJ IDEA, and select Create New Project to open the New Project window.

  2. V levém podokně vyberte Azure Spark/HDInsight .Select Azure Spark/HDInsight from the left pane.

  3. V hlavním okně vyberte projekt Spark (Scala) .Select Spark Project (Scala) from the main window.

  4. V rozevíracím seznamu Nástroj sestavení vyberte jednu z následujících možností:From the Build tool drop-down list, select one of the following:

    • Maven for Scala – Průvodce vytvořením projektu – podpora.Maven for Scala project-creation wizard support.

    • SBT pro správu závislostí a sestavení projektu Scala.SBT for managing the dependencies and building for the Scala project.

      IntelliJ nápad – nový projekt – dialogové okno

  5. Vyberte Další.Select Next.

  6. V okně Nový projekt zadejte následující informace:In the New Project window, provide the following information:

    VlastnostProperty PopisDescription
    Název projektuProject name Zadejte název.Enter a name. Tento kurz používá oblast myApp.This tutorial uses myApp.
    Umístění projektuProject location Zadejte požadované umístění pro uložení projektu.Enter the desired location to save your project.
    Projektový SDKProject SDK Tato situace může být prázdná při prvním použití NÁPADu.This might be blank on your first use of IDEA. Vyberte Nový... a přejděte k JDK.Select New... and navigate to your JDK.
    Verze SparkuSpark Version Průvodce vytvořením integruje správnou verzi sady Spark SDK a Scala SDK.The creation wizard integrates the proper version for Spark SDK and Scala SDK. Pokud je verze clusteru Spark nižší než 2.0, vyberte Spark 1.x.If the Spark cluster version is earlier than 2.0, select Spark 1.x. V opačném případě vyberte Spark 2.x.Otherwise, select Spark2.x. V tomto příkladu se používá Spark 2.3.0 (Scala 2.11.8) .This example uses Spark 2.3.0 (Scala 2.11.8).

    Výběr sady Apache Spark SDK

  7. Vyberte Finish (Dokončit).Select Finish. Může to trvat několik minut, než bude projekt k dispozici.It may take a few minutes before the project becomes available.

  8. Projekt Spark automaticky vytvoří artefakt za vás.The Spark project automatically creates an artifact for you. Chcete-li zobrazit artefakt, postupujte následovně:To view the artifact, do the following:

    a.a. Z řádku nabídek přejděte na soubor > struktura projektu... .From the menu bar, navigate to File > Project Structure....

    b.b. V okně struktura projektu vyberte artefakty.From the Project Structure window, select Artifacts.

    c.c. Po zobrazení artefaktu vyberte Zrušit .Select Cancel after viewing the artifact.

    Informace o artefaktu v dialogovém okně

  9. Svůj zdrojový kód aplikace přidejte následujícím způsobem:Add your application source code by doing the following:

    a.a. Z projektu přejděte na MyApp > Src > Main > Scala.From Project, navigate to myApp > src > main > scala.

    b.b. Klikněte pravým tlačítkem na Scalaa potom přejděte k nové > třídě Scala.Right-click scala, and then navigate to New > Scala Class.

    Příkazy pro vytvoření třídy Scala z projektu

    c.c. V dialogovém okně vytvořit novou třídu Scala zadejte název, vyberte objekt v rozevíracím seznamu typ a pak vyberte OK.In the Create New Scala Class dialog box, provide a name, select Object in the Kind drop-down list, and then select OK.

    Dialogové okno vytvořit novou třídu Scala

    d.d. Soubor MyApp. Scala se pak otevře v hlavním zobrazení.The myApp.scala file then opens in the main view. Nahraďte výchozí kód následujícím kódem, který najdete níže:Replace the default code with the code found below:

     import org.apache.spark.SparkConf
     import org.apache.spark.SparkContext
    
     object myApp{
         def main (arg: Array[String]): Unit = {
         val conf = new SparkConf().setAppName("myApp")
         val sc = new SparkContext(conf)
    
         val rdd = sc.textFile("wasbs:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
    
         //find the rows that have only one digit in the seventh column in the CSV file
         val rdd1 =  rdd.filter(s => s.split(",")(6).length() == 1)
    
         rdd1.saveAsTextFile("wasbs:///HVACOut")
         }
    
     }
    

    Kód přečte data z TVK. CSV (k dispozici ve všech clusterech HDInsight Spark), načte řádky obsahující pouze jednu číslici v sedmé sloupci v souboru CSV a zapíše výstup do /HVACOut výchozího kontejneru úložiště pro cluster.The code reads the data from HVAC.csv (available on all HDInsight Spark clusters), retrieves the rows that have only one digit in the seventh column in the CSV file, and writes the output to /HVACOut under the default storage container for the cluster.

Připojení ke clusteru HDInsightConnect to your HDInsight cluster

Uživatel se může přihlásit k předplatnému Azurenebo propojit cluster HDInsight s použitím Ambari uživatelského jména/hesla nebo přihlašovacích údajů připojených k doméně pro připojení ke clusteru HDInsight.User can either sign in to Azure subscription, or link a HDInsight cluster using Ambari username/password or domain joined credential to connect to your HDInsight cluster.

Přihlaste se ke svému předplatnému Azure.Sign in to your Azure subscription

  1. V řádku nabídek přejděte k zobrazení > nástrojů Windows > Azure Explorer.From the menu bar, navigate to View > Tool Windows > Azure Explorer.

    IntelliJ nápad zobrazit Průzkumníka Azure

  2. V Průzkumníku Azure klikněte pravým tlačítkem na uzel Azure a pak vyberte Přihlásitse.From Azure Explorer, right-click the Azure node, and then select Sign In.

    Průzkumník nápadů pro IntelliJ klikněte pravým tlačítkem myši na Azure.

  3. V dialogovém okně přihlášení do Azure zvolte přihlášení k zařízenía pak vyberte Přihlásitse.In the Azure Sign In dialog box, choose Device Login, and then select Sign in.

    IntelliJ se přihlásit k přihlašovacímu zařízení Azure

  4. V dialogovém okně přihlášení k zařízení Azure klikněte na Kopírovat & otevřít.In the Azure Device Login dialog box, click Copy&Open.

    IntelliJ nápad – přihlášení k zařízení Azure

  5. V rozhraní prohlížeče vložte kód a potom klikněte na tlačítko Další.In the browser interface, paste the code, and then click Next.

    Dialog pro HDI Microsoftu zadejte kód

  6. Zadejte svoje přihlašovací údaje Azure a pak zavřete prohlížeč.Enter your Azure credentials, and then close the browser.

    Dialog pro zadání e-mailu pro HDI Microsoftu

  7. Po přihlášení se v dialogovém okně Vybrat odběry zobrazí všechna předplatná Azure, která jsou přidružená k přihlašovacím údajům.After you're signed in, the Select Subscriptions dialog box lists all the Azure subscriptions that are associated with the credentials. Vyberte své předplatné a pak vyberte tlačítko Vybrat .Select your subscription and then select the Select button.

    Dialogové okno vybrat odběry

  8. V Azure Explorerurozbalte HDInsight , abyste viděli clustery HDInsight Spark, které jsou ve vašich předplatných.From Azure Explorer, expand HDInsight to view the HDInsight Spark clusters that are in your subscriptions.

    IntelliJ nápad v hlavním zobrazení Průzkumníka Azure

  9. Chcete-li zobrazit prostředky (například účty úložiště), které jsou přidruženy ke clusteru, můžete dále rozšířit uzel název clusteru.To view the resources (for example, storage accounts) that are associated with the cluster, you can further expand a cluster-name node.

    Účty úložiště Azure Explorer

Cluster HDInsight můžete propojit pomocí spravovaného uživatelského jména Apache Ambari.You can link an HDInsight cluster by using the Apache Ambari managed username. Podobně v případě clusteru HDInsight připojeného k doméně můžete propojit s doménou a uživatelským jménem, jako user1@contoso.comje například.Similarly, for a domain-joined HDInsight cluster, you can link by using the domain and username, such as user1@contoso.com. Také můžete propojit cluster služby Livy Service.Also you can link Livy Service cluster.

  1. V řádku nabídek přejděte k zobrazení > nástrojů Windows > Azure Explorer.From the menu bar, navigate to View > Tool Windows > Azure Explorer.

  2. V Průzkumníku Azure klikněte pravým tlačítkem na uzel HDInsight a pak vyberte propojit cluster.From Azure Explorer, right-click the HDInsight node, and then select Link A Cluster.

    Místní nabídka propojených clusterů v Průzkumníkovi Azure

  3. Dostupné možnosti v okně propojit cluster se budou lišit v závislosti na vybrané hodnotě v rozevíracím seznamu typ prostředku propojení .The available options in the Link A Cluster window will vary depending on which value you select from the Link Resource Type drop-down list. Zadejte hodnoty a pak vyberte OK.Enter your values and then select OK.

    • Cluster HDInsightHDInsight Cluster

      VlastnostProperty ValueValue
      Typ prostředku propojeníLink Resource Type Z rozevíracího seznamu vyberte cluster HDInsight .Select HDInsight Cluster from the drop-down list.
      Název nebo adresa URL clusteruCluster Name/URL Zadejte název clusteru.Enter cluster name.
      Typ ověřeníAuthentication Type Ponechat jako základní ověřováníLeave as Basic Authentication
      Uživatelské jménoUser Name Zadejte uživatelské jméno clusteru, výchozí nastavení je admin.Enter cluster user name, default is admin.
      HesloPassword Zadejte heslo pro uživatelské jméno.Enter password for user name.

      Odkaz na IntelliJ nápad – dialogové okno clusteru

    • Služba LivyLivy Service

      VlastnostProperty ValueValue
      Typ prostředku propojeníLink Resource Type V rozevíracím seznamu vyberte Služba Livy .Select Livy Service from the drop-down list.
      Koncový bod LivyLivy Endpoint Zadejte koncový bod Livy.Enter Livy Endpoint
      Název clusteruCluster Name Zadejte název clusteru.Enter cluster name.
      Koncový bod přízeYarn Endpoint Volitelný parametr.Optional.
      Typ ověřeníAuthentication Type Ponechat jako základní ověřováníLeave as Basic Authentication
      Uživatelské jménoUser Name Zadejte uživatelské jméno clusteru, výchozí nastavení je admin.Enter cluster user name, default is admin.
      HesloPassword Zadejte heslo pro uživatelské jméno.Enter password for user name.

      Dialog Livy clusteru IntelliJ nápad Link

  4. Propojený cluster můžete zobrazit z uzlu HDInsight .You can see your linked cluster from the HDInsight node.

    Propojené Cluster1 Průzkumníka Azure

  5. Cluster taky můžete odpojit od Azure Exploreru.You also can unlink a cluster from Azure Explorer.

    Cluster s nepropojeným průzkumníkem Azure Explorer

Spuštění aplikace Spark Scala v clusteru HDInsight SparkRun a Spark Scala application on an HDInsight Spark cluster

Po vytvoření aplikace Scala ji můžete odeslat do clusteru.After creating a Scala application, you can submit it to the cluster.

  1. Z projektu přejděte do MyApp > Src > Main > ScalaMyApp > .From Project, navigate to myApp > src > main > scala > myApp. Klikněte pravým tlačítkem myši na položku MyAppa vyberte možnost Odeslat aplikaci Spark (ta bude pravděpodobně umístěna na konci seznamu).Right-click myApp, and select Submit Spark Application (It will likely be located at the bottom of the list).

    Příkaz Odeslat aplikaci Spark do HDInsight

  2. V dialogovém okně Odeslat aplikaci Spark vyberte 1. Spark ve služběHDInsight.In the Submit Spark Application dialog window, select 1. Spark on HDInsight.

  3. V okně Upravit konfiguraci zadejte následující hodnoty a pak vyberte OK:In the Edit configuration window, provide the following values and then select OK:

    VlastnostProperty ValueValue
    Clustery Spark (jenom Linux)Spark clusters (Linux only) Vyberte cluster HDInsight Spark, na kterém chcete aplikaci spustit.Select the HDInsight Spark cluster on which you want to run your application.
    Vyberte artefakt, který se má odeslat.Select an Artifact to submit Ponechte výchozí nastavení.Leave default setting.
    Název hlavní třídyMain class name Výchozí hodnota je hlavní třída z vybraného souboru.The default value is the main class from the selected file. Třídu můžete změnit tak, že vyberete tři tečky ( ... ). a volba jiné třídy.You can change the class by selecting the ellipsis(...) and choosing another class.
    Konfigurace úlohJob configurations Můžete změnit výchozí klíče nebo hodnoty.You can change the default keys and/or values. Další informace najdete v článku Apache Livy REST API.For more information, see Apache Livy REST API.
    Argumenty příkazového řádkuCommand line arguments V případě potřeby můžete zadat argumenty oddělené mezerou pro hlavní třídu.You can enter arguments separated by space for the main class if needed.
    Odkazované jar a odkazované souboryReferenced Jars and Referenced Files Můžete zadat cesty pro odkazované jar a soubory, pokud existují.You can enter the paths for the referenced Jars and files if any. Můžete také procházet soubory ve virtuálním systému souborů Azure, který aktuálně podporuje jenom cluster ADLS Gen 2.You can also browse files in the Azure virtual file system, which currently only supports ADLS Gen 2 cluster. Další informace: Konfigurace Apache Spark.For more information: Apache Spark Configuration. Viz také Postup nahrání prostředků do clusteru.See also, How to upload resources to cluster.
    Úložiště nahrávání úlohyJob Upload Storage Rozbalením zobrazíte další možnosti.Expand to reveal additional options.
    Typ úložištěStorage Type Vyberte použít Azure Blob k nahrání z rozevíracího seznamu.Select Use Azure Blob to upload from the drop-down list.
    Účet úložištěStorage Account Zadejte svůj účet úložiště.Enter your storage account.
    Klíč úložištěStorage Key Zadejte svůj klíč úložiště.Enter your storage key.
    Kontejner úložištěStorage Container Po zadání účtu úložiště a klíče úložiště vyberte z rozevíracího seznamu svůj kontejner úložiště.Select your storage container from the drop-down list once Storage Account and Storage Key has been entered.

    Dialogové okno pro odeslání Sparku

  4. Vyberte SparkJobRun a odešlete projekt do vybraného clusteru.Select SparkJobRun to submit your project to the selected cluster. Vzdálená úloha Spark na kartě cluster zobrazuje průběh provádění úlohy v dolní části.The Remote Spark Job in Cluster tab displays the job execution progress at the bottom. Aplikaci můžete zastavit kliknutím na tlačítko červené.You can stop the application by clicking the red button. Informace o přístupu k výstupu úlohy najdete v části "přístup a Správa clusterů HDInsight Spark pomocí Azure Toolkit for IntelliJ" dále v tomto článku.To learn how to access the job output, see the "Access and manage HDInsight Spark clusters by using Azure Toolkit for IntelliJ" section later in this article.

    Okno pro odeslání Apache Spark

Místní nebo vzdálené ladění aplikací Apache Spark v clusteru HDInsightDebug Apache Spark applications locally or remotely on an HDInsight cluster

Doporučujeme také další způsob, jak odeslat aplikaci Spark do clusteru.We also recommend another way of submitting the Spark application to the cluster. To lze provést nastavením parametrů v integrovaném vývojovém prostředí (IDE) pro spuštění nebo ladění .You can do so by setting the parameters in the Run/Debug configurations IDE. Další informace najdete v tématu ladění Apache Sparkch aplikací místně nebo vzdáleně v clusteru HDInsight s Azure Toolkit for IntelliJ prostřednictvím SSH.For more information, see Debug Apache Spark applications locally or remotely on an HDInsight cluster with Azure Toolkit for IntelliJ through SSH.

Přístup k clusterům HDInsight Spark a jejich správa pomocí Azure Toolkit for IntelliJAccess and manage HDInsight Spark clusters by using Azure Toolkit for IntelliJ

Pomocí Azure Toolkit for IntelliJ můžete provádět různé operace.You can perform various operations by using Azure Toolkit for IntelliJ. Většina operací se zahajuje z Průzkumníka Azure.Most of the operations are initiated from Azure Explorer. V řádku nabídek přejděte k zobrazení > nástrojů Windows > Azure Explorer.From the menu bar, navigate to View > Tool Windows > Azure Explorer.

Přístup k zobrazení úlohyAccess the job view

  1. V Azure Exploreru přejděte do služby HDInsight > <, kterou cluster > > úlohy.From Azure Explorer, navigate to HDInsight > <Your Cluster> > Jobs.

    Uzel zobrazení úloh v Průzkumníkovi Azure IntelliJ

  2. V pravém podokně karta zobrazení úlohy Spark zobrazí všechny aplikace, které byly spuštěny v clusteru.In the right pane, the Spark Job View tab displays all the applications that were run on the cluster. Vyberte název aplikace, pro kterou chcete zobrazit další podrobnosti.Select the name of the application for which you want to see more details.

    Podrobnosti o aplikaci pro zobrazení úlohy Spark

  3. Pokud chcete zobrazit základní informace o spuštěné úloze, najeďte myší na graf úlohy.To display basic running job information, hover over the job graph. Chcete-li zobrazit graf fází a informace, které Každá úloha generuje, vyberte uzel v grafu úlohy.To view the stages graph and information that every job generates, select a node on the job graph.

    Podrobnosti fáze úlohy Spark zobrazení úloh

  4. Pokud chcete zobrazit často používané protokoly, jako je například ovladač stderr, ovladač stdouta informace o adresáři, vyberte kartu protokol .To view frequently used logs, such as Driver Stderr, Driver Stdout, and Directory Info, select the Log tab.

    Podrobnosti protokolu zobrazení úlohy Sparku

  5. Pomocí odkazu v horní části okna můžete také zobrazit uživatelské rozhraní historie Spark a uživatelské rozhraní PŘÍZe (na úrovni aplikace).You can also view the Spark history UI and the YARN UI (at the application level) by selecting a link at the top of the window.

Přístup k serveru historie SparkuAccess the Spark history server

  1. V Azure Exploreru rozbalte HDInsight, klikněte pravým tlačítkem na název clusteru Spark a pak vyberte otevřít historii Spark – uživatelské rozhraní.From Azure Explorer, expand HDInsight, right-click your Spark cluster name, and then select Open Spark History UI.

  2. Po zobrazení výzvy zadejte přihlašovací údaje Správce clusteru, které jste zadali při nastavování clusteru.When you're prompted, enter the cluster's admin credentials, which you specified when you set up the cluster.

  3. Na řídicím panelu serveru historie Spark můžete použít název aplikace k vyhledání aplikace, kterou jste právě dokončili.On the Spark history server dashboard, you can use the application name to look for the application that you just finished running. V předchozím kódu nastavíte název aplikace pomocí val conf = new SparkConf().setAppName("myApp").In the preceding code, you set the application name by using val conf = new SparkConf().setAppName("myApp"). Proto má název aplikace Spark hodnotu MyApp.Therefore, your Spark application name is myApp.

Spustit portál AmbariStart the Ambari portal

  1. V Azure Exploreru rozbalte HDInsight, klikněte pravým tlačítkem na název clusteru Spark a pak vyberte otevřít cluster portál pro správu (Ambari) .From Azure Explorer, expand HDInsight, right-click your Spark cluster name, and then select Open Cluster Management Portal(Ambari).

  2. Po zobrazení výzvy zadejte přihlašovací údaje Správce clusteru.When you're prompted, enter the admin credentials for the cluster. Tyto přihlašovací údaje jste zadali během procesu instalace clusteru.You specified these credentials during the cluster setup process.

Spravovat předplatná AzureManage Azure subscriptions

Ve výchozím nastavení Azure Toolkit for IntelliJ vypíše Clustery Spark ze všech vašich předplatných Azure.By default, Azure Toolkit for IntelliJ lists the Spark clusters from all your Azure subscriptions. V případě potřeby můžete zadat odběry, ke kterým chcete získat přístup.If necessary, you can specify the subscriptions that you want to access.

  1. V Průzkumníku Azure klikněte pravým tlačítkem na kořenový uzel Azure a vyberte Vybrat odběry.From Azure Explorer, right-click the Azure root node, and then select Select Subscriptions.

  2. V okně Vybrat odběry zrušte zaškrtnutí políček u předplatných, ke kterým nechcete získat přístup, a pak vyberte Zavřít.From the Select Subscriptions window, clear the check boxes next to the subscriptions that you don't want to access, and then select Close.

Konzola SparkSpark Console

Můžete spustit místní konzolu Spark (Scala) nebo spustit konzolu Spark Livy Interactive Session (Scala).You can run Spark Local Console(Scala) or run Spark Livy Interactive Session Console(Scala).

Místní konzola Spark (Scala)Spark Local Console(Scala)

Ujistěte se, že jste splnili WINUTILS. Požadovaná součást EXE.Ensure you have satisfied the WINUTILS.EXE prerequisite.

  1. Z řádku nabídek přejděte na Spustit > úpravy konfigurace... .From the menu bar, navigate to Run > Edit Configurations....

  2. V okně Konfigurace spuštění/ladění v levém podokně přejděte na Apache Spark ve službě HDInsight > [Spark v HDInsight] MyApp.From the Run/Debug Configurations window, in the left pane, navigate to Apache Spark on HDInsight > [Spark on HDInsight] myApp.

  3. V hlavním okně vyberte kartu spustit místně .From the main window, select the Locally Run tab.

  4. Zadejte následující hodnoty a pak vyberte OK:Provide the following values, and then select OK:

    VlastnostProperty ValueValue
    Hlavní třída úlohyJob main class Výchozí hodnota je hlavní třída z vybraného souboru.The default value is the main class from the selected file. Třídu můžete změnit tak, že vyberete tři tečky ( ... ). a volba jiné třídy.You can change the class by selecting the ellipsis(...) and choosing another class.
    Proměnné prostředíEnvironment variables Zajistěte, aby byla hodnota pro HADOOP_HOME správná.Ensure the value for HADOOP_HOME is correct.
    Umístění WINUTILS. exeWINUTILS.exe location Zkontrolujte, zda je cesta správná.Ensure the path is correct.

    Konfigurace sady místních konzol

  5. Z projektu přejděte do MyApp > Src > Main > ScalaMyApp > .From Project, navigate to myApp > src > main > scala > myApp.

  6. V řádku nabídek přejděte dokonzoly > nástroje > Sparkspustit prostředí Spark místní konzola (Scala) .From the menu bar, navigate to Tools > Spark Console > Run Spark Local Console(Scala).

  7. Pak se můžou zobrazit dvě dialogová okna, která vás požádají, pokud chcete automaticky opravovat závislosti.Then two dialogs may be displayed to ask you if you want to auto fix dependencies. Pokud ano, vyberte možnost automaticky opravit.If so, select Auto Fix.

    IntelliJ nápad Spark auto Fix Dialog1

    IntelliJ nápad Spark auto Fix dialog2

  8. Konzola by měla vypadat podobně jako na obrázku níže.The console should look similar to the picture below. V okně konzoly zadejte sc.appNamea stiskněte kombinaci kláves CTRL + ENTER.In the console window type sc.appName, and then press ctrl+Enter. Zobrazí se výsledek.The result will be shown. Místní konzolu můžete ukončit kliknutím na tlačítko červené.You can terminate the local console by clicking red button.

    Výsledek místní konzoly IntelliJ

Konzola pro interaktivní relace Spark Livy (Scala)Spark Livy Interactive Session Console(Scala)

Podporuje se jenom v IntelliJ 2018,2 a 2018,3.It is only supported on IntelliJ 2018.2 and 2018.3.

  1. Z řádku nabídek přejděte na Spustit > úpravy konfigurace... .From the menu bar, navigate to Run > Edit Configurations....

  2. V okně Konfigurace spuštění/ladění v levém podokně přejděte na Apache Spark ve službě HDInsight > [Spark v HDInsight] MyApp.From the Run/Debug Configurations window, in the left pane, navigate to Apache Spark on HDInsight > [Spark on HDInsight] myApp.

  3. V hlavním okně vyberte kartu vzdáleně spustit na clusteru .From the main window, select the Remotely Run in Cluster tab.

  4. Zadejte následující hodnoty a pak vyberte OK:Provide the following values, and then select OK:

    VlastnostProperty ValueValue
    Clustery Spark (jenom Linux)Spark clusters (Linux only) Vyberte cluster HDInsight Spark, na kterém chcete aplikaci spustit.Select the HDInsight Spark cluster on which you want to run your application.
    Název hlavní třídyMain class name Výchozí hodnota je hlavní třída z vybraného souboru.The default value is the main class from the selected file. Třídu můžete změnit tak, že vyberete tři tečky ( ... ). a volba jiné třídy.You can change the class by selecting the ellipsis(...) and choosing another class.

    Konfigurace sady interaktivní konzoly

  5. Z projektu přejděte do MyApp > Src > Main > ScalaMyApp > .From Project, navigate to myApp > src > main > scala > myApp.

  6. V řádku nabídek přejděte dokonzoly > nástroje > SparkSpustit Livy interaktivní relace (Scala) Sparku.From the menu bar, navigate to Tools > Spark Console > Run Spark Livy Interactive Session Console(Scala).

  7. Konzola by měla vypadat podobně jako na obrázku níže.The console should look similar to the picture below. V okně konzoly zadejte sc.appNamea stiskněte kombinaci kláves CTRL + ENTER.In the console window type sc.appName, and then press ctrl+Enter. Zobrazí se výsledek.The result will be shown. Místní konzolu můžete ukončit kliknutím na tlačítko červené.You can terminate the local console by clicking red button.

    Výsledek IntelliJ NÁPADu pro interaktivní konzolu

Odeslat výběr do konzoly SparkSend Selection to Spark Console

Je vhodné předvídat výsledek skriptu odesláním kódu do místní konzole nebo konzoly Livy Interactive Session Console (Scala).It is convenient for you to foresee the script result by sending some code to the local console or Livy Interactive Session Console(Scala). Můžete zvýraznit nějaký kód v souboru Scala a pak klikněte pravým tlačítkem myši na Odeslat výběr do konzoly Spark.You can highlight some code in the Scala file, then right-click Send Selection To Spark Console. Vybraný kód se odešle do konzoly a provede se.The selected code will be sent to the console and be performed. Výsledek se zobrazí za kódem v konzole nástroje.The result will be displayed after the code in the console. Konzola zkontroluje chyby, pokud již existují.The console will check the errors if existing.

Odeslat výběr do konzoly Spark

Role jen pro čteníReader-only role

Když uživatelé odešlou úlohu do clusteru s oprávněním role jen pro čtení, vyžadují se přihlašovací údaje Ambari.When users submit job to a cluster with reader-only role permission, Ambari credentials is required.

  1. Přihlaste se pomocí účtu role jen pro čtení.Sign in with reader-only role account.

  2. V Azure Explorerurozbalte HDInsight pro zobrazení clusterů HDInsight, které jsou ve vašem předplatném.From Azure Explorer, expand HDInsight to view HDInsight clusters that are in your subscription. Clustery označené jako role: čtenář mají pouze oprávnění role jen pro čtení.The clusters marked "Role:Reader" only have reader-only role permission.

    Role Průzkumníka Azure v IntelliJ: čtenář

  3. Klikněte pravým tlačítkem na cluster s oprávněním role jen pro čtení.Right-click the cluster with reader-only role permission. Pokud chcete propojit cluster, vyberte propojit tento cluster z kontextové nabídky.Select Link this cluster from context menu to link cluster. Zadejte uživatelské jméno a heslo pro Ambari.Enter the Ambari username and Password.

    IntelliJ tento cluster propojit s Průzkumníkem Azure

  4. Pokud je cluster úspěšně propojený, služba HDInsight se aktualizuje.If the cluster is linked successfully, HDInsight will be refreshed. Fáze clusteru se stane propojená.The stage of the cluster will become linked.

    Propojený dialog v Průzkumníkovi Azure IntelliJ

  1. Klikněte na uzel úlohy , okno přístup k úloze clusteru odepřeno .Click Jobs node, Cluster Job Access Denied window pops up.

  2. Kliknutím na propojit tento cluster propojíte cluster.Click Link this cluster to link cluster.

    Dialogové okno pro přístup k úlohám clusteru deined

  1. Vytvořte konfiguraci HDInsight.Create an HDInsight Configuration. Pak vyberte vzdálené spuštění v clusteru.Then select Remotely Run in Cluster.

  2. Vyberte cluster, který má oprávnění jen pro čtení pro Clustery Spark (pouze Linux) .Select a cluster, which has reader-only role permission for Spark clusters(Linux only). Zpráva upozornění se zobrazí. Kliknutím na propojit tento cluster můžete propojit cluster.Warning message shows out. You can Click Link this cluster to link cluster.

    Spuštění nebo ladění IntelliJ NÁPADu – vytvořit konfiguraci

Zobrazit účty úložištěView Storage Accounts

  • U clusterů s oprávněním role jen pro čtení klikněte na uzel účty úložiště , na okno přístup k úložišti se zobrazí stavová zařízení.For clusters with reader-only role permission, click Storage Accounts node, Storage Access Denied window pops up. Pro otevření Průzkumník služby Storage můžete kliknout na otevřít Průzkumník služby Azure Storage .You can click Open Azure Storage Explorer to open Storage Explorer.

    Přístup k úložišti nápadů IntelliJ se zamítl.

    Tlačítko IntelliJ pro přístup k úložišti nápadů zakázáno

  • U propojených clusterů klikněte na uzel účty úložiště , na okno přístup k úložišti se zobrazí stavová aplikace.For linked clusters, click Storage Accounts node, Storage Access Denied window pops up. Pro otevření Průzkumník služby Storage můžete kliknout na otevřít Azure Storage .You can click Open Azure Storage to open Storage Explorer.

    Přístup k IntelliJ úložiště NÁPADu Denied2

    IntelliJ nápad – přístup k Denied2mu úložišti

Převod stávajících IntelliJ NÁPADových aplikací na použití Azure Toolkit for IntelliJConvert existing IntelliJ IDEA applications to use Azure Toolkit for IntelliJ

Stávající aplikace Spark Scala, které jste vytvořili v IntelliJ, můžete převést tak, aby byly kompatibilní s Azure Toolkit for IntelliJ.You can convert the existing Spark Scala applications that you created in IntelliJ IDEA to be compatible with Azure Toolkit for IntelliJ. Pak můžete použít modul plug-in k odeslání aplikací do clusteru HDInsight Spark.You can then use the plug-in to submit the applications to an HDInsight Spark cluster.

  1. V případě existující aplikace Spark Scala vytvořené prostřednictvím IntelliJ NÁPADu otevřete přidružený soubor. IML.For an existing Spark Scala application that was created through IntelliJ IDEA, open the associated .iml file.

  2. Na kořenové úrovni je prvek modulu , například následující:At the root level is a module element like the following:

     <module org.jetbrains.idea.maven.project.MavenProjectsManager.isMavenModule="true" type="JAVA_MODULE" version="4">
    

    Upravte element tak, aby UniqueKey="HDInsightTool" bylo možné přidat prvek modulu , aby vypadal takto:Edit the element to add UniqueKey="HDInsightTool" so that the module element looks like the following:

     <module org.jetbrains.idea.maven.project.MavenProjectsManager.isMavenModule="true" type="JAVA_MODULE" version="4" UniqueKey="HDInsightTool">
    
  3. Uložte změny.Save the changes. Vaše aplikace by měla být teď kompatibilní s Azure Toolkit for IntelliJ.Your application should now be compatible with Azure Toolkit for IntelliJ. Můžete ho otestovat kliknutím pravým tlačítkem myši na název projektu v projektu.You can test it by right-clicking the project name in Project. Místní nabídka má nyní možnost Odeslat aplikaci Spark do HDInsight.The pop-up menu now has the option Submit Spark Application to HDInsight.

Vyčištění prostředkůClean up resources

Pokud nebudete tuto aplikaci nadále používat, odstraňte cluster, který jste vytvořili, pomocí následujících kroků:If you're not going to continue to use this application, delete the cluster that you created with the following steps:

  1. Přihlaste se k webu Azure Portal.Sign in to the Azure portal.

  2. Do vyhledávacího pole v horní části zadejte HDInsight.In the Search box at the top, type HDInsight.

  3. V části službyvyberte clustery HDInsight .Select HDInsight clusters under Services.

  4. V seznamu clusterů HDInsight, které se zobrazí, vyberte ... vedle clusteru, který jste vytvořili pro účely tohoto kurzu.In the list of HDInsight clusters that appears, select the ... next to the cluster that you created for this tutorial.

  5. Vyberte Odstranit.Select Delete. Vyberte Ano.Select Yes.

Azure Portal odstranit cluster HDInsightAzure portal delete HDInsight cluster

Další krokyNext steps

V tomto kurzu jste zjistili, jak používat modul plug-in Azure Toolkit for IntelliJ k vývoji Apache Spark aplikací napsaných v Scalaa pak je odeslat do clusteru HDInsight Spark přímo z integrovaného vývojového prostředí IntelliJ ( INTEGROVANÉ VÝVOJOVÉ PROSTŘEDÍ (IDE).In this tutorial, you learned how to use the Azure Toolkit for IntelliJ plug-in to develop Apache Spark applications written in Scala, and then submitted them to an HDInsight Spark cluster directly from the IntelliJ integrated development environment (IDE). V dalším článku zjistíte, jak se data, která jste zaregistrovali v Apache Spark můžete načíst do nástroje BI Analytics, jako je například Power BI.Advance to the next article to see how the data you registered in Apache Spark can be pulled into a BI analytics tool such as Power BI.