Azure Toolkit voor IntelliJ gebruiken om Apache Spark-toepassingen te maken voor HDInsight-cluster

In dit artikel wordt gedemonstreert hoe u Apache Spark-toepassingen in Azure HDInsight ontwikkelt met behulp van de invoegtoepassing Azure Toolkit voor de IntelliJ IDE. Azure HDInsight is een beheerde opensource-analyseservice in de cloud. Met de service kunt u opensource-frameworks gebruiken, zoals Hadoop, Apache Spark, Apache Hive en Apache Kafka.

U kunt de invoegtoepassing Azure Toolkit op een aantal manieren gebruiken:

  • Een Scala Spark-toepassing ontwikkelen en verzenden naar een HDInsight Spark-cluster.
  • Toegang tot uw Azure HDInsight Spark-clusterbronnen.
  • Ontwikkel een Scala Spark-toepassing en voer deze lokaal uit.

In dit artikel leert u het volgende:

  • De invoegtoepassing Azure-toolkit voor IntelliJ gebruiken
  • Apache Spark-toepassingen ontwikkelen
  • Een toepassing verzenden naar een Azure HDInsight-cluster

Vereisten

Scala-invoegtoepassing voor IntelliJ IDEA installeren

Stappen voor het installeren van de Scala-invoegtoepassing:

  1. Open IntelliJ IDEA.

  2. Ga op het welkomstscherm naar Configure>Plugins om het venster Plugins te openen.

    IntelliJ IDEA enables scala plugin.

  3. Selecteer Install voor de Scala-invoegtoepassing die in het nieuwe venster wordt weergegeven.

    IntelliJ IDEA installs scala plugin.

  4. Als de invoegtoepassing is geïnstalleerd, moet u de IDE opnieuw starten.

Een Spark Scala-toepassing maken voor een HDInsight Spark-cluster

  1. Start IntelliJ IDEA en selecteer Create New Project om het venster New Project te openen.

  2. Selecteer Azure Spark/HDInsight in het linkerdeelvenster.

  3. Selecteer Spark Project (Scala) in het hoofdvenster.

  4. Selecteer in de vervolgkeuzelijst Build tool een van de volgende opties:

    • Maven, voor de ondersteuning van de wizard Scala-project maken.

    • SBT, voor het beheren van de afhankelijkheden en het maken van het Scala-project.

      IntelliJ IDEA New Project dialog box.

  5. Selecteer Volgende.

  6. Geef in het venster New project de volgende gegevens op:

    Eigenschappen Beschrijving
    Projectnaam Voer een naam in. In dit artikel wordt gebruikgemaakt van myApp.
    Projectlocatie Voer de locatie in om uw project in op te slaan.
    Project SDK Dit veld is mogelijk leeg bij uw eerste gebruik van IDEA. Selecteer New... en ga naar uw JDK.
    Spark-versie De wizard voor het maken van het project integreert de juiste versie voor Spark SDK en Scala SDK. Selecteer Spark 1.x als de Spark-clusterversie ouder is dan 2.0. Selecteer anders Spark 2.x. In dit voorbeeld wordt Spark 2.3.0 (Scala 2.11.8) gebruikt.

    Selecting the Apache Spark SDK.

  7. Selecteer Voltooien. Het kan enkele minuten duren voordat het project beschikbaar wordt.

  8. Het Spark-project maakt automatisch een artefact voor u. Ga als volgt te werk om het artefact weer te geven:

    a. Navigeer in de menubalk naar Bestand>Projectstructuur....

    b. Selecteer in het venster Projectstructuur de optie Artefacten.

    c. Selecteer Annuleren nadat u het artefact hebt bekeken.

    Artifact info in the dialog box.

  9. Voeg de broncode van uw toepassing toe door de volgende stappen uit te voeren:

    a. Navigeer vanuit Project naar myApp>src>main>scala.

    b. Klik met de rechtermuisknop op Scala en navigeer naar Nieuwe>Scala-klasse.

    Commands for creating a Scala class from Project.

    c. Geef in het dialoogvenster Nieuwe Scala-klasse maken een naam op, selecteer Object in de vervolgkeuzelijst Kind en selecteer VERVOLGENS OK.

    Create New Scala Class dialog box.

    d. Het bestand myApp.scala wordt vervolgens geopend in de hoofdweergave. Vervang de standaardcode door de onderstaande code:

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    
    object myApp{
        def main (arg: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("myApp")
        val sc = new SparkContext(conf)
    
        val rdd = sc.textFile("wasbs:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
    
        //find the rows that have only one digit in the seventh column in the CSV file
        val rdd1 =  rdd.filter(s => s.split(",")(6).length() == 1)
    
        rdd1.saveAsTextFile("wasbs:///HVACOut")
        }
    
    }
    

    De code leest de gegevens uit HVAC.csv (beschikbaar op alle HDInsight Spark-clusters), haalt de rijen op met slechts één cijfer in de zevende kolom in het CSV-bestand en schrijft de uitvoer naar /HVACOut onder de standaardopslagcontainer voor het cluster.

Verbinding maken naar uw HDInsight-cluster

De gebruiker kan zich aanmelden bij uw Azure-abonnement of een HDInsight-cluster koppelen. Gebruik de ambari-referenties voor gebruikersnaam/wachtwoord of domein om verbinding te maken met uw HDInsight-cluster.

Aanmelden bij uw Azure-abonnement

  1. Navigeer in de menubalk naar Beeld>Hulpprogrammavensters>Azure Explorer.

    IntelliJ IDEA shows azure explorer.

  2. Klik in Azure Explorer met de rechtermuisknop op het knooppunt Azure en selecteer Aanmelden.

    IntelliJ IDEA explorer right-click azure.

  3. Kies in het dialoogvenster Azure-aanmelding de optie Apparaataanmelding en selecteer Aanmelden.

    `IntelliJ IDEA azure sign-in device login`.

  4. Klik in het dialoogvenster Azure-apparaataanmelding op Kopiëren en openen.

    `IntelliJ IDEA azure device login`.

  5. Plak de code in de browserinterface en klik op Volgende.

    `Microsoft enter code dialog for HDI`.

  6. Voer uw referenties voor Azure in en sluit de browser.

    `Microsoft enter e-mail dialog for HDI`.

  7. Zodra u bent aangemeld, toont het dialoogvenster Abonnementen selecteren alle Azure-abonnementen die aan de referenties zijn gekoppeld. Selecteer uw abonnement en selecteer vervolgens de knop Selecteren .

    The Select Subscriptions dialog box.

  8. Vouw vanuit Azure Explorer HDInsight uit om de HDInsight Spark-clusters weer te geven die zich in uw abonnementen bevinden.

    IntelliJ IDEA Azure Explorer main view.

  9. Als u de resources (bijvoorbeeld opslagaccounts) wilt weergeven die aan het cluster zijn gekoppeld, kunt u een clusternaamknooppunt verder uitbreiden.

    Azure Explorer storage accounts.

U kunt een HDInsight-cluster koppelen met behulp van de door Apache Ambari beheerde gebruikersnaam. Op dezelfde manier kunt u voor een HDInsight-cluster dat lid is van een domein een koppeling maken met behulp van het domein en de gebruikersnaam, zoals user1@contoso.com. U kunt ook een Livy Service-cluster koppelen.

  1. Navigeer in de menubalk naar Beeld>Hulpprogrammavensters>Azure Explorer.

  2. Klik in Azure Explorer met de rechtermuisknop op het HDInsight-knooppunt en selecteer Vervolgens Een cluster koppelen.

    Azure Explorer link cluster context menu.

  3. De beschikbare opties in het venster Een cluster koppelen variëren, afhankelijk van de waarde die u selecteert in de vervolgkeuzelijst Resourcetype koppelen. Voer uw waarden in en selecteer VERVOLGENS OK.

    • HDInsight-cluster

      Eigenschappen Weergegeven als
      Resourcetype koppelen Selecteer HDInsight-cluster in de vervolgkeuzelijst.
      Clusternaam/URL Voer de clusternaam in.
      Verificatietype Laten staan als basisverificatie
      Gebruikersnaam Voer de gebruikersnaam van het cluster in, de standaardwaarde is beheerder.
      Wachtwoord Voer een wachtwoord in voor de gebruikersnaam.

      IntelliJ IDEA link a cluster dialog.

    • Livy Service

      Eigenschappen Weergegeven als
      Resourcetype koppelen Selecteer Livy Service in de vervolgkeuzelijst.
      Livy-eindpunt Livy-eindpunt invoeren
      Clusternaam Voer de clusternaam in.
      Yarn-eindpunt Optioneel.
      Verificatietype Laten staan als basisverificatie
      Gebruikersnaam Voer de gebruikersnaam van het cluster in, de standaardwaarde is beheerder.
      Wachtwoord Voer een wachtwoord in voor de gebruikersnaam.

      IntelliJ IDEA link Livy cluster dialog.

  4. U kunt uw gekoppelde cluster zien vanaf het HDInsight-knooppunt .

    Azure Explorer linked cluster1.

  5. U kunt een cluster ook ontkoppelen vanuit Azure Explorer.

    Azure Explorer unlinked cluster.

Een Spark Scala-toepassing uitvoeren op een HDInsight Spark-cluster

Nadat u een Scala-toepassing hebt gemaakt, kunt u deze verzenden naar het cluster.

  1. Navigeer in Project naar myApp>src>main>scala>myApp. Klik met de rechtermuisknop op myApp en selecteer Spark-toepassing verzenden (deze bevindt zich waarschijnlijk onderaan de lijst).

    The Submit Spark Application to HDInsight command.

  2. Selecteer 1 in het dialoogvenster Spark-toepassing verzenden. Spark in HDInsight.

  3. Geef in het venster Configuratie bewerken de volgende waarden op en selecteer VERVOLGENS OK:

    Eigenschappen Weergegeven als
    Spark-clusters (alleen Linux) Selecteer het HDInsight Spark-cluster waarop u uw toepassing wilt uitvoeren.
    Selecteer een artefact om te verzenden Laat de standaardinstelling staan.
    Hoofdklassenaam De standaardwaarde is de hoofdklasse uit het geselecteerde bestand. U kunt de klasse wijzigen door het beletselteken (...) te selecteren en een andere klasse te kiezen.
    Taakconfiguraties U kunt de standaardsleutels en of waarden wijzigen. Zie Apache Livy REST API voor meer informatie.
    Opdrachtregelargumenten U kunt voor de hoofdklasse argumenten invoeren, gescheiden door een spatie, indien nodig.
    JAR’s en bestanden waarnaar wordt verwezen U kunt de paden invoeren voor de JAR’s en bestanden waarnaar wordt verwezen, indien aanwezig. U kunt ook bladeren door bestanden in het virtuele Azure-bestandssysteem, dat momenteel alleen ONDERSTEUNING biedt voor ADLS Gen 2-cluster. Voor meer informatie: Apache Spark-configuratie. Zie ook het uploaden van resources naar het cluster.
    Opslag van taakuploads Vouw uit om aanvullende opties te onthullen.
    Opslagtype Selecteer Azure Blob gebruiken om te uploaden in de vervolgkeuzelijst.
    Opslagaccount Voer uw opslagaccount in.
    Opslagsleutel Voer uw opslagsleutel in.
    Opslagcontainer Selecteer uw opslagcontainer in de vervolgkeuzelijst zodra Opslagaccount en Opslagsleutel zijn ingevoerd.

    The Spark Submission dialog box.

  4. Selecteer SparkJobRun om uw project naar het geselecteerde cluster te verzenden. Onderaan het tabblad Externe Spark-taak in cluster wordt de voortgang van de taakuitvoering weergegeven. U kunt de toepassing stoppen door op de rode knop te klikken.

    Apache Spark Submission window.

Fouten opsporen in Apache Spark-toepassingen lokaal of extern in een HDInsight-cluster

We raden ook een andere manier aan om de Spark-toepassing naar het cluster te verzenden. U kunt dit doen door de parameters in te stellen in de IDE voor uitvoeren/foutopsporingsconfiguraties . Zie Fouten opsporen in Apache Spark-toepassingen lokaal of extern op een HDInsight-cluster met Azure Toolkit voor IntelliJ via SSH.

HDInsight Spark-clusters openen en beheren met behulp van Azure Toolkit voor IntelliJ

U kunt verschillende bewerkingen uitvoeren met behulp van Azure Toolkit voor IntelliJ. De meeste bewerkingen worden gestart vanuit Azure Explorer. Navigeer in de menubalk naar Beeld>Hulpprogrammavensters>Azure Explorer.

Toegang tot de taakweergave

  1. Navigeer vanuit Azure Explorer naar HDInsight<>Uw clustertaken.>>

    IntelliJ Azure Explorer Job view node.

  2. In het rechterdeelvenster worden op het tabblad Spark-taakweergave alle toepassingen weergegeven die op het cluster zijn uitgevoerd. Selecteer de naam van de toepassing waarvoor u meer details wilt zien.

    Spark Job View Application details.

  3. Als u algemene taakgegevens wilt weergeven, beweegt u de muisaanwijzer over de taakgrafiek. Als u de fasegrafiek en informatie wilt bekijken die door elke taak wordt gegenereerd, selecteert u een knooppunt in de taakgrafiek.

    Spark Job View Job stage details.

  4. Als u veelgebruikte logboeken, zoals Driver Stderr, Driver Stdout en Directory Info, wilt weergeven, selecteert u het tabblad Logboek .

    Spark Job View Log details.

  5. U kunt de gebruikersinterface van de Spark-geschiedenis en de YARN-gebruikersinterface bekijken (op toepassingsniveau). Selecteer een koppeling boven aan het venster.

Toegang tot de Spark-geschiedenisserver

  1. Vouw IN Azure Explorer HDInsight uit, klik met de rechtermuisknop op de naam van uw Spark-cluster en selecteer vervolgens De gebruikersinterface voor Spark-geschiedenis openen.

  2. Wanneer u hierom wordt gevraagd, voert u de beheerdersreferenties van het cluster in, die u hebt opgegeven bij het instellen van het cluster.

  3. Op het dashboard van de Spark-geschiedenisserver kunt u de naam van de toepassing gebruiken om te zoeken naar de toepassing die u zojuist hebt uitgevoerd. In de voorgaande code stelt u de naam van de toepassing in met behulp van val conf = new SparkConf().setAppName("myApp"). De naam van uw Spark-toepassing is myApp.

De Ambari-portal starten

  1. Vouw IN Azure Explorer HDInsight uit, klik met de rechtermuisknop op de naam van uw Spark-cluster en selecteer vervolgens De Portal voor clusterbeheer (Ambari) openen.

  2. Wanneer u hierom wordt gevraagd, voert u de beheerdersreferenties voor het cluster in. U hebt deze referenties opgegeven tijdens het installatieproces van het cluster.

Azure-abonnementen beheren

Azure Toolkit voor IntelliJ bevat standaard de Spark-clusters van al uw Azure-abonnementen. Indien nodig kunt u de abonnementen opgeven waartoe u toegang wilt krijgen.

  1. Klik in Azure Explorer met de rechtermuisknop op het Azure-hoofdknooppunt en selecteer Vervolgens Abonnementen selecteren.

  2. Schakel in het venster Abonnementen selecteren de selectievakjes uit naast de abonnementen die u niet wilt openen en selecteer vervolgens Sluiten.

Spark-console

U kunt de lokale Spark-console (Scala) uitvoeren of de interactieve Spark Livy-sessieconsole (Scala) uitvoeren.

Lokale Spark-console (Scala)

Verzeker dat u aan de WINUTILS.EXE-vereiste voldoet.

  1. Navigeer in de menubalk naar Uitvoeren>Configuraties bewerken....

  2. Navigeer in het venster Uitvoeren/foutopsporingsconfiguraties in het linkerdeelvenster naar Apache Spark in HDInsight>[Spark in HDInsight] myApp.

  3. Selecteer het tabblad in het Locally Run hoofdvenster.

  4. Geef de volgende waarden op en selecteer OK:

    Eigenschappen Weergegeven als
    Hoofdklasse taak De standaardwaarde is de hoofdklasse uit het geselecteerde bestand. U kunt de klasse wijzigen door het beletselteken (...) te selecteren en een andere klasse te kiezen.
    Omgevingsvariabelen Verzeker dat de waarde voor HADOOP_HOME correct is.
    WINUTILS.exe-locatie Verzeker dat het pad correct is.

    Local Console Set Configuration.

  5. Navigeer in Project naar myApp>src>main>scala>myApp.

  6. Navigeer in de menubalk naar De Spark-console van de Spark-console>met hulpprogramma's>, lokale Spark-console (Scala) uitvoeren.

  7. Er kunnen dan twee dialoogvensters worden weergegeven waarin u wordt gevraagd of u afhankelijkheden automatisch wilt oplossen. Als u dat wilt doen, selecteert u Automatisch oplossen.

    IntelliJ IDEA Spark Auto Fix dialog1.

    IntelliJ IDEA Spark Auto Fix dialog2.

  8. De console moet er ongeveer uitzien zoals in de onderstaande afbeelding. Typ sc.appName in het consolevenster en druk op Ctrl+Enter. Het resultaat wordt weergegeven. U kunt de lokale console beëindigen door op de rode knop te klikken.

    IntelliJ IDEA local console result.

Spark Livy Interactive Session Console (Scala)

  1. Navigeer in de menubalk naar Uitvoeren>Configuraties bewerken....

  2. Navigeer in het venster Uitvoeren/foutopsporingsconfiguraties in het linkerdeelvenster naar Apache Spark in HDInsight>[Spark in HDInsight] myApp.

  3. Selecteer het tabblad in het Remotely Run in Cluster hoofdvenster.

  4. Geef de volgende waarden op en selecteer OK:

    Eigenschappen Weergegeven als
    Spark-clusters (alleen Linux) Selecteer het HDInsight Spark-cluster waarop u uw toepassing wilt uitvoeren.
    Hoofdklassenaam De standaardwaarde is de hoofdklasse uit het geselecteerde bestand. U kunt de klasse wijzigen door het beletselteken (...) te selecteren en een andere klasse te kiezen.

    Interactive Console Set Configuration.

  5. Navigeer in Project naar myApp>src>main>scala>myApp.

  6. Navigeer in de menubalk naar Tools>Spark Console>Run Spark Livy Interactive Session Console(Scala).

  7. De console moet er ongeveer uitzien zoals in de onderstaande afbeelding. Typ sc.appName in het consolevenster en druk op Ctrl+Enter. Het resultaat wordt weergegeven. U kunt de lokale console beëindigen door op de rode knop te klikken.

    IntelliJ IDEA Interactive Console Result.

Selectie verzenden naar Spark-console

Het is handig voor u om het scriptresultaat te voorzien door wat code naar de lokale console of de interactieve Livy-sessieconsole (Scala) te verzenden. U kunt code markeren in het Scala-bestand en vervolgens met de rechtermuisknop op Selectie verzenden naar Spark-console klikken. De geselecteerde code wordt naar de console verzonden. Het resultaat wordt achter de code weergegeven in de console. De console controleert de fouten, indien aanwezig.

Send Selection to Spark Console.

Integreren met HDInsight Identity Broker (HIB)

Verbinding maken naar uw HDInsight ESP-cluster met ID Broker (HIB)

U kunt de normale stappen volgen om u aan te melden bij een Azure-abonnement om verbinding te maken met uw HDInsight ESP-cluster met ID Broker (HIB). Nadat u zich hebt aangemeld, ziet u de lijst met clusters in Azure Explorer. Zie Verbinding maken naar uw HDInsight-cluster voor meer instructies.

Een Spark Scala-toepassing uitvoeren op een HDInsight ESP-cluster met ID Broker (HIB)

U kunt de normale stappen volgen om een taak naar het HDInsight ESP-cluster te verzenden met ID Broker (HIB). Raadpleeg Een Spark Scala-toepassing uitvoeren op een HDInsight Spark-cluster voor meer instructies.

We uploaden de benodigde bestanden naar een map met de naam van uw aanmeldingsaccount en u kunt het uploadpad in het configuratiebestand zien.

upload path in the configuration.

Spark-console op een HDInsight ESP-cluster met ID Broker (HIB)

U kunt de lokale Spark-console (Scala) uitvoeren of Spark Livy Interactive Session Console (Scala) uitvoeren op een HDInsight ESP-cluster met ID Broker (HIB). Raadpleeg de Spark-console voor meer instructies.

Notitie

Voor het HDInsight ESP-cluster met Id Broker (HIB) wordt het koppelen van een cluster en het opsporen van fouten in Apache Spark-toepassingen op afstand niet ondersteund.

Rol alleen lezer

Wanneer gebruikers een taak verzenden naar een cluster met alleen-lezenrolmachtigingen, zijn Ambari-referenties vereist.

  1. Meld u aan met het rolaccount alleen-lezen.

  2. Vouw vanuit Azure Explorer HDInsight uit om HDInsight-clusters weer te geven die zich in uw abonnement bevinden. De clusters die als Rol:Lezer zijn gemarkeerd , hebben alleen de rolmachtigingen van de lezer.

    `IntelliJ Azure Explorer Role:Reader`.

  3. Klik met de rechtermuisknop op het cluster met de machtiging alleen-lezenrol. Selecteer Dit cluster koppelen in het contextmenu om het cluster te koppelen. Voer de Ambari-gebruikersnaam en het wachtwoord in.

    IntelliJ Azure Explorer link this cluster.

  4. Als het cluster is gekoppeld, wordt HDInsight vernieuwd. De fase van het cluster wordt gekoppeld.

    IntelliJ Azure Explorer linked dialog.

  1. Klik op het knooppunt Jobs , het venster Clustertaaktoegang geweigerd wordt weergegeven.

  2. Klik op Dit cluster koppelen om het cluster te koppelen.

    cluster job access denied dialog.

  1. Maak een HDInsight-configuratie. Selecteer vervolgens Extern uitvoeren in cluster.

  2. Selecteer een cluster met alleen-lezenrolmachtigingen voor Spark-clusters (alleen Linux). Waarschuwingsbericht wordt weergegeven. U kunt op Dit cluster koppelen klikken om een cluster te koppelen.

    IntelliJ IDEA run/debug configuration create.

Opslagaccounts weergeven

  • Klik voor clusters met de machtiging alleen-lezenrol op Het knooppunt Opslagaccounts , het venster Toegang geweigerd voor opslag wordt weergegeven. U kunt op Azure Storage Explorer openen klikken om Storage Explorer te openen.

    `IntelliJ IDEA Storage Access Denied`.

    IntelliJ IDEA Storage Access Denied button.

  • Klik voor gekoppelde clusters op het knooppunt Opslagaccounts , het venster Toegang geweigerd voor opslag wordt weergegeven. U kunt op Azure Storage openen klikken om Storage Explorer te openen.

    `IntelliJ IDEA Storage Access Denied2`.

    IntelliJ IDEA Storage Access Denied2 button.

Bestaande IntelliJ IDEA-toepassingen converteren om Azure Toolkit voor IntelliJ te gebruiken

U kunt de bestaande Spark Scala-toepassingen die u in IntelliJ IDEA hebt gemaakt, converteren om compatibel te zijn met Azure Toolkit voor IntelliJ. Vervolgens kunt u de invoegtoepassing gebruiken om de toepassingen naar een HDInsight Spark-cluster te verzenden.

  1. Open het bijbehorende .iml bestand voor een bestaande Spark Scala-toepassing die is gemaakt via IntelliJ IDEA.

  2. Op hoofdniveau is een module-element zoals de volgende tekst:

    <module org.jetbrains.idea.maven.project.MavenProjectsManager.isMavenModule="true" type="JAVA_MODULE" version="4">
    

    Bewerk het element dat u wilt toevoegen UniqueKey="HDInsightTool" , zodat het moduleelement eruitziet als de volgende tekst:

    <module org.jetbrains.idea.maven.project.MavenProjectsManager.isMavenModule="true" type="JAVA_MODULE" version="4" UniqueKey="HDInsightTool">
    
  3. De wijzigingen opslaan. Uw toepassing moet nu compatibel zijn met Azure Toolkit voor IntelliJ. U kunt deze testen door met de rechtermuisknop op de projectnaam in Project te klikken. Het snelmenu bevat nu de optie Spark-toepassing verzenden naar HDInsight.

Resources opschonen

Als u deze toepassing verder niet meer gebruikt, verwijdert u het cluster dat u hebt gemaakt, via de volgende stappen:

  1. Meld u aan bij het Azure-portaal.

  2. Typ HDInsight in het Zoekvak bovenaan.

  3. Selecteer onder Services de optie HDInsight-clusters.

  4. Selecteer in de lijst met HDInsight-clusters die worden weergegeven de ... naast het cluster dat u voor dit artikel hebt gemaakt.

  5. Selecteer Verwijderen. Selecteer Ja.

Azure portal deletes HDInsight cluster.

Fouten en oplossing

Maak de markering van de src-map ongedaan als bronnen als u fouten met de build mislukt krijgt, zoals hieronder:

Screenshot showing the build failed.

Hef de markering van de src-map op als bronnen om dit probleem op te lossen:

  1. Navigeer naar Bestand en selecteer de projectstructuur.

  2. Selecteer de modules onder het project Instellingen.

  3. Selecteer het src-bestand en hef de markering op als bronnen.

  4. Klik op De knop Toepassen en klik vervolgens op ok om het dialoogvenster te sluiten.

    Screenshot showing the unmark the src as sources.

Volgende stappen

In dit artikel hebt u geleerd hoe u de Azure-toolkit voor IntelliJ-invoegtoepassing kunt gebruiken om Apache Spark-toepassingen te ontwikkelen die zijn geschreven in Scala. Stuur ze vervolgens rechtstreeks vanuit de IntelliJ Integrated Development Environment (IDE) naar een HDInsight Spark-cluster. Ga naar het volgende artikel om te zien hoe de gegevens die u hebt geregistreerd in Apache Spark kunnen worden overgebracht naar een BI-hulpprogramma voor analyse zoals Power BI.