Share via

Hibakeresési spark-feladat hibakeresése az IntelliJ-hez készült Azure Toolkittel (előzetes verzió)

  • Cikk

Ez a cikk részletes útmutatást nyújt arról, hogyan használható a HDInsight Tools az Azure Toolkit for IntelliJ-ben Spark-hibakeresési alkalmazások futtatásához.

Előfeltételek

Projekt létrehozása hibakeresési sablonnal

Hozzon létre egy spark2.3.2-projektet a hibakeresés folytatásához, és a hibakeresési feladat hibakeresési mintafájlját ebben a dokumentumban.

  1. Nyissa meg az IntelliJ IDEA-t. Nyissa meg az Új projekt ablakot.

    a. Válassza az Azure Spark/HDInsight lehetőséget a bal oldali panelen.

    b. Válassza a Hibakeresési minta (előzetes verzió)(Scala) hibakeresési mintával rendelkező Spark-projektet a főablakban.

    Intellij Create a debug project.

    c. Válassza a Tovább lehetőséget.

  2. Az Új projekt ablakban hajtsa végre a következő lépéseket:

    Intellij New Project select Spark version.

    a. Adja meg a projekt nevét és a projekt helyét.

    b. A Project SDK legördülő listában válassza a Spark 2.3.2-fürthöz készült Java 1.8-at.

    c. A Spark-verzió legördülő listában válassza a Spark 2.3.2(Scala 2.11.8)lehetőséget.

    d. Válassza a Befejezés lehetőséget.

  3. Válassza az src>fő>scala lehetőséget a kód projektben való megnyitásához. Ez a példa a AgeMean_Div() szkriptet használja.

Spark Scala/Java-alkalmazás futtatása HDInsight-fürtön

Hozzon létre egy Spark Scala/Java-alkalmazást, majd futtassa az alkalmazást egy Spark-fürtön az alábbi lépésekkel:

  1. Kattintson a Konfiguráció hozzáadása gombra a Futtatás/hibakeresés konfigurációk ablak megnyitásához.

    HDI Intellij Add configuration.

  2. A Konfigurációk futtatása/hibakeresése párbeszédpanelen válassza a pluszjelet (+). Ezután válassza az Apache Spark on HDInsight lehetőséget.

    Intellij Add new configuration.

  3. Váltson távoli futtatásra a Fürt lapon. Adja meg a Név, a Spark-fürt és a főosztály nevét. Eszközeink támogatják a végrehajtókkal való hibakeresést. A numExectors alapértelmezett értéke 5, és jobb, ha nem állítja be a 3-nál magasabb értéket. A futtatási idő csökkentése érdekében hozzáadhat spark.yarn.maxAppAttempts függvényeket a feladatkonfigurációkhoz, és az értéket 1 értékre állíthatja. A konfiguráció mentéséhez kattintson az OK gombra.

    Intellij Run debug configurations new.

  4. A konfigurációt a megadott névvel menti a rendszer. A konfiguráció részleteinek megtekintéséhez válassza ki a konfiguráció nevét. A módosítások elvégzéséhez válassza a Konfigurációk szerkesztése lehetőséget.

  5. A konfigurációs beállítások elvégzése után futtathatja a projektet a távoli fürtön.

    Intellij Debug Remote Spark Job Remote run button.

  6. Az alkalmazásazonosítót a kimeneti ablakban ellenőrizheti.

    Intellij Debug Remote Spark Job Remote run result.

Sikertelen feladatprofil letöltése

Ha a feladat elküldése sikertelen, a sikertelen feladatprofilt letöltheti a helyi gépre a további hibakereséshez.

  1. Nyissa meg a Microsoft Azure Storage Explorert, keresse meg a fürt HDInsight-fiókját a sikertelen feladathoz, töltse le a sikertelen feladat erőforrásait a megfelelő helyről: \hdp\spark2-events\.spark-failures\<application ID> egy helyi mappába. A tevékenységek ablak a letöltés előrehaladását jeleníti meg.

    Azure Storage Explorer download failure.

    Azure Storage Explorer download success.

Helyi hibakeresési környezet konfigurálása és hibakeresés

  1. Nyissa meg az eredeti projektet, vagy hozzon létre egy új projektet, és társítsa az eredeti forráskódhoz. A hibakeresés jelenleg csak a Spark2.3.2-es verzióját támogatja.

  2. Az IntelliJ IDEA-ban hozzon létre egy Spark-hibakeresési konfigurációs fájlt, és válassza ki az FTD-fájlt a Korábban letöltött feladaterőforrások közül a Spark-feladat hibakörnyezetének helymezőjéhez .

    crete failure configuration.

  3. Kattintson a helyi futtatás gombra az eszköztáron, a hiba a Futtatás ablakban jelenik meg.

    run-failure-configuration1.

    run-failure-configuration2.

  4. Állítsa be a töréspontot, ahogy a napló jelzi, majd kattintson a helyi hibakeresés gombra a helyi hibakereséshez, ugyanúgy, mint a normál Scala/Java-projektek az IntelliJ-ben.

  5. A hibakeresés után, ha a projekt sikeresen befejeződött, újra elküldheti a sikertelen feladatot a HDInsight-fürtön lévő sparkba.

Következő lépések

Forgatókönyvek

Alkalmazások létrehozása és futtatása

Eszközök és bővítmények

Erőforrások kezelése