Apache Spark-alkalmazások hibakeresése HDInsight-fürtön az Azure Toolkit for IntelliJ-vel SSH-n keresztül

Cikk
03/15/2024

Ez a cikk részletes útmutatást nyújt arról, hogyan használható a HDInsight Tools az Azure Toolkit for IntelliJ-ben alkalmazások távoli hibakeresésére EGY HDInsight-fürtön.

Előfeltételek

Apache Spark-fürt megléte a HDInsightban. Lásd: Apache Spark-fürt létrehozása.
Windows-felhasználók számára: Amíg a helyi Spark Scala-alkalmazást windowsos számítógépen futtatja, kivételt kaphat a SPARK-2356-ban leírtak szerint. A kivétel azért fordul elő, mert a Windows WinUtils.exe hiányzik.

A hiba megoldásához töltse le a Winutils.exe egy olyan helyre, mint a C:\WinUtils\bin. Ezután adja hozzá a környezeti változót HADOOP_HOME, és állítsa a változó értékét a C:\WinUtils értékre.
IntelliJ IDEA (A közösségi kiadás ingyenes.).
Azure Toolkit for IntelliJ.
Scala beépülő modul intelliJ-hez.
Egy SSH-ügyfél. További információért lásd: Csatlakozás a HDInsighthoz (Apache Hadoop) SSH-val.

Spark Scala-alkalmazás létrehozása

Indítsa el az IntelliJ IDEA-t, és válassza az Új projekt létrehozása lehetőséget az Új projekt ablak megnyitásához.
Válassza az Apache Spark/HDInsight lehetőséget a bal oldali panelen.
Válassza a Spark Project with Samples (Scala) lehetőséget a főablakból.
A Build eszköz legördülő listájában válasszon az alábbiak közül:
- A Maven a Scala projektlétrehozási varázslójának támogatása.
- SBT a függőségek kezeléséhez és a Scala-projekt létrehozásához.
Válassza a Tovább lehetőséget.

A következő Új projekt ablakban adja meg a következő információkat:

Tulajdonság	Leírás
Projekt neve	Adjon meg egy nevet. Ez az útmutató a felhasználásokat ismerteti `myApp`.
Projekt helye	Adja meg a projekt mentésének kívánt helyét.
Project SDK	Ha üres, válassza az Új lehetőséget, és lépjen a JDK-ra.
Spark-verzió	A létrehozási varázsló integrálja a Spark SDK és a Scala SDK megfelelő verzióját. Ha a Spark-fürt verziója 2.0-nál korábbi, válassza a Spark 1.x lehetőséget. Ellenkező esetben válassza a Spark 2.x. Ez a példa a Spark 2.3.0 -t (Scala 2.11.8) használja.

Intellij New Project select Spark version.

Válassza a Befejezés lehetőséget. A projekt elérhetővé válása eltarthat néhány percig. A jobb alsó sarokban megtekintheti az előrehaladást.
Bontsa ki a projektet, és navigáljon az src>fő>scala-mintához.> Kattintson duplán a SparkCore_WasbIOTest.

Helyi futtatás végrehajtása

A SparkCore_WasbIOTest szkriptben kattintson a jobb gombbal a szkriptszerkesztőre, majd válassza a "SparkCore_WasbIOTest" parancsot a helyi futtatáshoz.
Miután a helyi futtatás befejeződött, láthatja a kimeneti fájl mentését az aktuális projektkezelő alapértelmezett adataiba>.
Eszközeink automatikusan beállították az alapértelmezett helyi futtatási konfigurációt a helyi futtatás és a helyi hibakeresés végrehajtásakor. Nyissa meg a konfigurációt [Spark on HDInsight] XXX a jobb felső sarokban, a [Spark on HDInsight]XXX már létrejött az Apache Spark on HDInsight alatt. Váltás helyi futtatás lapra.
- Környezeti változók: Ha már beállította a rendszer környezeti változójának HADOOP_HOME C:\WinUtils értékre, automatikusan észleli, hogy nincs szükség manuális hozzáadásra.
- WinUtils.exe Hely: Ha nem állította be a rendszerkörnyezet változóját, a gombra kattintva megtalálhatja a helyet.
- Csak válasszon két lehetőség közül, és ezekre nincs szükség MacOS-en és Linuxon.
A helyi futtatás és a helyi hibakeresés végrehajtása előtt manuálisan is beállíthatja a konfigurációt. Az előző képernyőképen válassza ki a pluszjelet (+). Ezután válassza az Apache Spark on HDInsight lehetőséget. Adja meg a név, a menteni kívánt főosztály nevét, majd kattintson a helyi futtatás gombra.

Helyi hibakeresés végrehajtása

Nyissa meg a SparkCore_wasbloTest szkriptet, és állítson be töréspontokat.
Kattintson a jobb gombbal a szkriptszerkesztőre, majd válassza a Hibakeresés a(z) [Spark on HDInsight]XXX" lehetőséget a helyi hibakeresés végrehajtásához.

Távoli futtatás végrehajtása

Navigáljon a Szerkesztési konfigurációk futtatásához>.... Ebből a menüből létrehozhatja vagy szerkesztheti a távoli hibakeresés konfigurációit.
A Konfigurációk futtatása/hibakeresése párbeszédpanelen válassza a pluszjelet (+). Ezután válassza az Apache Spark on HDInsight lehetőséget.
Váltson távoli futtatásra a Fürt lapon. Adja meg a Név, a Spark-fürt és a főosztály nevét. Ezután kattintson a Speciális konfiguráció (Távoli hibakeresés) elemre. Eszközeink támogatják a végrehajtókkal való hibakeresést. A numExectors alapértelmezett értéke 5. Jobb, ha nem állítja be a 3-nál magasabb értéket.
A Speciális konfiguráció (Távoli hibakeresés) részben válassza a Spark távoli hibakeresésének engedélyezése lehetőséget. Adja meg az SSH-felhasználónevet, majd adjon meg egy jelszót, vagy használjon titkos kulcsfájlt. Ha távoli hibakeresést szeretne végezni, be kell állítania. Nincs szükség a beállításra, ha csak távoli futtatásra van szüksége.
A konfigurációt a megadott névvel menti a rendszer. A konfiguráció részleteinek megtekintéséhez válassza ki a konfiguráció nevét. A módosítások elvégzéséhez válassza a Konfigurációk szerkesztése lehetőséget.
A konfigurációs beállítások elvégzése után futtathatja a projektet a távoli fürtön, vagy elvégezheti a távoli hibakeresést.
Kattintson arra a Leválasztás gombra, amelyen a beküldési naplók nem jelennek meg a bal oldali panelen. A háttérrendszeren azonban továbbra is fut.

Távoli hibakeresés végrehajtása

Állítson be töréspontokat, majd kattintson a Távoli hibakeresés ikonra. A távoli beküldés különbsége, hogy az SSH-felhasználónevet/jelszót konfigurálni kell.
Amikor a program végrehajtása eléri a töréspontot, megjelenik egy Illesztőprogram lap és két Végrehajtó lap a Hibakereső panelen. A Program folytatása ikonra kattintva folytathatja a kód futtatását, amely ezután eléri a következő töréspontot. A hibakereséshez a megfelelő Végrehajtó lapra kell váltania. A végrehajtási naplókat a megfelelő Konzol lapon tekintheti meg.

Távoli hibakeresés és hibajavítás végrehajtása

Állítson be két töréspontot, majd válassza a Hibakeresés ikont a távoli hibakeresési folyamat elindításához.
A kód az első töréspontnál áll meg, és a paraméter és a változó adatai megjelennek a Változók panelen.
A folytatáshoz válassza a Program folytatása ikont. A kód a második ponton áll meg. A kivétel a várt módon történik.
Válassza ismét a Program folytatása ikont. A HDInsight Spark-beküldési ablakban "a feladat futtatása sikertelen" hibaüzenet jelenik meg.
Ha dinamikusan szeretné frissíteni a változó értékét az IntelliJ hibakeresési funkciójának használatával, válassza ismét a Hibakeresés lehetőséget. Ismét megjelenik a Változók panel.
Kattintson a jobb gombbal a célra a Hibakeresés lapon, majd válassza az Érték beállítása parancsot. Ezután adjon meg egy új értéket a változóhoz. Ezután kattintson az Enter gombra az érték mentéséhez.
A program futtatásához válassza a Program folytatása ikont. Ezúttal a rendszer nem kap kivételt. Láthatja, hogy a projekt kivétel nélkül sikeresen fut.