Fürtök kezelése

Ez a cikk bemutatja, hogyan kezelheti az Azure Databricks-fürtöket, beleértve a megjelenítést, szerkesztést, indítást, megszüntetést, törlést, hozzáférés-vezérlést, valamint a teljesítmény és naplók monitorozását.

Fürtök megjelenítése

A munkaterület fürtöinek megtekintéséhez kattintson a Számítás gombra az oldalsávon.

A bal oldalon két oszlop látható, amelyek jelzik, hogy a fürt rögzítve van-e, és hogy a fürt állapota van-e rögzítve. Vigye az egérmutatót az állapot fölé további információkért.

Fürt rögzítése

A fürt leállása után 30 nappal a fürt véglegesen törlődik. Ha egy teljes körű fürtkonfigurációt szeretne tartani egy fürt 30 napnál hosszabb leállása után, a rendszergazda rögzítheti a fürtöt. Up to 100 clusters can be pinned.

A Rendszergazda a fürtlistáról vagy a fürt részletes lapjáról rögzíthetik a fürtöt a rögzítés ikonra kattintva.

A Fürtök API-végpontot is meghívhatja a fürtök programozott rögzítéséhez.

Fürtkonfiguráció megtekintése JSON-fájlként

Néha hasznos lehet JSON-ként megtekinteni a fürtkonfigurációt. Ez különösen akkor hasznos, ha hasonló fürtöket szeretne létrehozni a Clusters API használatával. Meglévő fürt megtekintésekor lépjen a Konfiguráció lapra, kattintson a lap jobb felső sarkában található JSON elemre, másolja a JSON-t, és illessze be az API-hívásba. A JSON-nézet írásvédett.

Fürt szerkesztése

A fürtkonfigurációt a fürt részletes felhasználói felületén szerkesztheti. A Fürtök API-végpontot is meghívhatja a fürt programozott szerkesztéséhez.

Megjegyzés:

• A fürthöz csatolt jegyzetfüzetek és feladatok a szerkesztés után is csatolva maradnak.
• A fürtre telepített kódtárak a szerkesztés után is telepítve maradnak.
• Ha egy futó fürt bármely attribútumát szerkessze (kivéve a fürt méretét és engedélyeit), újra kell indítania. Ez megzavarhatja a fürtöt jelenleg használó felhasználókat.
• Csak futó vagy leállított fürtöket szerkeszthet. A fürt részleteit tartalmazó lapon azonban frissítheti a nem ilyen állapotban lévő fürtök engedélyeit .

Fürt klónozása

Meglévő fürt klónozásához válassza a Klónozás lehetőséget a fürt kebab menüjében (más néven a három pontos menüben).

A klónozás kiválasztása után a fürtlétrehozási felhasználói felület a fürtkonfigurációval előre feltöltve nyílik meg. A klón nem tartalmazza a következő attribútumokat:

• Fürtengedélyek
• Telepített kódtárak
• Csatolt jegyzetfüzetek

Fürtökhöz való hozzáférés szabályozása

A fürt hozzáférés-vezérlése a felügyeleti beállítások lapon lehetővé teszi, hogy a munkaterület rendszergazdái részletes fürthozzáférést biztosítsanak más felhasználóknak. A fürthozzáférés-vezérlésnek két típusa van:

• Fürtlétrehozás engedély: A munkaterület rendszergazdái kiválaszthatják, hogy mely felhasználók hozhatnak létre fürtöket.
• Fürtszintű engedélyek: Az a felhasználó, aki rendelkezik a fürt kezelésére vonatkozó engedéllyel, konfigurálhatja, hogy más felhasználók csatolhatják-e, újraindíthatják, átméretezhetik és kezelhetik-e a fürtöt.

Egy fürt engedélyeinek szerkesztéséhez válassza az Engedélyek szerkesztése lehetőséget a fürt kebab menüjében.

A fürthozzáférés-vezérléssel és a fürtszintű engedélyekkel kapcsolatos további információkért lásd a fürthozzáférés-vezérlést.

Fürt leállása

Fürterőforrások mentéséhez leállíthat egy fürtöt. A leállított fürt konfigurációja úgy van tárolva, hogy később újra felhasználható legyen (vagy feladatok esetén automatikusan üzembe helyezhető). Manuálisan is leállíthat egy fürtöt, vagy konfigurálhatja a fürtöt úgy, hogy egy adott inaktivitási időszak után automatikusan leálljon. Ha a leállított fürtök száma meghaladja a 150-et, a rendszer törli a legrégebbi fürtöket.

Ha egy fürt nincs rögzítve vagy újraindul, a rendszer a leállítás után 30 nappal automatikusan és véglegesen törli azt.

A leállított fürtök a fürtlistában jelennek meg, a fürtnév bal oldalán egy szürke körrel.

Megjegyzés:

Amikor új feladatfürtön futtat egy feladatot (ami általában ajánlott), a fürt leáll, és a feladat befejezésekor nem indítható újra. Ha viszont ütemez egy feladatot egy leállított teljes célú meglévő fürt futtatására, akkor a fürt automatikusan elindul.

Fontos

Ha prémium szintű próbaverziós munkaterületet használ, az összes futó fürt leáll:

• Amikor egy munkaterületet teljes prémium szintűre frissít.
• Ha a munkaterület nincs frissítve, és a próbaidőszak lejár.

Manuális leállítás

A fürtöt manuálisan is leállíthatja a fürtlistáról (a fürt sorában lévő négyzetre kattintva) vagy a fürt részletes lapjára (a Leállítás gombra kattintva).

Automatikus leállítás

A fürtök automatikus leállítását is beállíthatja. A fürt létrehozása során percek alatt megadhat egy inaktivitási időszakot, amely után le szeretné állítani a fürtöt.

Ha a fürt aktuális és utolsó parancsfuttatása közötti különbség nagyobb, mint a megadott inaktivitási időszak, az Azure Databricks automatikusan leállítja a fürtöt.

A fürt akkor minősül inaktívnak, ha a fürt összes parancsa, beleértve a Spark-feladatokat, a strukturált streamelést és a JDBC-hívásokat, befejeződött a végrehajtás.

Figyelmeztetés:

• A fürtök nem jelentik a D adatfolyamok használatából eredő tevékenységet. Ez azt jelenti, hogy a D adatfolyamok futtatása közben egy automatikusan megszűnő fürt leállhat. Kapcsolja ki a D adatfolyamok rendszerű fürtök automatikus leállítását, vagy fontolja meg a strukturált streamelés használatát.
• Az automatikus megszüntetési funkció csak a Spark-feladatokat figyeli, a felhasználó által definiált helyi folyamatokat nem. Ezért ha az összes Spark-feladat befejeződött, előfordulhat, hogy egy fürt leáll, még akkor is, ha helyi folyamatok futnak.
• Az inaktív fürtök továbbra is dBU- és felhőpéldány-díjakat halmoznak fel a lezárás előtti inaktivitási időszakban.

Automatikus leállítás konfigurálása

Az automatikus leállítást a fürt létrehozása felhasználói felületén konfigurálhatja. Győződjön meg arról, hogy a jelölőnégyzet be van jelölve, és adja meg a percek számát az inaktivitási percek ___ utáni leállítása beállításban.

Az automatikus megszüntetés letiltását az Automatikus megszüntetés jelölőnégyzet törlésével vagy a következő inaktivitási 0időszak megadásával tilthatja le:

Megjegyzés:

Az automatikus leállítás a legújabb Spark-verziókban támogatott legjobban. A régebbi Spark-verziók ismert korlátozásokkal rendelkeznek, amelyek a fürttevékenység pontatlan jelentését eredményezhetik. A JDBC, R vagy streamelési parancsokat futtató fürtök például jelenthetnek elavult tevékenységidőt, amely korai fürtleálláshoz vezet. Frissítsen a legújabb Spark-verzióra, hogy kihasználhassa a hibajavításokat és az automatikus megszüntetés fejlesztéseit.

Váratlan megszüntetés

Előfordulhat, hogy egy fürt váratlanul leáll, nem manuális leállítás vagy konfigurált automatikus leállítás eredményeként.

A megszüntetési okok és a szervizelési lépések listáját a Tudásbázisban találja.

Fürt törlése

A fürt törlése leállítja a fürtöt, és eltávolítja annak konfigurációját. Fürt törléséhez válassza a Törlés lehetőséget a fürt menüjében.

Figyelmeztetés:

Ezt a műveletet nem vonhatja vissza.

A rögzített fürtök törléséhez először a rendszergazdának kell törölnie.

A Fürtök API-végpontot is meghívhatja, hogy programozott módon töröljön egy fürtöt.

Fürt újraindítása

A korábban leállított fürtöt újraindíthatja a fürtlistából, a fürt részletes lapjáról vagy egy jegyzetfüzetből. A Fürtök API-végpontot is meghívhatja a fürt programozott elindításához.

Az Azure Databricks egyedi fürtazonosítójával azonosítja a fürtöt. Leállított fürt indításakor a Databricks újra létrehozza a fürtöt ugyanazzal az azonosítóval, automatikusan telepíti az összes kódtárat, és újratelepíti a jegyzetfüzeteket.

Megjegyzés:

Ha próba-munkaterületet használ, és a próbaidőszak lejárt, nem fog tudni fürtöt indítani.

Fürt újraindítása a legújabb rendszerképekkel való frissítéséhez

Amikor újraindít egy fürtöt, a rendszer lekéri a számítási erőforrás-tárolók és a virtuálisgép-gazdagépek legfrissebb lemezképeit. Fontos, hogy rendszeres újraindításokat ütemezzen a hosszú ideig futó fürtökre, például a streamelési adatok feldolgozására.

Az Ön felelőssége, hogy rendszeresen újraindítsa az összes számítási erőforrást, hogy a rendszerkép naprakész legyen a legújabb rendszerkép-verzióval.

Fontos

Ha engedélyezi a fiók vagy a munkaterület megfelelőségi biztonsági profilját , a hosszú ideig futó fürtök 25 nap elteltével automatikusan újraindulnak. A Databricks azt javasolja, hogy a munkaterület rendszergazdái manuálisan indítsanak újra fürtöket egy ütemezett karbantartási időszak során. Ez csökkenti az ütemezett feladatok automatikus újraindításának kockázatát.

Példa jegyzetfüzetre: Hosszú ideig futó fürtök keresése

Ha Ön munkaterület-rendszergazda, futtathat egy szkriptet, amely meghatározza, hogy az egyes fürtök mennyi ideig futnak, és igény szerint újraindíthatja őket, ha a fürtök régebbiek a megadott számú napnál. Az Azure Databricks ezt a szkriptet jegyzetfüzetként biztosítja.

A szkript első sorai a konfigurációs paramétereket határozzák meg:

• min_age_output: A fürtök által futtatható napok maximális száma. Az alapértelmezett érték 1.
• perform_restart: Ha Truea szkript újraindítja azokat a fürtöket, amelynek életkora meghaladja a megadott min_age_outputnapok számát. Az alapértelmezett beállítás a Falsehosszú ideig futó fürtöket azonosítja, de nem indítja újra őket.
• secret_configuration: Cserélje le REPLACE_WITH_SCOPE a REPLACE_WITH_KEY titkos kulcs hatókörét és kulcsnevét. A titkos kódok beállításával kapcsolatos további részletekért tekintse meg a jegyzetfüzetet.

Figyelmeztetés:

Ha be Truevan állítvaperform_restart, a szkript automatikusan újraindítja a jogosult fürtöket, ami az aktív feladatok meghiúsulását és a megnyitott jegyzetfüzetek alaphelyzetbe állítását okozhatja. A munkaterület üzleti szempontból kritikus feladatainak megzavarásának kockázatának csökkentése érdekében tervezze meg az ütemezett karbantartási időszakot, és mindenképpen értesítse a munkaterület felhasználóit.

A hosszú ideig futó fürtjegyzetfüzet azonosítása és opcionális újraindítása

Jegyzetfüzet beszerzése

Fürt automatikus útmutatója feladatokhoz és JDBC-/ODBC-lekérdezésekhez

Ha egy leállított fürthöz rendelt feladat futtatása ütemezve van, vagy egy JDBC/ODBC-adapterről csatlakozik egy leállított fürthöz, a fürt automatikusan újraindul. Lásd: Feladat létrehozása és JDBC-csatlakozás.

A fürt automatikus indításával úgy konfigurálhatja a fürtöket, hogy automatikusan leálljanak anélkül, hogy manuális beavatkozásra van szükség az ütemezett feladatok fürtjeinek újraindításához. Emellett ütemezheti a fürt inicializálását úgy is, hogy ütemez egy feladatot egy leállított fürtön való futtatásra.

A fürt automatikus újraindítása előtt a fürt - és feladathozzáférés-vezérlési engedélyek ellenőrzése megtörténik.

Megjegyzés:

Ha a fürt az Azure Databricks platform 2.70-es vagy korábbi verziójában lett létrehozva, nincs automatikus indítás: a leállított fürtökön való futtatásra ütemezett feladatok sikertelenek lesznek.

Fürtinformációk megtekintése az Apache Spark felhasználói felületén

A Spark-feladatok részletes információit a Fürt részletei lapon található Spark felhasználói felület fülre kattintva tekintheti meg.

If you restart a terminated cluster, the Spark UI displays information for the restarted cluster, not the historical information for the terminated cluster.

Fürtnaplók megtekintése

Az Azure Databricks háromféle naplózást biztosít a fürthöz kapcsolódó tevékenységekhez:

• A fürt eseménynaplói, amelyek rögzítik a fürt életciklusának eseményeit, például a létrehozást, a leállítást és a konfigurációs módosításokat.
• Apache Spark-illesztőprogram és feldolgozói napló, amelyet hibakereséshez használhat.
• Fürt init-script naplói, amelyek értékesek az init-szkriptek hibakereséséhez.

Ez a szakasz a fürt eseménynaplóit, valamint az illesztőprogram- és feldolgozónaplókat ismerteti. Az init-script naplókkal kapcsolatos részletekért lásd az Init-szkriptnaplózást.

Fürt eseménynaplói

A fürt eseménynaplója olyan fontos fürtéletciklus-eseményeket jelenít meg, amelyeket manuálisan, felhasználói műveletek vagy az Azure Databricks automatikusan aktivál. Ezek az események hatással vannak a teljes fürt működésére, valamint a fürtön futó feladatokra is.

A támogatott eseménytípusokért tekintse meg a Clusters API adatstruktúráját.

Az események tárolása 60 napig történik, ami hasonló az Azure Databricks más adatmegőrzési idejéhez.

View a cluster event log

A fürt eseménynaplójának megtekintéséhez válassza az Eseménynapló lapot a fürt részleteinek lapján.

Az eseményekkel kapcsolatos további információkért kattintson a napló sorára, majd a JSON fülre a részletekért.

Fürtillesztő és feldolgozói naplók

A notebookokból, feladatokból és kódtárakból származó közvetlen nyomtatási és naplóutasítások a Spark-illesztőprogram naplóiba kerülnek. Ezeket a naplófájlokat a fürt részletei lapon található Illesztőprogram-naplók lapon érheti el. A fájl letöltéséhez kattintson a naplófájl nevére.

These logs have three outputs:

• Standard output
• Standard error
• Log4j-naplók

A Spark-feldolgozói naplók megtekintéséhez használja a Spark felhasználói felület lapfülét. A fürthöz naplók kézbesítési helyét is konfigurálhatja. A munkavégző és a fürtnapló is a megadott helyre lesz kézbesítve.

Teljesítmény figyelése

Az Azure Databricks-fürtök teljesítményének monitorozásához az Azure Databricks hozzáférést biztosít a metrikákhoz a fürt részleteinek oldalán. A Databricks Runtime 12.2 és újabb verzió esetén az Azure Databricks hozzáférést biztosít a Ganglia-metrikákhoz. A Databricks Runtime 13.0-s vagy újabb verziója esetén a fürtmetrikákat az Azure Databricks biztosítja.

In addition, you can configure an Azure Databricks cluster to send metrics to a Log Analytics workspace in Azure Monitor, the monitoring platform for Azure.

A Datadog-ügynököket a fürtcsomópontokra is telepítheti, hogy Datadog-metrikákat küldjön a Datadog-fióknak.

Fürtmetrikák

A fürtök metrikái a Databricks Runtime 13.0 és újabb verziók alapértelmezett monitorozási eszköze. A fürtmetrika felhasználói felületének eléréséhez lépjen a Fürt részletei lap Metrikák lapjára.

Az előzménymetrikák megtekintéséhez válasszon ki egy időtartományt a dátumválasztó szűrővel. A metrikákat percenként gyűjtjük. A legújabb metrikákat a Frissítés gombra kattintva is lekérheti. További információért lásd: Valós idejű és múltbéli fürtmetrikák megtekintése.

Ganglia-metrikák

Megjegyzés:

A Ganglia-metrikák csak a Databricks Runtime 12.2-hez és az alábbi verzióhoz érhetők el.

A Ganglia felhasználói felületének eléréséhez lépjen a Fürt részletei lap Metrikák lapjára. A CPU-metrikák a Ganglia felhasználói felületén érhetők el az összes Databricks-futtatókörnyezethez. A GPU-metrikák GPU-kompatibilis fürtökhöz érhetők el.

Az élő metrikák megtekintéséhez kattintson a Ganglia felhasználói felületére .

Az előzménymetrikák megtekintéséhez kattintson egy pillanatképfájlra. The snapshot contains aggregated metrics for the hour preceding the selected time.

Megjegyzés:

A Ganglia nem támogatott a Docker-tárolókban. Ha Docker-tárolót használ a fürttel, a Ganglia-metrikák nem lesznek elérhetők.

Ganglia-metrikák gyűjteményének konfigurálása

Alapértelmezés szerint az Azure Databricks 15 percenként gyűjt Ganglia-metrikákat. A gyűjtési időszak konfigurálásához állítsa be a DATABRICKS_GANGLIA_SNAPSHOT_PERIOD_MINUTES környezeti változót init szkripttel vagy az spark_env_varsÚj fürt létrehozása API mezőjében.

Azure Monitor

Konfigurálhat egy Azure Databricks-fürtöt, hogy metrikákat küldjön egy Log Analytics-munkaterületre az Azure Monitorban, az Azure monitorozási platformjában. For complete instructions, see Monitoring Azure Databricks.

Megjegyzés:

Ha az Azure Databricks-munkaterületet a saját virtuális hálózatában telepítette, és hálózati biztonsági csoportokat (NSG) konfigurált az Azure Databricks által nem szükséges kimenő forgalom letiltására, akkor konfigurálnia kell egy további kimenő szabályt az "AzureMonitor" szolgáltatáscímkéhez.

Példa jegyzetfüzetre: Datadog-metrikák

Datadog-ügynököket telepíthet fürtcsomópontokra, hogy Datadog-metrikákat küldjön a Datadog-fióknak. Az alábbi jegyzetfüzet bemutatja, hogyan telepíthet Datadog-ügynököt fürtre egy fürt hatókörű init-szkripttel.

A Datadog-ügynök minden fürtre való telepítéséhez fürtszabályzat használatával kezelje a fürt hatókörű init-szkriptet.

A Datadog-ügynök init szkriptfüzetének telepítése

Jegyzetfüzet beszerzése

Kihasználatlan példányok leszerelése

Mivel a kihasználatlan példányok csökkenthetik a költségeket, a fürtök létrehozása az igény szerinti példányok helyett a kihasználatlan példányok használatával gyakori módszer a feladatok futtatására. A kihasználatlan példányokat azonban a felhőszolgáltatók ütemezési mechanizmusai elő tudják készíteni. A kihasználatlan példányok előzetes észlelése problémákat okozhat a futó feladatokkal kapcsolatban, például:

• Lekérési hibák az shuffle-ben
• Adatvesztés elfojtása
• RDD-adatvesztés
• Sikertelen feladatok

Engedélyezheti a leszerelést a problémák megoldásához. A leszerelés kihasználja azt az értesítést, amelyet a felhőszolgáltató általában a kihasználatlan példány leszerelése előtt küld. Amikor egy végrehajtót tartalmazó kihasználatlan példány előzetes értesítést kap, a leszerelési folyamat megpróbálja áttelepíteni az shuffle- és RDD-adatokat az kifogástalan végrehajtókra. A végső előzés előtti időtartam általában 30 másodperc és 2 perc között van a felhőszolgáltatótól függően.

A Databricks azt javasolja, hogy engedélyezze az adatmigrálást, ha a leszerelés is engedélyezve van. A hibák lehetősége általában csökken, mivel több adat migrálása történik, beleértve a lekérési hibákat, az elegyítő adatvesztést és az RDD-adatvesztést. Az adatmigrálás alacsonyabb újraszámítást és megtakarított költségeket is eredményezhet.

Megjegyzés:

A leszerelés a legjobb megoldás, és nem garantálja, hogy az összes adat migrálható a végső előkészület előtt. A leszerelés nem garantálható az shuffle-beolvasási hibák ellen, ha a futtatott feladatok az shuffle-adatokat lekérik a végrehajtótól.

Ha engedélyezve van a leszerelés, a rendszer nem adja hozzá a sikertelen kísérletek teljes számához a kihasználatlan példányok előzményei által okozott feladathibákat. A preemption által okozott feladathibák nem számítanak sikertelen kísérletnek, mert a hiba oka kívül esik a tevékenységen, és nem eredményez feladathibát.

Leszerelés engedélyezése

A fürt leszerelésének engedélyezéséhez írja be a következő tulajdonságokat a Spark lap Speciális beállítások csoportjába a fürtkonfiguráció felhasználói felületén. Ezekről a tulajdonságokról további információt a Spark-konfigurációban talál.

• Az alkalmazások leszerelésének engedélyezéséhez írja be ezt a tulajdonságot a Spark konfigurációs mezőjébe:

  spark.decommission.enabled true
  

• Ha a leszerelés során engedélyezni szeretné az adatmigrálást, írja be ezt a tulajdonságot a Spark konfigurációs mezőjébe:

  spark.storage.decommission.enabled true
  spark.storage.decommission.shuffleBlocks.enabled true
  

• Ha engedélyezni szeretné az RDD-gyorsítótár adatmigrálását a leszerelés során, írja be ezt a tulajdonságot a Spark konfigurációs mezőjébe:

  spark.storage.decommission.enabled true
  spark.storage.decommission.rddBlocks.enabled true
  

  Megjegyzés:

  Ha az RDD StorageLevel replikációja 1-nél többre van állítva, a Databricks nem javasolja az RDD-adatok áttelepítésének engedélyezését, mivel a replikák biztosítják, hogy az RDD-k ne veszítsék el az adatokat.

• A dolgozók leszerelésének engedélyezéséhez írja be ezt a tulajdonságot a Környezeti változók mezőbe:

  SPARK_WORKER_OPTS="-Dspark.decommission.enabled=true"
  

A leszerelési állapot és a veszteség okának megtekintése a felhasználói felületen

Ha egy feldolgozó leszerelési állapotát szeretné elérni a felhasználói felületen, lépjen a Spark-fürt felhasználói felületének fő lapjára.

Amikor a leszerelés befejeződött, a végrehajtó veszteségi okát a Fürt részletei lap Spark felhasználói > felület végrehajtói lapján tekintheti meg.