Számítási metrikák megtekintése

Ez a cikk bemutatja, hogyan használható a natív számítási metrikák eszköz az Azure Databricks felhasználói felületén a fő hardverek és Spark-metrikák gyűjtésére. Minden olyan számítás, amely a Databricks Runtime 13.3 LTS-t és újabb verziót használja, alapértelmezés szerint hozzáfér ezekhez a metrikákhoz.

A metrikák szinte valós időben, egy percnél rövidebb normál késleltetéssel érhetők el. A metrikák az Azure Databricks által felügyelt tárolóban vannak tárolva, nem az ügyfél tárolójában.

Miben különböznek ezek az új metrikák a Gangliától?

Az új számítási metrikák felhasználói felülete átfogóbb képet nyújt a fürt erőforrás-használatáról, beleértve a Spark-használatot és a belső Databricks-folyamatokat. Ezzel szemben a Ganglia felhasználói felülete csak a Spark-tárolók használatát méri. Ez a különbség a két interfész metrikaértékeinek eltérését eredményezheti.

Számítási metrikák felhasználói felületének elérése

A számítási metrikák felhasználói felületének megtekintése:

1. Kattintson a Számítás gombra az oldalsávon.
2. Kattintson arra a számítási erőforrásra, amelyhez meg szeretné tekinteni a metrikákat.
3. Kattintson a Metrikák fülre.

A hardvermetrikák alapértelmezés szerint megjelennek. A Spark-metrikák megtekintéséhez kattintson a Hardver feliratú legördülő menüre, és válassza a Sparkot. A GPU-t akkor is kiválaszthatja, ha a példány GPU-kompatibilis.

Metrikák szűrése időszak szerint

Az előzménymetrikák megtekintéséhez válasszon ki egy időtartományt a dátumválasztó szűrővel. A metrikákat percenként gyűjtjük, így az elmúlt 30 naptól kezdve bármilyen nap, óra vagy perc szerint szűrhet. Kattintson a naptár ikonra az előre definiált adattartományok közül való kijelöléshez, vagy a szövegmezőn belülre kattintva egyéni értékeket definiálhat.

Feljegyzés

A diagramokon megjelenített időintervallumok a megtekintett idő hosszától függően módosulnak. A legtöbb metrika az aktuálisan megtekintett időintervallumon alapuló átlag.

A legújabb metrikákat a Frissítés gombra kattintva is lekérheti.

Metrikák megtekintése csomópontszinten

Az egyes csomópontok metrikáinak megtekintéséhez kattintson a Compute legördülő menüre, és válassza ki azt a csomópontot, amelyhez meg szeretné tekinteni a metrikákat. A GPU-metrikák csak az egyes csomópontok szintjén érhetők el. A Spark-metrikák nem érhetők el az egyes csomópontokhoz.

Feljegyzés

Ha nem jelöl ki egy adott csomópontot, az eredmény egy fürt összes csomópontja (beleértve az illesztőprogramot is) átlaga lesz.

Hardvermetrikadiagramok

A számítási metrikák felhasználói felületén a következő hardvermetrikadiagramok tekinthetők meg:

• Kiszolgálói terheléselosztás: Ez a diagram az egyes csomópontok processzorhasználatát mutatja az elmúlt percben.
• CPU-kihasználtság: A processzor által az egyes módban töltött idő százalékos aránya a processzor teljes másodperces költségei alapján. A metrika átlaga a diagramon megjelenített időintervallum alapján történik. A nyomon követett módok a következők:
  • vendég: Ha virtuális gépeket futtat, az a processzor, amelyet a virtuális gépek használnak
  • iowait: Az I/O-ra való várakozással töltött idő
  • tétlenség: Az idő, a cpu nem volt mit tenni
  • irq: Megszakításkérésekkel töltött idő
  • szép: A pozitív szépséggel rendelkező folyamatok által használt idő, ami alacsonyabb prioritást jelent, mint a többi tevékenység
  • softirq: Szoftveres megszakítási kérelmekre fordított idő
  • lopás: Ha Ön virtuális gép, akkor az idő, amikor más virtuális gépek "ellopták" a cpu-kból
  • rendszer: A kernelben töltött idő
  • felhasználó: A felhasználói területen töltött idő
• Memóriakihasználtság: Az egyes módok teljes memóriahasználata bájtban mérve, és a diagramon megjelenített időintervallum alapján átlagolt. A rendszer a következő használati típusokat követi nyomon:
  • használt: Használt memória (beleértve a számításon futó háttérfolyamatok által használt memóriát is)
  • szabad: Nem használt memória
  • puffer: A kernelpufferek által használt memória
  • gyorsítótárazott: A fájlrendszer gyorsítótára által az operációs rendszer szintjén használt memória
• Memóriacserélés kihasználtsága: A memória felcserélése minden mód szerint, bájtban mérve, és a diagramon megjelenített időintervallum alapján átlagolt.
• Szabad fájlrendszerterület: Az egyes csatlakoztatási pontok teljes fájlrendszerhasználata bájtban mérve, és a diagramon megjelenített időintervallum alapján számítva.
• Hálózaton keresztül fogadva: Az egyes eszközök által a hálózaton keresztül fogadott bájtok száma, amely a diagramon megjelenített időintervallum alapján átlagolt.
• Hálózaton keresztül továbbítva: Az egyes eszközök által a hálózaton keresztül továbbított bájtok száma, amely a diagramon megjelenített időintervallum alapján átlagolt.
• Aktív csomópontok száma: Ez az aktív csomópontok számát jeleníti meg az adott számítás minden időbélyegén.

Spark-metrikák diagramjai

A számítási metrikák felhasználói felületén a következő Spark-metrikadiagramok tekinthetők meg:

• Kiszolgálói terheléselosztás: Ez a diagram az egyes csomópontok processzorhasználatát mutatja az elmúlt percben.
• Aktív tevékenységek: Az adott időpontban végrehajtott tevékenységek teljes száma, amely a diagramon megjelenített időintervallum alapján átlagolt.
• Összes sikertelen tevékenység: A végrehajtókban sikertelen tevékenységek teljes száma, amely a diagramon megjelenített időintervallum alapján átlagolt.
• Összes befejezett tevékenység: A végrehajtókban befejezett tevékenységek teljes száma, amely a diagramon megjelenített időintervallum alapján átlagolt.
• Tevékenységekteljes száma: A végrehajtókban lévő összes tevékenység (futtatás, sikertelen és befejezett) teljes száma, amely a diagramon megjelenített időintervallum alapján átlagolt.
• Teljes shuffle read: Az shuffle read data teljes mérete bájtban mérve és átlagolva attól függően, hogy melyik időintervallum jelenik meg a diagramon. Shuffle read a szakasz elején lévő összes végrehajtó szerializált olvasási adatainak összegét jelenti.
• Teljes shuffle írás: Az shuffle írási adatok teljes mérete bájtban mérve, és a diagramon megjelenített időintervallum alapján átlagolt. Shuffle Write a továbbítás előtt (általában egy szakasz végén) az összes végrehajtó írott szerializált adatainak összege.
• Teljes tevékenység időtartama: A JVM által a feladatok végrehajtókon való végrehajtásával töltött teljes idő másodpercben mérve, és a diagramon megjelenített időintervallum alapján átlagolt.

GPU-metrikadiagramok

A következő GPU-metrikadiagramok tekinthetők meg a számítási metrikák felhasználói felületén:

• Kiszolgálói terheléselosztás: Ez a diagram az egyes csomópontok processzorhasználatát mutatja az elmúlt percben.
• GPU-nkénti dekóder-kihasználtság: A GPU-dekódoló kihasználtságának százalékos aránya, amely a diagramon megjelenített időintervallum alapján átlagolt.
• GPU-kódolónkénti kihasználtság: A GPU-kódoló kihasználtságának százalékos aránya, amely a diagramon megjelenített időintervallum alapján átlagolva van.
• GPU-nkénti puffer memóriahasználati bájtok: A keretpuffer memóriakihasználtsága bájtban mérve, és a diagramon megjelenített időintervallum alapján átlagolt.
• GPU-nkénti memóriakihasználtság: A GPU-memória kihasználtságának százalékos aránya, amely a diagramon megjelenített időintervallum alapján átlagolt.
• GPU-nkénti kihasználtság: A GPU-kihasználtság százalékos aránya, amely a diagramon megjelenített időintervallum alapján átlagolt.

Hibaelhárítás

Ha hiányos vagy hiányzó metrikákat lát egy adott időszakra vonatkozóan, az a következő problémák egyike lehet:

• A Databricks szolgáltatás metrikáinak lekérdezéséért és tárolásáért felelős kimaradás.
• Hálózati problémák az ügyfél oldalán.
• A számítás sérült állapotban van vagy volt.