Ferdeség és kiömlés

Spill

Az első dolog, amit meg kell keresni egy hosszú ideig futó szakaszban, hogy van-e kiömlött.

A szakasz oldalának tetején láthatók a részletek, amelyek a kiömlésre vonatkozó statisztikákat is tartalmazhatnak:

A kiömlés az, ami akkor történik, ha a Spark kevés memóriát használ. Megkezdi az adatok áthelyezését a memóriából a lemezre, és ez meglehetősen költséges lehet. Ez a leggyakoribb az adatelkeverés során.

Ha nem lát semmilyen statisztikát a kiömlésről, az azt jelenti, hogy a szakasz nem rendelkezik kiömlött állapottal. Ha a fázisban van némi kiömlöttség, tekintse meg ezt az útmutatót a shuffle által okozott kiömlés kezelésére.

Ferdít

A következő dolog, amit meg akarunk vizsgálni, hogy van-e eltérés. A ferdeség akkor van, ha egy vagy csak néhány feladat sokkal tovább tart, mint a többi. Ez gyenge fürtkihasználtságot és hosszabb feladatokat eredményez.

Görgessen le az összefoglaló metrikákhoz. A legfontosabb dolog, amit keresünk, hogy a Maximális időtartam sokkal magasabb, mint a 75. percentilis időtartam. Az alábbi képernyőképen egy kifogástalan állapotú szakasz látható, ahol a 75. percentilis és a Max azonos:

Ha a maximális időtartam 50%-kal nagyobb, mint a 75. percentilis, előfordulhat, hogy ferdeségben szenved.

Ha ferdeség jelenik meg, itt megismerheti a ferdeség szervizelési lépéseit.

Nincs ferdeség vagy kiömlés

Ha nem látja az eltúlzást vagy a kiömlést, lépjen vissza a feladatlapra, hogy áttekintse, mi történik. Görgessen fel a lap tetejére, és kattintson a Társított feladatazonosítók elemre:

Ha a szakasz nem ömlött ki vagy nem tolható el, a következő lépésekért tekintse meg a Spark-fázis magas I/O-ját .