A Delta Live Tables-folyamatok fürtkihasználtságának optimalizálása továbbfejlesztett automatikus skálázással
A Databricks továbbfejlesztett automatikus méretezése optimalizálja a fürt kihasználtságát azáltal, hogy automatikusan kiosztja a fürterőforrásokat a számítási feladatok mennyisége alapján, és minimális hatással van a folyamatok adatfeldolgozási késésére.
A továbbfejlesztett automatikus skálázás az Azure Databricks-fürt automatikus skálázási funkcióján az alábbi funkciókkal javítja a következőket :
- A továbbfejlesztett automatikus skálázás a streamelési számítási feladatok optimalizálását valósítja meg, és továbbfejleszti a kötegelt számítási feladatok teljesítményét. A továbbfejlesztett automatikus skálázás optimalizálja a költségeket azáltal, hogy gépeket ad hozzá vagy távolít el a számítási feladat változásainak megfelelően.
- A továbbfejlesztett automatikus skálázás proaktív módon leállítja a kihasználatlan csomópontokat, miközben garantálja, hogy a leállítás során nincsenek sikertelen feladatok. A meglévő fürt automatikus skálázási funkciója csak akkor méretez le csomópontokat, ha a csomópont üresjáratban van.
A továbbfejlesztett automatikus skálázás az alapértelmezett automatikus skálázási mód, amikor új folyamatot hoz létre a Delta Live Tables felhasználói felületén. A felhasználói felületen a folyamatbeállítások szerkesztésével engedélyezheti a bővített automatikus skálázást a meglévő folyamatokhoz. A továbbfejlesztett automatikus skálázást akkor is engedélyezheti, ha folyamatokat hoz létre vagy szerkeszt a Delta Live Tables API-val.
Fokozott automatikus skálázás engedélyezése
Feljegyzés
Mivel a számítási erőforrások automatikusan kiszolgáló nélküli folyamatokra vannak optimalizálva, a Databricks továbbfejlesztett automatikus skálázási beállításai nem érhetők el, ha a kiszolgáló nélküli (nyilvános előzetes verzió) lehetőséget választja egy folyamathoz.
A kiszolgáló nélküli DLT-folyamatok engedélyezésével kapcsolatos információkért forduljon az Azure Databricks-fiók csapatához.
A bővített automatikus skálázás használatához tegye az alábbiak egyikét:
- Állítsa a Fürt módot továbbfejlesztett automatikus skálázásra, amikor létrehoz egy folyamatot, vagy szerkeszt egy folyamatot a Delta Live Tables felhasználói felületén.
- Adja hozzá a
autoscale
beállítást a folyamatfürt konfigurációhoz, és állítsa be a mezőt amode
következőreENHANCED
: . Lásd a számítási beállítások konfigurálását.
A továbbfejlesztett automatikus skálázás éles folyamatokhoz való konfigurálásakor kövesse az alábbi irányelveket:
- Hagyja meg a
Min workers
beállítást az alapértelmezett értéken. - Állítsa be a
Max workers
beállítást egy értékre a költségvetés és a folyamat prioritása alapján.
Az alábbi példa egy továbbfejlesztett automatikus méretezési fürtöt konfigurál legalább 5 feldolgozóval és legfeljebb 10 feldolgozóval. max_workers
nagyobbnak vagy egyenlőnek kell lennie.min_workers
Feljegyzés
- A továbbfejlesztett automatikus skálázás csak fürtök esetén
updates
érhető el. A meglévő automatikus skálázási funkció fürtökhözmaintenance
használható. - A
autoscale
konfigurációnak két módja van:LEGACY
: Fürt automatikus skálázásának használata.ENHANCED
: Továbbfejlesztett automatikus skálázás használata.
{
"clusters": [
{
"autoscale": {
"min_workers": 5,
"max_workers": 10,
"mode": "ENHANCED"
}
}
]
}
A folyamat automatikusan újraindul az automatikus skálázási konfiguráció módosítása után, ha a folyamat folyamatos végrehajtásra van konfigurálva. Újraindítás után rövid ideig nagyobb késésre számíthat. A megnövekedett késés rövid időszakát követően a fürt méretét a konfiguráció alapján autoscale
frissíteni kell, és a folyamat késését vissza kell adni a korábbi késési jellemzőknek.
Fokozott automatikus skálázást engedélyező folyamatok monitorozása
A Delta Live Tables felhasználói felületén található eseménynaplóval figyelheti a továbbfejlesztett automatikus skálázási metrikákat. A továbbfejlesztett automatikus skálázási események eseménytípusa.autoscale
A következő példaesemények:
Esemény | Üzenet |
---|---|
Fürt átméretezésére irányuló kérelem elindult | Scaling [up or down] to <y> executors from current cluster size of <x> |
A fürt átméretezésére vonatkozó kérés sikeres volt | Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED |
A fürt átméretezésére irányuló kérelem részben sikerült | Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED |
A fürt átméretezésére vonatkozó kérés nem sikerült | Achieved cluster size <x> for cluster <cluster-id> with status FAILED |
A bővített automatikus skálázási eseményeket az eseménynapló közvetlen lekérdezésével is megtekintheti:
- Ha le szeretné kérdezni az eseménynaplót a hátralékmetrikákról, tekintse meg az adat-hátralék figyelését az eseménynapló lekérdezésével.
- Ha figyelni szeretné a fürt átméretezési kéréseit és válaszait a bővített automatikus skálázási műveletek során, tekintse meg az eseménynapló bővített automatikus skálázási eseményeinek monitorozását.
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: