Az Azure Databricks compute használata a feladataival

Azure Databricks-feladat futtatásakor a feladat részeként konfigurált feladatok az Azure Databricks-számításon futnak, a feladat típusától függően kiszolgáló nélküli számításon, fürtön vagy SQL-raktáron. A feladatok üzembe helyezésekor fontos a számítási típus és a konfigurációs beállítások kiválasztása. Ez a cikk javaslatokat tartalmaz az Azure Databricks számítási erőforrásainak a feladatok futtatásához való használatára.

A kiszolgáló nélküli számítás Azure Databricks-feladatokkal való használatáról további információt az Azure Databricks-feladat futtatása kiszolgáló nélküli számítással munkafolyamatokhoz című témakörben talál.

Feljegyzés

A titkos kulcsok nem jelennek meg a fürt Spark-illesztőprogramjának naplójából stdout és stderr streamjeiből. A bizalmas adatok védelme érdekében a Spark-illesztőprogramok naplói alapértelmezés szerint csak a FELADATKEZELÉS engedéllyel, az egyfelhasználós hozzáférési móddal és a megosztott hozzáférési módú fürtökkel rendelkező felhasználók számára tekinthetők meg. Ha engedélyezni szeretné, hogy a CAN ATTACH TO vagy CAN RESTART engedéllyel rendelkező felhasználók megtekinthetik a fürtök naplóit, állítsa be a következő Spark-konfigurációs tulajdonságot a fürtkonfigurációban: spark.databricks.acl.needAdminPermissionToViewLogs false

Nincs elkülönítési megosztott hozzáférési módú fürt, a Spark-illesztőprogram-naplókat azok a felhasználók tekinthetik meg, aki rendelkezik CSATOLÁSI vagy KEZELÉSI engedéllyel. Ha csak a CAN MANAGE engedéllyel rendelkező felhasználókra szeretné korlátozni a naplók olvasását, állítsa be spark.databricks.acl.needAdminPermissionToViewLogs a következőt true: .

Tekintse meg a Spark-konfigurációt , amelyből megtudhatja, hogyan adhat hozzá Spark-tulajdonságokat egy fürtkonfigurációhoz.

Megosztott feladatfürtök használata

Ha több feladatot vezénylő feladatokkal szeretné optimalizálni az erőforrás-használatot, használjon megosztott feladatfürtöket. A megosztott feladatfürt lehetővé teszi, hogy ugyanabban a feladatban több tevékenység futtassa újra a fürtöt. Egyetlen feladatfürt használatával futtathatja a feladat részét képező összes feladatot, vagy több, adott számítási feladathoz optimalizált feladatfürtöt. Megosztott feladatfürt használata:

1. Feladat létrehozásakor és a fürtkonfiguráció befejezésekor válassza az Új feladatfürtök lehetőséget.
2. Jelölje ki az új fürtöt, amikor feladatot ad hozzá a feladathoz, vagy hozzon létre egy új feladatfürtöt. Az Új feladatfürtök kiválasztásakor konfigurált összes fürt elérhető a feladat bármely tevékenységéhez.

A megosztott feladatfürtök hatóköre egyetlen feladatfuttatásra van korlátozva, és más feladatok vagy ugyanazon feladat futtatásai nem használhatják.

A tárak nem deklarálhatók megosztott feladatfürt-konfigurációban. Függő kódtárakat kell hozzáadnia a feladatbeállításokhoz.

Válassza ki a feladathoz megfelelő fürttípust

• Az új feladatfürtök dedikált fürtök egy feladathoz vagy feladatfuttatáshoz. A rendszer akkor hoz létre és indít el egy megosztott feladatfürtöt, amikor a fürtöt használó első tevékenység elindul és befejeződik, miután a fürt használatával végzett utolsó tevékenység befejeződött. A fürt tétlen állapotban nem fejeződik be, hanem csak az összes tevékenység befejezése után. Ha egy megosztott feladatfürt meghiúsul, vagy az összes tevékenység befejezése előtt leáll, létrejön egy új fürt. Az egyetlen tevékenységre hatókörrel rendelkező fürt akkor jön létre és indul el, amikor a tevékenység elindul, és a tevékenység befejezésekor leáll. Éles környezetben a Databricks új megosztott vagy tevékenységhatókörű fürtöket javasol, hogy minden feladat vagy tevékenység egy teljesen elkülönített környezetben fusson.
• Amikor egy feladatot egy új fürtön futtat, a tevékenység adatelemzési (tevékenység)számítási feladatként lesz kezelve, a tevékenységprofil díjszabásának függvényében. Ha egy feladatot egy meglévő teljes célú fürtön futtat, a tevékenység adatelemzési (teljes célú) számítási feladatként lesz kezelve, a teljes körű számítási feladatok díjszabásának függvényében.
• Ha egy leállított meglévő fürtöt választ ki, és a feladat tulajdonosának VAN ÚJRAINDÍTÁSi engedélye, az Azure Databricks elindítja a fürtöt a feladat ütemezett futtatásakor.
• A meglévő teljes célú fürtök olyan feladatokhoz működnek a legjobban, mint például az irányítópultok rendszeres időközönkénti frissítése.

Készlet használata a fürt kezdési idejének csökkentéséhez

Az új feladatfürt kezdési idejének csökkentéséhez hozzon létre egy készletet, és konfigurálja a feladat fürtjét a készlet használatára.