Konfigurace fondů

Tento článek vysvětluje možnosti konfigurace, které jsou k dispozici při vytváření a úpravách fondu.

Konfigurace fondu

Velikost fondu a automatické ukončení

Když vytváříte fond a chcete řídit jeho velikost, můžete nastavit tři parametry: minimální nečinné instance, maximální kapacitu a automatické ukončení nečinné instance.

Minimální počet nečinných instancí

Minimální počet instancí, které fond udržuje nečinný. Tyto instance se neukončí, bez ohledu na nastavení zadané v části Automatické ukončení instance nečinnosti. Pokud cluster využívá nečinné instance z fondu, Azure Databricks další instance, aby se zachovalo minimum.

Konfigurace minimálních nečinných instancí

Maximální kapacita

Maximální počet instancí, které fond zř zdaní. Pokud je tato hodnota nastavená, omezí se všechny instance (nečinnost + použito). Pokud cluster využívající fond požaduje během automatického škálování více instancí, než je toto číslo,požadavek selže s INSTANCE_POOL_MAX_CAPACITY_FAILURE chybou.

Konfigurace maximální kapacity

Tato konfigurace je volitelná. Azure Databricks hodnotu doporučujeme nastavit pouze v následujících případech:

  • Máte kvótu instancí, do které musíte zůstat.
  • Chcete chránit jednu sadu práce před dopadem na jinou sadu práce. Předpokládejme například, že vaše kvóta instance je 100 a máte týmy A a B, které potřebují spouštět úlohy. Můžete vytvořit fond A s maximálním 50 a fondem B s maximálním 50, aby oba týmy sdílely 100 kvót.
  • Musíte náklady na limitovat.

Automatické ukončení nečinné instance

Doba v minutách, kdy instance nad hodnotou nastavenou v poli Minimální počet nečinných instancí mohou být před ukončením fondem nečinné.

Konfigurace automatického ukončení nečinné instance

Typy instancí

Fond se skládá z obou nečinných instancí, které jsou připravené pro nové clustery a instance, které používají spuštěné clustery. Všechny tyto instance jsou stejného typu poskytovatele instancí vybrané při vytváření fondu.

Typ instance fondu není možné upravit. Clustery připojené k fondu používají stejný typ instance pro ovladač a pracovní uzly. Různé rodiny typů instancí se hodí pro různé případy použití, jako jsou úlohy náročné na paměť nebo úlohy náročné na výpočetní výkon.

Typy instancí

Azure Databricks před vynětou podporou pro typ instance vždy poskytuje jednoleté oznámení o vynění.

Poznámka

Pokud vaše požadavky na zabezpečení zahrnují izolaci výpočetníchprostředků, Standard_F72s_V2 jako typ pracovního procesu vyberte novou instanci. Tyto typy instancí představují izolované virtuální počítače, které spotřebovávají celého fyzického hostitele a poskytují potřebnou úroveň izolace potřebnou k podpoře například úloh IL5 (Department of Defense Impact Level 5) v oblasti obrany USA.

Předběžná Databricks Runtime verze

Spouštění clusteru můžete urychlit výběrem Databricks Runtime, která se má načíst do nečinných instancí ve fondu. Pokud uživatel vybere tento modul runtime při vytváření clusteru s podporou fondu, spustí se tento cluster ještě rychleji než cluster s podporou fondu, který nebude používat předem načtenou Databricks Runtime verzi.

Když tuto možnost nastavíte na Žádné, spuštění clusteru se zpomalí, protože Databricks Runtime se na vyžádání stáhne do nečinných instancí ve fondu. Když cluster uvolní instance ve fondu, zůstane Databricks Runtime uložená v mezipaměti na těchto instancích. Další operace vytvoření clusteru, která používá stejnou verzi Databricks Runtime, může toto chování ukládání do mezipaměti těžit, ale nezaručuje se.

Předem načtená verze modulu runtime

Značky fondu

Značky fondu umožňují snadno monitorovat náklady na cloudové prostředky používané různými skupinami ve vaší organizaci. Značky můžete zadat jako páry klíč-hodnota při vytváření fondu a Azure Databricks tyto značky použije pro cloudové prostředky, jako jsou virtuální počítače a diskové svazky.

Pro usnadnění Azure Databricks u každého fondu tři výchozí značky: Vendor DatabricksInstancePoolId , a DatabricksInstancePoolCreatorId . Vlastní značky můžete přidat také při vytváření fondu. Můžete přidat až 41 vlastních značek.

Dědičnost vlastních značek

Clustery s podporou fondu dědí výchozí a vlastní značky z konfigurace fondu. Podrobné informace o tom, jak značky fondu a značky clusteru spolupracují, najdete v tématu Monitorování využití pomocí značek clusteru, fondua pracovního prostoru.

Konfigurace vlastních značek fondu

  1. V dolní části stránky konfigurace fondu vyberte kartu Značky.

  2. Zadejte pár klíč-hodnota pro vlastní značku.

    Pár klíč-hodnota značky

  3. Klikněte na Přidat.

Automatické škálování místního úložiště

Často může být obtížné odhadnout, kolik místa na disku bude konkrétní úloha trvat. Abyste při vytváření museli odhadnout, kolik gigabajtů spravovaných disků se má připojit k vašemu fondu, Azure Databricks automaticky povolí automatické škálování místního úložiště na všech Azure Databricks fondech.

Díky automatickému škálování místního Azure Databricks monitoruje množství volného místa na disku dostupného na instancích fondu. Pokud je instance na disku příliš nízká, nový spravovaný disk se automaticky připojí, než vyčerpá místo na disku. Disky jsou připojené až do limitu 5 TB celkového místa na disku na virtuální počítač (včetně počátečního místního úložiště virtuálního počítače).

Spravované disky připojené k virtuálnímu počítači se odpojeny pouze v případě, že se virtuální počítač vrátí do Azure. To znamená, že spravované disky se nikdy neodpoutá od virtuálního počítače, pokud jsou součástí fondu.

Spotové instance

Pokud chcete ušetřit náklady, můžete použít spotové instance zaškrtnutím přepínače Všechny spoty.

Spotová instance azure

Clustery ve fondu se spustí s spotové instance pro všechny uzly, ovladače a pracovní procesy (na rozdíl od hybridních ovladačů na vyžádání a pracovních procesů spotových instancí pro clustery mimo fond).

Pokud jsou spotové instance vyřazeny z důvodu nedostupnosti, nasadí se instance na vyžádání, aby nahradily vyřazené instance.