Compute beheren

In dit artikel wordt beschreven hoe u Azure Databricks-berekeningen beheert, waaronder het weergeven, bewerken, starten, beëindigen, verwijderen, beheren van toegang en het bewaken van prestaties en logboeken. U kunt ook de Clusters-API gebruiken om rekenprogrammatisch te beheren.

Rekenproces weergeven

Als u uw rekenproces wilt weergeven, klikt u op Compute in de zijbalk van de werkruimte.

Aan de linkerkant staan twee kolommen die aangeven of de berekening is vastgemaakt en de status van de berekening. Beweeg de muisaanwijzer over de status om meer informatie te krijgen.

Rekenconfiguratie weergeven als een JSON-bestand

Soms kan het handig zijn om uw rekenconfiguratie als JSON weer te geven. Dit is vooral handig wanneer u vergelijkbare berekeningen wilt maken met behulp van de Clusters-API. Wanneer u een bestaande berekening bekijkt, gaat u naar het tabblad Configuratie , klikt u op JSON in de rechterbovenhoek van het tabblad, kopieert u de JSON en plakt u deze in uw API-aanroep. De JSON-weergave heeft het kenmerk Alleen-lezen.

Een rekenproces vastmaken

30 dagen nadat een berekening is beëindigd, wordt deze definitief verwijderd. Een beheerder kan de berekening vastmaken om een rekenconfiguratie voor alle doeleinden te behouden nadat een berekening langer dan 30 dagen is beëindigd . Er kunnen maximaal 100 rekenresources worden vastgemaakt.

Beheer s kunnen een berekening vastmaken vanuit de berekeningslijst of de detailpagina van de berekening door op het speldpictogram te klikken.

Een rekenproces bewerken

U kunt de configuratie van een rekenproces bewerken vanuit de gebruikersinterface voor rekengegevens.

Notitie

• Notebooks en taken die aan de berekening zijn gekoppeld, blijven na bewerking gekoppeld.
• Bibliotheken die op het rekenproces zijn geïnstalleerd, blijven geïnstalleerd na bewerking.
• Als u een kenmerk van een actieve berekening bewerkt (met uitzondering van de rekengrootte en machtigingen), moet u deze opnieuw opstarten. Hierdoor kunnen gebruikers die momenteel de rekenkracht gebruiken, worden onderbroken.
• U kunt alleen een actieve of beëindigde berekening bewerken. U kunt echter wel machtigingen bijwerken voor berekeningen die niet in deze statussen staan op de pagina met rekendetails.

Een rekenproces klonen

Als u een bestaande berekening wilt klonen, selecteert u Klonen in het menu Voor het berekenen van de compute.

Nadat u Clone hebt geselecteerd, wordt de gebruikersinterface voor het maken van berekeningen vooraf ingevuld met de rekenconfiguratie. De volgende kenmerken zijn niet opgenomen in de kloon:

• Rekenmachtigingen
• Gekoppelde notitieblokken

Als u de eerder geïnstalleerde bibliotheken niet wilt opnemen in de gekloonde berekening, klikt u op de vervolgkeuzelijst naast de knop Berekening maken en selecteert u Maken zonder bibliotheken.

Rekenmachtigingen

Er zijn vier machtigingsniveaus voor een berekening: GEEN MACHTIGINGEN, KAN WORDEN GEKOPPELD, KAN OPNIEUW WORDEN OPGESTART en KAN WORDEN BEHEERD. De tabel bevat de mogelijkheden voor elke machtiging.

Belangrijk

Gebruikers met CAN ATTACH TO-machtigingen kunnen de serviceaccountsleutels in het log4j-bestand weergeven. Wees voorzichtig bij het verlenen van dit machtigingsniveau.

Vermogen	GEEN MACHTIGINGEN	KAN WORDEN GEKOPPELD AAN	KAN OPNIEUW WORDEN OPGESTART	KAN WORDEN BEHEERD
Notebook koppelen aan berekening		x	x	x
Spark-gebruikersinterface weergeven		x	x	x
Metrische rekengegevens weergeven		x	x	x
Stuurprogrammalogboeken weergeven				x (zie opmerking)
Rekenproces beëindigen			x	x
Rekenproces starten en opnieuw starten			x	x
Berekening bewerken				x
Bibliotheek koppelen aan berekening				x
Het formaat van de rekenkracht wijzigen				x
Machtigingen wijzigen				x

Werkruimtebeheerders hebben de machtiging CAN MANAGE voor alle berekeningen in hun werkruimte. Gebruikers hebben automatisch de machtiging CAN MANAGE voor de berekening die ze maken.

Notitie

Geheimen worden niet bewerkt vanuit het Spark-stuurprogrammalogboek stdout en stderr de streams van een cluster. Als u gevoelige gegevens wilt beveiligen, kunnen spark-stuurprogrammalogboeken standaard alleen worden weergegeven door gebruikers met de machtiging CAN MANAGE voor de taak, de modus voor toegang van één gebruiker en clusters in de modus voor gedeelde toegang. Als u wilt dat gebruikers met de machtiging CAN ATTACH TO of CAN RESTART hebben om de logboeken op deze clusters weer te geven, stelt u de volgende Spark-configuratie-eigenschap in de clusterconfiguratie in: spark.databricks.acl.needAdminPermissionToViewLogs false

In clusters in de modus Geen isolatie voor gedeelde toegang kunnen de Spark-stuurprogrammalogboeken worden weergegeven door gebruikers met de machtiging CAN ATTACH TO of CAN MANAGE. Als u wilt beperken wie de logboeken kan lezen voor alleen gebruikers met de machtiging CAN MANAGE, stelt u in spark.databricks.acl.needAdminPermissionToViewLogs op true.

Zie De Spark-configuratie voor meer informatie over het toevoegen van Spark-eigenschappen aan een clusterconfiguratie.

Rekenmachtigingen configureren

In deze sectie wordt beschreven hoe u machtigingen beheert met behulp van de gebruikersinterface van de werkruimte. U kunt ook de Machtigingen-API of Databricks Terraform-provider gebruiken.

U moet de machtiging CAN MANAGE hebben voor een berekening om rekenmachtigingen te configureren.

1. Klik in de zijbalk op Compute.
2. Klik in de rij voor het rekenproces op het menu van De resource aan de rechterkant en selecteer Machtigingen bewerken.
3. Klik in machtiging Instellingen op de vervolgkeuzelijst Gebruiker, groep of service-principal selecteren en selecteer een gebruiker, groep of service-principal.
4. Selecteer een machtiging in de vervolgkeuzelijst machtigingen.
5. Klik op Toevoegen en klik op Opslaan.

Een rekenproces beëindigen

Als u rekenresources wilt opslaan, kunt u een berekening beëindigen. De configuratie van de beëindigde berekening wordt opgeslagen, zodat deze later opnieuw kan worden gebruikt (of, in het geval van taken, automatisch gestart). U kunt een berekening handmatig beëindigen of de berekening zo configureren dat deze automatisch wordt beëindigd na een opgegeven periode van inactiviteit. Wanneer het aantal beëindigde berekeningen groter is dan 150, wordt de oudste berekening verwijderd.

Tenzij een berekening is vastgemaakt of opnieuw wordt opgestart, wordt deze 30 dagen na beëindiging automatisch en definitief verwijderd.

Beëindigde berekening wordt weergegeven in de rekenlijst met een grijze cirkel links van de rekennaam.

Notitie

Wanneer u een taak uitvoert op een nieuwe taak-berekening (wat meestal wordt aanbevolen), wordt de berekening beëindigd en is deze niet beschikbaar voor opnieuw opstarten wanneer de taak is voltooid. Als u daarentegen een taak plant om uit te voeren op een bestaand all-purpose compute dat is beëindigd, wordt die berekening automatisch gestart.

Belangrijk

Als u een Premium-evaluatiewerkruimte gebruikt, worden alle actieve rekenresources beëindigd:

• Wanneer u een werkruimte bijwerkt naar volledige Premium.
• Als de werkruimte niet is bijgewerkt en de proefversie verloopt.

Handmatige beëindiging

U kunt een berekening handmatig beëindigen vanuit de berekeningslijst (door op het vierkant op de rij van de berekening te klikken) of op de detailpagina van de berekening (door op Beëindigen te klikken).

Automatische beëindiging (Engelstalig)

U kunt automatische beëindiging ook instellen voor een berekening. Tijdens het maken van de berekening kunt u een inactiviteitsperiode opgeven in minuten waarna de berekening moet worden beëindigd.

Als het verschil tussen de huidige tijd en de laatste opdracht die wordt uitgevoerd op de berekening meer is dan de opgegeven inactiviteitsperiode, beëindigt Azure Databricks die berekening automatisch.

Een berekening wordt als inactief beschouwd wanneer alle opdrachten op de berekening, waaronder Spark-taken, Structured Streaming en JDBC-aanroepen, zijn uitgevoerd.

Waarschuwing

• Compute rapporteert geen activiteit die het gevolg is van het gebruik van DStreams. Dit betekent dat een automatisch beëindigend rekenproces kan worden beëindigd terwijl DStreams wordt uitgevoerd. Schakel automatische beëindiging uit voor berekeningen met DStreams of overweeg om Structured Streaming te gebruiken.
• Niet-actieve rekenkracht blijft DBU- en cloudinstantiekosten verzamelen tijdens de inactiviteitsperiode vóór beëindiging.

Automatische beëindiging configureren

U kunt automatische beëindiging configureren in de nieuwe rekeninterface. Zorg ervoor dat het selectievakje is ingeschakeld en voer het aantal minuten in de instelling Beëindigen na ___ minuten van inactiviteit in.

U kunt zich afmelden voor automatische beëindiging door het selectievakje Automatische beëindiging uit te schakelen of door een inactiviteitsperiode van 0.

Notitie

Automatische beëindiging wordt het beste ondersteund in de nieuwste Spark-versies. Oudere Spark-versies hebben bekende beperkingen die kunnen leiden tot onjuiste rapportage van rekenactiviteit. Rekenopdrachten met JDBC, R of streaming kunnen bijvoorbeeld een verlopen activiteitstijd rapporteren die leidt tot voortijdige beëindiging van de rekenkracht. Voer een upgrade uit naar de meest recente Spark-versie om te profiteren van bugfixes en verbeteringen in automatische beëindiging.

Onverwachte beëindiging

Soms wordt een berekening onverwacht beëindigd, niet als gevolg van een handmatige beëindiging of een geconfigureerde automatische beëindiging.

Zie de Knowledge Base voor een lijst met beëindigingsredenen en herstelstappen.

Een rekenproces verwijderen

Als u een rekenproces verwijdert, wordt de berekening beëindigd en wordt de configuratie ervan verwijderd. Als u een berekening wilt verwijderen, selecteert u Verwijderen in het menu van de berekening.

Waarschuwing

U kunt deze actie niet ongedaan maken.

Als u een vastgemaakte berekening wilt verwijderen, moet deze eerst worden losgemaakt door een beheerder.

U kunt ook het eindpunt van de Clusters-API aanroepen om een rekenproces programmatisch te verwijderen.

Een rekenproces opnieuw starten

U kunt een eerder beëindigde berekening opnieuw starten vanuit de rekenlijst, de detailpagina van de berekening of een notebook. U kunt ook het cluster-API-eindpunt aanroepen om programmatisch een rekenproces te starten.

Azure Databricks identificeert een berekening met behulp van de unieke cluster-id. Wanneer u een beëindigde berekening start, maakt Databricks de berekening opnieuw met dezelfde id, installeert automatisch alle bibliotheken en worden de notebooks opnieuw gekoppeld.

Notitie

Als u een evaluatiewerkruimte gebruikt en de proefversie is verlopen, kunt u geen berekening starten.

Een berekening opnieuw starten om deze bij te werken met de nieuwste installatiekopieën

Wanneer u een berekening opnieuw start, worden de meest recente installatiekopieën opgehaald voor de rekenresourcecontainers en de VM-hosts. Het is belangrijk om regelmatig opnieuw opstarten te plannen voor langlopende berekeningen, zoals die worden gebruikt voor het verwerken van streaminggegevens.

Het is uw verantwoordelijkheid om alle rekenresources regelmatig opnieuw op te starten om de installatiekopieën up-to-date te houden met de nieuwste versie van de installatiekopieën.

Belangrijk

Als u het beveiligingsprofiel voor naleving inschakelt voor uw account of uw werkruimte, wordt langlopende berekening automatisch opnieuw opgestart wanneer dat nodig is tijdens een gepland onderhoudsvenster. Dit vermindert het risico dat automatisch opnieuw opstarten een geplande taak verstoort. U kunt opnieuw opstarten ook afdwingen tijdens het onderhoudsvenster. Zie Automatische clusterupdate.

Notebook-voorbeeld: Langlopende berekening zoeken

Als u een werkruimtebeheerder bent, kunt u een script uitvoeren waarmee wordt bepaald hoe lang elk van uw berekeningen wordt uitgevoerd. Start ze desgewenst opnieuw op als ze ouder zijn dan een opgegeven aantal dagen. Azure Databricks biedt dit script als notebook.

De eerste regels van het script definiëren configuratieparameters:

• min_age_output: Het maximum aantal dagen dat een berekening kan worden uitgevoerd. Standaard is 1.
• perform_restart: Als Truehet script alle berekeningen opnieuw start met een leeftijd die groter is dan het aantal dagen dat is opgegeven door min_age_output. De standaardwaarde is False, waarmee langlopende berekeningen worden geïdentificeerd, maar deze niet opnieuw worden opgestart.
• secret_configuration: Vervang en REPLACE_WITH_KEY door REPLACE_WITH_SCOPE een geheim bereik en sleutelnaam. Zie het notebook voor meer informatie over het instellen van de geheimen.

Waarschuwing

Als u deze optie instelt perform_restartTrue, wordt het in aanmerking komende rekenproces automatisch opnieuw opgestart, waardoor actieve taken mislukken en geopende notebooks opnieuw instellen. Als u het risico wilt beperken dat de bedrijfskritieke taken van uw werkruimte worden onderbroken, moet u een gepland onderhoudsvenster plannen en ervoor zorgen dat u de gebruikers van de werkruimte op de hoogte brengt.

Langlopende berekeningen identificeren en eventueel opnieuw opstarten

Notebook downloaden

Automatisch starten voor taken en JDBC-/ODBC-query's

Wanneer een taak die is toegewezen aan een beëindigde berekening is gepland om te worden uitgevoerd of als u verbinding maakt met een beëindigde berekening vanuit een JDBC-/ODBC-interface, wordt de berekening automatisch opnieuw gestart. Zie Een taak en JDBC-verbinding maken.

Met automatische berekeningsstart kunt u berekeningen configureren om automatisch te worden beëindigd zonder dat handmatige tussenkomst nodig is om de berekening voor geplande taken opnieuw op te starten. Bovendien kunt u de initialisatie van de rekenkracht plannen door een taak te plannen die moet worden uitgevoerd op een beëindigde berekening.

Voordat een berekening automatisch opnieuw wordt opgestart, worden machtigingen voor toegangsbeheer voor berekeningen en taken gecontroleerd.

Notitie

Als uw rekenproces is gemaakt in Azure Databricks-platformversie 2.70 of eerder, is er geen autostart: taken die zijn gepland voor uitvoering op beëindigde berekening, mislukken.

Rekengegevens weergeven in de Apache Spark-gebruikersinterface

U kunt gedetailleerde informatie over Spark-taken weergeven door het tabblad Spark UI te selecteren op de pagina met rekengegevens.

Als u een beëindigde berekening opnieuw start, geeft de Spark-gebruikersinterface informatie weer voor de opnieuw gestarte berekening, niet de historische informatie voor de beëindigde berekening.

Zie Problemen met kosten en prestaties diagnosticeren met behulp van de Spark-gebruikersinterface voor het vaststellen van kosten- en prestatieproblemen met behulp van de Spark-gebruikersinterface.

Rekenlogboeken weergeven

Azure Databricks biedt drie soorten logboekregistratie van compute-gerelateerde activiteiten:

• Gebeurtenislogboeken berekenen, waarmee gebeurtenissen in de levenscyclus van rekenprocessen worden vastgelegd, zoals het maken, beëindigen en configureren van bewerkingen.
• Apache Spark-stuurprogramma en -werklogboek, dat u kunt gebruiken voor foutopsporing.
• Init-scriptlogboeken berekenen, die waardevol zijn voor het opsporen van fouten init-scripts.

In deze sectie worden de logboeken voor rekenbeurtenissen en stuurprogramma- en werkrollogboeken besproken. Zie Logboekregistratie van Init-scripts voor meer informatie over logboekregistratie van init-scripts.

Gebeurtenislogboeken berekenen

In het rekengebeurtenislogboek worden belangrijke levenscyclusgebeurtenissen weergegeven die handmatig worden geactiveerd door gebruikersacties of automatisch door Azure Databricks. Dergelijke gebeurtenissen zijn van invloed op de werking van een rekenproces als geheel en de taken die in de berekening worden uitgevoerd.

Zie de gegevensstructuur van de Clusters-API voor ondersteunde gebeurtenistypen.

Gebeurtenissen worden 60 dagen opgeslagen, wat vergelijkbaar is met andere gegevensretentietijden in Azure Databricks.

Het gebeurtenislogboek van een rekenproces weergeven

Als u het gebeurtenislogboek van het rekenproces wilt weergeven, selecteert u het tabblad Gebeurtenislogboek op de pagina's met rekengegevens.

Klik voor meer informatie over een gebeurtenis op de rij in het logboek en klik vervolgens op het tabblad JSON voor meer informatie.

Logboeken voor rekenstuurprogramma's en werkrollen

De directe afdruk- en loginstructies van uw notebooks, taken en bibliotheken gaan naar de logboeken van het Spark-stuurprogramma. U kunt deze logboekbestanden openen via het tabblad Logboeken van stuurprogramma's op de pagina met rekengegevens. Klik op de naam van een logboekbestand om het te downloaden.

Deze logboeken hebben drie uitvoeren:

• Standaarduitvoer
• Standaardfout
• Log4j-logboeken

Als u Spark-werklogboeken wilt weergeven, gebruikt u het tabblad Spark-gebruikersinterface . U kunt ook een locatie voor de levering van logboeken configureren voor de berekening. Zowel werkrol- als rekenlogboeken worden geleverd op de locatie die u opgeeft.

Prestaties bewaken

Om u te helpen de prestaties van Azure Databricks-berekening te bewaken, biedt Azure Databricks toegang tot metrische gegevens vanaf de pagina met rekengegevens. Voor Databricks Runtime 12.2 en lager biedt Azure Databricks toegang tot metrische ganglia-gegevens . Voor Databricks Runtime 13.3 LTS en hoger worden rekengegevens geleverd door Azure Databricks.

Daarnaast kunt u een Azure Databricks-rekenproces configureren om metrische gegevens te verzenden naar een Log Analytics-werkruimte in Azure Monitor, het bewakingsplatform voor Azure.

U kunt ook Datadog-agents installeren op rekenknooppunten om metrische gegevens van Datadog naar uw Datadog-account te verzenden.

Metrische gegevens berekenen

Metrische rekengegevens zijn het standaardbewakingsprogramma voor Databricks Runtime 13.3 LTS en hoger. Als u toegang wilt krijgen tot de gebruikersinterface voor metrische gegevens, gaat u naar het tabblad Metrische gegevens op de pagina Metrische gegevens.

U kunt historische metrische gegevens weergeven door een tijdsbereik te selecteren met behulp van het filter voor datumkiezer. Metrische gegevens worden elke minuut verzameld. U kunt ook de meest recente metrische gegevens ophalen door op de knop Vernieuwen te klikken. Zie Rekengegevens weergeven voor meer informatie.

Metrische ganglia-gegevens

Notitie

Metrische ganglia-gegevens zijn alleen beschikbaar voor Databricks Runtime 12.2 en lager.

Als u toegang wilt krijgen tot de ganglia-gebruikersinterface, gaat u naar het tabblad Metrische gegevens op de pagina Metrische gegevens. Cpu-metrische gegevens zijn beschikbaar in de Ganglia-gebruikersinterface voor alle Databricks-runtimes. GPU-metrische gegevens zijn beschikbaar voor rekenkracht met GPU-functionaliteit.

Als u live metrische gegevens wilt weergeven, klikt u op de koppeling van de Ganglia-gebruikersinterface .

Als u historische metrische gegevens wilt weergeven, klikt u op een momentopnamebestand. De momentopname bevat geaggregeerde metrische gegevens van het uur voorafgaand aan de geselecteerde tijd.

Notitie

Ganglia wordt niet ondersteund met Docker-containers. Als u een Docker-container met uw rekenproces gebruikt, zijn metrische ganglia-gegevens niet beschikbaar.

Verzameling metrische ganglia-gegevens configureren

De standaardinstelling is dat Azure Databricks elke 15 minuten metrische gegevens van Ganglia verzamelt. Als u de verzamelingsperiode wilt configureren, stelt u de DATABRICKS_GANGLIA_SNAPSHOT_PERIOD_MINUTES omgevingsvariabele in met behulp van een init-script of in het spark_env_vars veld in de cluster-API maken.

Azure Monitor

U kunt een Azure Databricks-berekening configureren om metrische gegevens te verzenden naar een Log Analytics-werkruimte in Azure Monitor, het bewakingsplatform voor Azure. Zie Bewaking van Azure Databricks voor volledige instructies.

Notitie

Als u de Azure Databricks-werkruimte in uw eigen virtuele netwerk hebt geïmplementeerd en u netwerkbeveiligingsgroepen (NSG) hebt geconfigureerd om al het uitgaande verkeer te weigeren dat niet is vereist voor Azure Databricks, moet u een extra uitgaande regel configureren voor de servicetag 'AzureMonitor'.

Notebook-voorbeeld: metrische gegevens van Datadog

U kunt Datadog-agents installeren op rekenknooppunten om metrische gegevens van Datadog naar uw Datadog-account te verzenden. In het volgende notebook ziet u hoe u een Datadog-agent installeert op een berekening met behulp van een init-script met rekenbereik.

Als u de Datadog-agent op alle berekeningen wilt installeren, beheert u het init-script met rekenbereik met behulp van een rekenbeleid.

Datadog-agent init-scriptnotebook installeren

Notebook downloaden

Spot-exemplaren buiten bedrijf stellen

Omdat spot-exemplaren kosten kunnen verlagen, is het maken van rekenkracht met spot-exemplaren in plaats van on-demand exemplaren een veelgebruikte manier om taken uit te voeren. Spot-exemplaren kunnen echter worden afgewend door planningsmechanismen voor cloudproviders. Het gebruik van spot-exemplaren kan problemen veroorzaken met taken die worden uitgevoerd, waaronder:

• Fouten bij ophalen in willekeurige volgorde
• Gegevensverlies in willekeurige volgorde wijzigen
• RDD-gegevensverlies
• Taakfouten

U kunt uit bedrijf nemen inschakelen om deze problemen op te lossen. Uit bedrijf nemen profiteert van de melding die de cloudprovider meestal verzendt voordat een spot-exemplaar buiten gebruik wordt gesteld. Wanneer een spot-exemplaar met een uitvoerder een voorlopige melding ontvangt, probeert het buiten gebruik stellende proces shuffle- en RDD-gegevens te migreren naar goede uitvoerders. De duur vóór de definitieve voorbeëindiging is doorgaans 30 seconden tot 2 minuten, afhankelijk van de cloudprovider.

Databricks raadt aan om gegevensmigratie in te schakelen wanneer uit bedrijf genomen ook is ingeschakeld. Over het algemeen neemt de kans op fouten af naarmate er meer gegevens worden gemigreerd, zoals het ophalen van willekeurige fouten, het willekeurige gegevensverlies en RDD-gegevensverlies. Gegevensmigratie kan ook leiden tot minder herberekening en bespaarde kosten.

Notitie

Uit bedrijf nemen is een best effort en garandeert niet dat alle gegevens kunnen worden gemigreerd voordat de definitieve retentie wordt uitgevoerd. Uit bedrijf nemen kan niet garanderen dat het ophalen van willekeurige taken mislukt wanneer actieve taken willekeurige gegevens ophalen van de uitvoeraar.

Als uit bedrijf nemen is ingeschakeld, worden taakfouten die worden veroorzaakt door het voorrangsbeheer van spot-exemplaren niet toegevoegd aan het totale aantal mislukte pogingen. Taakfouten die worden veroorzaakt door voorrang, worden niet meegeteld als mislukte pogingen omdat de oorzaak van de fout extern is voor de taak en niet resulteert in een taakfout.

Buiten gebruik stellen inschakelen

Als u buiten bedrijf wilt stellen voor een berekening, voert u de volgende eigenschappen in op het tabblad Spark onder Geavanceerde opties in de gebruikersinterface van de rekenconfiguratie. Zie De Spark-configuratie voor meer informatie over deze eigenschappen.

• Als u buiten gebruik wilt stellen voor toepassingen, voert u deze eigenschap in het veld Spark-configuratie in:

  spark.decommission.enabled true
  

• Als u de migratie van willekeurige gegevens tijdens het buiten gebruik stellen wilt inschakelen, voert u deze eigenschap in het veld Spark-configuratie in:

  spark.storage.decommission.enabled true
  spark.storage.decommission.shuffleBlocks.enabled true
  

• Als u de migratie van RDD-cachegegevens tijdens het buiten gebruik stellen wilt inschakelen, voert u deze eigenschap in het veld Spark-configuratie in:

  spark.storage.decommission.enabled true
  spark.storage.decommission.rddBlocks.enabled true
  

  Notitie

  Wanneer RDD StorageLevel-replicatie is ingesteld op meer dan 1, raadt Databricks het inschakelen van RDD-gegevensmigratie niet aan, omdat de replica's ervoor zorgen dat RDD's geen gegevens verliezen.

• Als u buiten bedrijf wilt stellen voor werknemers, voert u deze eigenschap in het veld Omgevingsvariabelen in:

  SPARK_WORKER_OPTS="-Dspark.decommission.enabled=true"
  

De reden voor uit bedrijf nemen en verliezen weergeven in de gebruikersinterface

Als u de buitengebruikstellingsstatus van een werkrol vanuit de gebruikersinterface wilt openen, gaat u naar het tabblad Hoofd van Spark-rekenproces.

Wanneer het buiten gebruik stellen is voltooid, kunt u de reden voor verlies van de uitvoerder bekijken op het tabblad Spark UI > Executors op de pagina met rekendetails.