Naslaginformatie over rekenconfiguratie

In dit artikel worden alle configuratie-instellingen uitgelegd die beschikbaar zijn in de gebruikersinterface compute maken. De meeste gebruikers maken rekenkracht met behulp van hun toegewezen beleid, waardoor de configureerbare instellingen worden beperkt. Als u een bepaalde instelling niet ziet in uw gebruikersinterface, is dit omdat u deze instelling niet kunt configureren met het beleid dat u hebt geselecteerd.

De configuraties en beheerhulpprogramma's die in dit artikel worden beschreven, zijn van toepassing op zowel alle doeleinden als taak berekenen. Zie Azure Databricks Compute gebruiken met uw taken voor meer overwegingen bij het configureren van taak berekenen.

Beleid

Beleidsregels zijn een set regels die worden gebruikt om de configuratieopties te beperken die beschikbaar zijn voor gebruikers wanneer ze rekenkracht maken. Als een gebruiker niet beschikt over het recht voor het maken van een onbeperkt cluster, kan hij of zij alleen rekenkracht maken met behulp van het toegewezen beleid.

Als u berekeningen wilt maken op basis van een beleid, selecteert u een beleid in de vervolgkeuzelijst Beleid .

Standaard hebben alle gebruikers toegang tot het personal compute-beleid , zodat ze rekenresources met één computer kunnen maken. Als u toegang nodig hebt tot Personal Compute of aanvullende beleidsregels, neemt u contact op met uw werkruimtebeheerder.

Rekenkracht met één knooppunt of meerdere knooppunten

Afhankelijk van het beleid kunt u kiezen tussen het maken van één knooppunt of een rekenproces met meerdere knooppunten.

Rekenkracht met één knooppunt is bedoeld voor taken die kleine hoeveelheden gegevens of niet-gedistribueerde workloads gebruiken, zoals machine learning-bibliotheken met één knooppunt. Rekenkracht met meerdere knooppunten moet worden gebruikt voor grotere taken met gedistribueerde workloads.

Eigenschappen van één knooppunt

Een rekenproces met één knooppunt heeft de volgende eigenschappen:

  • Hiermee wordt Spark lokaal uitgevoerd.
  • Het stuurprogramma fungeert als master en worker, zonder werkknooppunten.
  • Spawns één executorthread per logische kern in de berekening, min 1 kern voor het stuurprogramma.
  • Hiermee worden alle stderruitvoer en log4jstdoutlogboekuitvoer opgeslagen in het stuurprogrammalogboek.
  • Kan niet worden geconverteerd naar een rekenproces met meerdere knooppunten.

Eén of meerdere knooppunten selecteren

Houd rekening met uw use-case bij het kiezen tussen een rekenproces met één of meerdere knooppunten:

  • Bij grootschalige gegevensverwerking worden de resources op één knooppunt berekend. Voor deze workloads raadt Databricks aan om een rekenproces met meerdere knooppunten te gebruiken.

  • Rekenkracht met één knooppunt is niet ontworpen om te worden gedeeld. Om resourceconflicten te voorkomen, raadt Databricks aan om een rekenproces met meerdere knooppunten te gebruiken wanneer de berekening moet worden gedeeld.

  • Een rekenproces met meerdere knooppunten kan niet worden geschaald naar 0 werkrollen. Gebruik in plaats daarvan één knooppunt berekenen.

  • Rekenkracht met één knooppunt is niet compatibel met procesisolatie.

  • GPU-planning is niet ingeschakeld voor rekenkracht van één knooppunt.

  • Bij berekeningen met één knooppunt kan Spark Parquet-bestanden met een UDT-kolom niet lezen. De volgende resultaten van het foutbericht:

    The Spark driver has stopped unexpectedly and is restarting. Your notebook will be automatically reattached.
    

    U kunt dit probleem omzeilen door de systeemeigen Parquet-lezer uit te schakelen:

    spark.conf.set("spark.databricks.io.parquet.nativeReader.enabled", False)
    

Toegangsmodi

De toegangsmodus is een beveiligingsfunctie die bepaalt wie de berekening kan gebruiken en welke gegevens ze kunnen openen via de berekening. Elke berekening in Azure Databricks heeft een toegangsmodus.

Databricks raadt u aan om de modus voor gedeelde toegang te gebruiken voor alle workloads. Gebruik alleen de modus voor toegang van één gebruiker als uw vereiste functionaliteit niet wordt ondersteund door de modus voor gedeelde toegang.

Toegangsmodus Zichtbaar voor gebruiker UC-ondersteuning Ondersteunde talen Opmerkingen
Eén gebruiker Altijd Ja Python, SQL, Scala, R Kan worden toegewezen aan en gebruikt door één gebruiker. Aangeduid als toegewezen toegangsmodus in sommige werkruimten.
Gedeeld Altijd (Premium-abonnement vereist) Ja Python (op Databricks Runtime 11.3 LTS en hoger), SQL, Scala (op compute met Unity Catalog met Databricks Runtime 13.3 LTS en hoger) Kan worden gebruikt door meerdere gebruikers met gegevensisolatie tussen gebruikers.
Geen isolatie gedeeld Beheer s kunnen deze toegangsmodus verbergen door gebruikersisolatie af te dwingen op de pagina met beheerdersinstellingen. Nee Python, SQL, Scala, R Er is een gerelateerde instelling op accountniveau voor gedeelde berekeningen zonder isolatie.
Aanpassen Verborgen (voor alle nieuwe berekeningen) Nee Python, SQL, Scala, R Deze optie wordt alleen weergegeven als u bestaande berekeningen hebt zonder een opgegeven toegangsmodus.

U kunt een bestaande berekening upgraden om te voldoen aan de vereisten van Unity Catalog door de toegangsmodus in te stellen op Één gebruiker of Gedeeld.

Notitie

In Databricks Runtime 13.3 LTS en hoger worden init-scripts en -bibliotheken ondersteund in alle toegangsmodi. Vereisten en ondersteuning variëren. Zie Waar kunnen init-scripts worden geïnstalleerd? en bibliotheken met clusterbereik.

Databricks Runtime-versies

Databricks Runtime is de set kernonderdelen die worden uitgevoerd op uw rekenproces. Selecteer de runtime met behulp van de vervolgkeuzelijst Databricks Runtime-versie . Zie de releaseversies en compatibiliteit van Databricks Runtime voor meer informatie over specifieke Databricks Runtime-versies. Alle versies bevatten Apache Spark. Databricks raadt het volgende aan:

  • Gebruik voor rekendoeleinden de meest recente versie om ervoor te zorgen dat u over de nieuwste optimalisaties beschikt en de meest recente compatibiliteit tussen uw code en vooraf geladen pakketten.
  • Voor het berekenen van taken waarop operationele workloads worden uitgevoerd, kunt u overwegen de Databricks Runtime-versie (Long Term Support) te gebruiken. Met behulp van de LTS-versie zorgt u ervoor dat u geen compatibiliteitsproblemen ondervindt en uw workload grondig kunt testen voordat u een upgrade uitvoert.
  • Voor data science- en machine learning-gebruiksscenario's kunt u de Databricks Runtime ML-versie overwegen.

Fotonversnelling gebruiken

Photon is standaard ingeschakeld voor berekeningen met Databricks Runtime 9.1 LTS en hoger.

Als u Fotonversnelling wilt in- of uitschakelen, schakelt u het selectievakje Fotonversnelling gebruiken in. Zie Wat is Photon?voor meer informatie over Photon.

Typen werkrol- en stuurprogrammaknooppunten

Compute bestaat uit één stuurprogrammaknooppunt en nul of meer werkknooppunten. U kunt afzonderlijke typen cloudproviderexemplaren kiezen voor het stuurprogramma- en werkknooppunt, hoewel het stuurprogrammaknooppunt standaard hetzelfde exemplaartype gebruikt als het werkknooppunt. Verschillende typen exemplaren passen bij verschillende gebruiksvoorbeelden, zoals geheugenintensieve of rekenintensieve workloads.

U kunt ook een pool selecteren die u wilt gebruiken als het werkrol- of stuurprogrammaknooppunt. Zie Wat zijn Azure Databricks-pools?

Medewerkertype

In rekenkracht met meerdere knooppunten voeren werkknooppunten de Spark-uitvoerders en andere services uit die nodig zijn voor de juiste werking van rekenkracht. Wanneer u uw workload distribueert met Spark, vindt alle gedistribueerde verwerking plaats op werkknooppunten. Azure Databricks voert één uitvoerder per werkknooppunt uit. Daarom worden de termenuitvoerders en werkrollen door elkaar gebruikt in de context van de Databricks-architectuur.

Tip

Als u een Spark-taak wilt uitvoeren, hebt u ten minste één werkknooppunt nodig. Als de berekening nul werkrollen heeft, kunt u niet-Spark-opdrachten uitvoeren op het stuurprogrammaknooppunt, maar Spark-opdrachten mislukken.

IP-adressen van werkknooppunten

Azure Databricks start werkknooppunten met elk twee privé-IP-adressen. Het primaire privé-IP-adres van het knooppunt fungeert als host voor intern verkeer van Azure Databricks. Het secundaire privé-IP-adres wordt gebruikt door de Spark-container voor communicatie tussen clusters. Met dit model kan Azure Databricks isolatie bieden tussen meerdere berekeningen in dezelfde werkruimte.

Type stuurprogramma

Het stuurprogrammaknooppunt onderhoudt statusgegevens van alle notebooks die aan de berekening zijn gekoppeld. Het stuurprogrammaknooppunt onderhoudt ook de SparkContext, interpreteert alle opdrachten die u uitvoert vanuit een notebook of een bibliotheek op de berekening en voert de Apache Spark-master uit die wordt gecoördineerd met de Spark-uitvoerders.

De standaardwaarde van het type stuurprogrammaknooppunt is hetzelfde als het type werkknooppunt. U kunt een groter type stuurprogrammaknooppunt met meer geheugen kiezen als u van plan bent om veel gegevens van Spark-werkrollen te collect() gebruiken en deze te analyseren in het notebook.

Tip

Omdat het stuurprogrammaknooppunt alle statusgegevens van de gekoppelde notitieblokken onderhoudt, moet u ongebruikte notitieblokken loskoppelen van het stuurprogrammaknooppunt.

GPU-exemplaartypen

Voor rekenkundige uitdagende taken waarvoor hoge prestaties nodig zijn, zoals taken die zijn gekoppeld aan deep learning, ondersteunt Azure Databricks compute versneld met GPU's (Graphics Processing Units). Zie rekenkracht met GPU voor meer informatie.

Azure Confidential Computing-VM's

VM-typen Azure Confidential Computing verhinderen onbevoegde toegang tot gegevens terwijl deze in gebruik zijn, waaronder van de cloudoperator. Dit VM-type is nuttig voor sterk gereglementeerde branches en regio's, evenals bedrijven met gevoelige gegevens in de cloud. Zie Azure Confidential Computing voor meer informatie over confidential computing van Azure.

Als u uw workloads wilt uitvoeren met vm's van Azure Confidential Computing, selecteert u de VM-typen DC- of EC-serie in de vervolgkeuzelijsten voor werkrollen en stuurprogrammaknooppunten. Zie azure Confidential VM-opties.

Spot-exemplaren

Als u kosten wilt besparen, kunt u ervoor kiezen om spot-exemplaren te gebruiken , ook wel Azure Spot-VM's genoemd door het selectievakje Spot-exemplaren in te schakelen.

Spot configureren

Het eerste exemplaar is altijd on-demand (het stuurprogrammaknooppunt is altijd on-demand) en volgende exemplaren zijn spot-exemplaren.

Als exemplaren worden verwijderd vanwege niet-beschikbaarheid, probeert Azure Databricks nieuwe spot-exemplaren te verkrijgen om de verwijderde exemplaren te vervangen. Als spot-exemplaren niet kunnen worden verkregen, worden on-demand exemplaren geïmplementeerd om de verwijderde exemplaren te vervangen. Als er nieuwe knooppunten worden toegevoegd aan bestaande berekeningen, probeert Azure Databricks ook spot-exemplaren voor die knooppunten te verkrijgen.

Automatisch schalen inschakelen

Wanneer Automatisch schalen inschakelen is ingeschakeld, kunt u een minimum en maximum aantal werkrollen opgeven voor de berekening. Databricks kiest vervolgens het juiste aantal werkrollen dat nodig is om uw taak uit te voeren.

Als u het minimum en het maximum aantal werkrollen wilt instellen tussen de berekeningen, gebruikt u de velden Min-werkrollen en Max-werkrollen naast de vervolgkeuzelijst Werkroltype .

Als u automatisch schalen niet inschakelt, voert u een vast aantal werkrollen in het veld Werkrollen in naast de vervolgkeuzelijst Werkroltype .

Notitie

Wanneer de berekening wordt uitgevoerd, wordt op de pagina met rekengegevens het aantal toegewezen werknemers weergegeven. U kunt het aantal toegewezen werknemers vergelijken met de werkrolconfiguratie en zo nodig aanpassingen aanbrengen.

Voordelen van automatisch schalen

Met automatisch schalen worden werknemers in Azure Databricks dynamisch verplaatst om rekening te houden met de kenmerken van uw taak. Bepaalde onderdelen van uw pijplijn kunnen meer rekenkracht vereisen dan andere, en Databricks voegt automatisch extra werkrollen toe tijdens deze fasen van uw taak (en verwijdert ze wanneer ze niet meer nodig zijn).

Automatisch schalen maakt het gemakkelijker om een hoog gebruik te bereiken, omdat u de rekenkracht niet hoeft in te richten om aan een workload te voldoen. Dit geldt met name voor workloads waarvan de vereisten na verloop van tijd veranderen (zoals het verkennen van een gegevensset tijdens de loop van een dag), maar deze kan ook van toepassing zijn op een eenmalige kortere workload waarvan de inrichtingsvereisten onbekend zijn. Automatische schaalaanpassing biedt dus twee voordelen:

  • Workloads kunnen sneller worden uitgevoerd in vergelijking met een constante grootte van minder ingerichte berekeningen.
  • Automatisch schalen kan de totale kosten verlagen ten opzichte van een statisch berekende rekenkracht.

Afhankelijk van de constante grootte van de berekening en de workload, biedt automatische schaalaanpassing u een of beide voordelen tegelijk. De rekenkracht kan lager zijn dan het minimale aantal werknemers dat is geselecteerd wanneer de cloudprovider exemplaren beëindigt. In dit geval probeert Azure Databricks voortdurend instanties opnieuw in te richten om het minimale aantal werknemers te behouden.

Notitie

Automatisch schalen is niet beschikbaar voor spark-submit-taken.

Notitie

Automatisch schalen van berekeningen heeft beperkingen bij het omlaag schalen van clustergrootte voor structured streaming-workloads. Databricks raadt het gebruik van Delta Live Tables aan met verbeterde automatische schaalaanpassing voor streamingworkloads. Zie Het clustergebruik van Delta Live Tables-pijplijnen optimaliseren met verbeterde automatische schaalaanpassing.

De werking van automatisch schalen

Werkruimte in de premium- en enterprise-abonnementen maken gebruik van geoptimaliseerde automatische schaalaanpassing. Werkruimten in het standaardprijsplan maken gebruik van standaard automatisch schalen.

Geoptimaliseerde automatische schaalaanpassing heeft de volgende kenmerken:

  • Schaalt omhoog van min tot max in 2 stappen.
  • Kan omlaag schalen, zelfs als de berekening niet inactief is, door de status van het willekeurige bestand te bekijken.
  • Schaalt omlaag op basis van een percentage van de huidige knooppunten.
  • Bij het berekenen van de taak schaalt u omlaag als de berekening in de afgelopen 40 seconden te weinig wordt gebruikt.
  • Bij berekeningen voor alle doeleinden schaalt u omlaag als de berekening in de afgelopen 150 seconden te weinig wordt gebruikt.
  • De spark.databricks.aggressiveWindowDownS Spark-configuratie-eigenschap geeft in seconden op hoe vaak de berekening beslissingen neemt over omlaag schalen. Door de waarde te verhogen, wordt de schaal van de rekenkracht langzamer omlaag geschaald. De maximumwaarde is 600.

Standaard automatisch schalen wordt gebruikt in werkruimten van standaardplannen. Standaard automatisch schalen heeft de volgende kenmerken:

  • Begint met het toevoegen van 8 knooppunten. Schaalt vervolgens exponentieel omhoog en neemt zo veel stappen uit als nodig is om het maximum te bereiken.
  • Schaalt omlaag wanneer 90% van de knooppunten gedurende 10 minuten niet bezet is en de berekening gedurende ten minste 30 seconden niet actief is.
  • Schaalt exponentieel omlaag, te beginnen met 1 knooppunt.

Automatisch schalen met pools

Als u uw rekenproces koppelt aan een pool, kunt u het volgende overwegen:

  • Zorg ervoor dat de aangevraagde rekenkracht kleiner is dan of gelijk is aan het minimale aantal niet-actieve exemplaren in de pool. Als deze groter is, is de opstarttijd van de rekenkracht gelijk aan de rekenkracht die geen pool gebruikt.
  • Zorg ervoor dat de maximale rekenkracht kleiner is dan of gelijk is aan de maximale capaciteit van de pool. Als het groter is, mislukt het maken van de rekenkracht.

Voorbeeld van automatisch schalen

Als u een statische berekening opnieuw configureert voor automatische schaalaanpassing, wijzigt Azure Databricks de grootte van de berekening onmiddellijk binnen de minimum- en maximumgrenzen en wordt vervolgens automatisch schalen gestart. In de volgende tabel ziet u bijvoorbeeld wat er gebeurt met het berekenen met een bepaalde initiële grootte als u de berekening opnieuw configureert voor automatische schaalaanpassing tussen 5 en 10 knooppunten.

Oorspronkelijke grootte Grootte na herconfiguratie
6 6
12 10
3 5

Lokale opslag automatisch schalen inschakelen

Het kan vaak lastig zijn om te schatten hoeveel schijfruimte een bepaalde taak nodig heeft. Azure Databricks maakt automatisch automatische schaalaanpassing van lokale opslag op alle Azure Databricks-berekeningen mogelijk om te besparen hoeveel gigabytes aan beheerde schijf moeten worden gekoppeld.

Met automatische schaalaanpassing van lokale opslag bewaakt Azure Databricks de hoeveelheid vrije schijfruimte die beschikbaar is voor spark-werkrollen van uw rekenproces. Als een werkrol te laag op schijf begint te worden uitgevoerd, koppelt Databricks automatisch een nieuwe beheerde schijf aan de werkrol voordat er onvoldoende schijfruimte beschikbaar is. Schijven zijn gekoppeld aan een limiet van 5 TB aan totale schijfruimte per virtuele machine (inclusief de initiële lokale opslag van de virtuele machine).

De beheerde schijven die aan een virtuele machine zijn gekoppeld, worden alleen losgekoppeld wanneer de virtuele machine wordt geretourneerd naar Azure. Beheerde schijven worden dus nooit losgekoppeld van een virtuele machine zolang ze deel uitmaken van een actieve berekening. Als u het gebruik van beheerde schijven omlaag wilt schalen, raadt Azure Databricks aan om deze functie te gebruiken in berekeningen die zijn geconfigureerd met automatische schaalaanpassing of automatische beëindiging.

Lokale schijfversleuteling

Belangrijk

Deze functie is beschikbaar als openbare preview.

Sommige exemplaartypen die u gebruikt om berekeningen uit te voeren, hebben mogelijk lokaal gekoppelde schijven. Azure Databricks kan willekeurige gegevens of tijdelijke gegevens opslaan op deze lokaal gekoppelde schijven. Om ervoor te zorgen dat alle data-at-rest worden versleuteld voor alle opslagtypen, inclusief willekeurige gegevens die tijdelijk zijn opgeslagen op de lokale schijven van uw rekenproces, kunt u versleuteling van lokale schijven inschakelen.

Belangrijk

Uw workloads kunnen langzamer worden uitgevoerd vanwege de invloed van de prestaties van het lezen en schrijven van versleutelde gegevens naar en van lokale volumes.

Wanneer versleuteling van lokale schijven is ingeschakeld, genereert Azure Databricks lokaal een versleutelingssleutel die uniek is voor elk rekenknooppunt en wordt gebruikt voor het versleutelen van alle gegevens die zijn opgeslagen op lokale schijven. Het bereik van de sleutel is lokaal voor elk rekenknooppunt en wordt samen met het rekenknooppunt zelf vernietigd. Tijdens de levensduur bevindt de sleutel zich in het geheugen voor versleuteling en ontsleuteling en wordt deze versleuteld op de schijf opgeslagen.

Als u lokale schijfversleuteling wilt inschakelen, moet u de Clusters-API gebruiken. Tijdens het maken of bewerken van het rekenproces ingesteld op enable_local_disk_encryptiontrue.

Automatische beëindiging (Engelstalig)

U kunt automatische beëindiging voor berekening instellen. Geef tijdens het maken van de berekening een inactiviteitsperiode op in minuten waarna u de berekening wilt beëindigen.

Als het verschil tussen de huidige tijd en de laatste opdracht die wordt uitgevoerd op de berekening meer is dan de opgegeven inactiviteitsperiode, beëindigt Azure Databricks die berekening automatisch. Zie Een rekenproces beëindigen voor meer informatie over het beëindigen van berekeningen.

Tags

Met tags kunt u eenvoudig de kosten bewaken van cloudresources die door verschillende groepen in uw organisatie worden gebruikt. Geef tags op als sleutel-waardeparen wanneer u rekenkracht maakt en Azure Databricks past deze tags toe op cloudresources, zoals VM's en schijfvolumes, evenals DBU-gebruiksrapporten.

Voor berekeningen die worden gestart vanuit pools, worden de aangepaste tags alleen toegepast op DBU-gebruiksrapporten en worden ze niet doorgegeven aan cloudresources.

Zie Gebruik bewaken met tags voor gedetailleerde informatie over hoe pool- en rekentagtypen samenwerken

Tags toevoegen aan uw rekenproces:

  1. Voeg in de sectie Tags een sleutel-waardepaar toe voor elke aangepaste tag.
  2. Klik op Toevoegen.

Spark-configuratie

Als u Spark-taken wilt verfijnen, kunt u aangepaste Spark-configuratie-eigenschappen opgeven.

  1. Klik op de pagina rekenconfiguratie op de wisselknop Geavanceerde opties .

  2. Klik op het tabblad Spark .

    Spark-configuratie

    Voer in Spark-configuratie de configuratie-eigenschappen in als één sleutel-waardepaar per regel.

Wanneer u rekenkracht configureert met behulp van de Clusters-API, stelt u Spark-eigenschappen in het spark_conf veld in het veld in de cluster-API maken of cluster-API bijwerken.

Voor het afdwingen van Spark-configuraties op rekenproces kunnen werkruimtebeheerders rekenbeleid gebruiken.

Een Spark-configuratie-eigenschap ophalen uit een geheim

Databricks raadt aan gevoelige informatie, zoals wachtwoorden, op te slaan in een geheim in plaats van tekst zonder opmaak. Gebruik de volgende syntaxis om te verwijzen naar een geheim in de Spark-configuratie:

spark.<property-name> {{secrets/<scope-name>/<secret-name>}}

Als u bijvoorbeeld een Spark-configuratie-eigenschap wilt instellen die wordt aangeroepen password naar de waarde van het geheim dat is opgeslagen in secrets/acme_app/password:

spark.password {{secrets/acme-app/password}}

Zie Syntaxis voor het verwijzen naar geheimen in een Spark-configuratie-eigenschap of omgevingsvariabele voor meer informatie.

SSH-toegang tot compute

Om veiligheidsredenen wordt de SSH-poort in Azure Databricks standaard gesloten. Als u SSH-toegang tot uw Spark-clusters wilt inschakelen, raadpleegt u SSH naar het stuurprogrammaknooppunt.

Notitie

SSH kan alleen worden ingeschakeld als uw werkruimte is geïmplementeerd in uw eigen virtuele Azure-netwerk.

Omgevingsvariabelen

Configureer aangepaste omgevingsvariabelen die u kunt openen vanuit init-scripts die worden uitgevoerd op de berekening. Databricks biedt ook vooraf gedefinieerde omgevingsvariabelen die u kunt gebruiken in init-scripts. U kunt deze vooraf gedefinieerde omgevingsvariabelen niet overschrijven.

  1. Klik op de pagina rekenconfiguratie op de wisselknop Geavanceerde opties .

  2. Klik op het tabblad Spark .

  3. Stel de omgevingsvariabelen in het veld Omgevingsvariabelen in.

    Veld Omgevingsvariabelen

U kunt ook omgevingsvariabelen instellen met behulp van het spark_env_vars veld in de cluster-API maken of cluster-API bijwerken.

Levering van rekenlogboek

Wanneer u rekenkracht maakt, kunt u een locatie opgeven voor het leveren van de logboeken voor het Spark-stuurprogrammaknooppunt, werkknooppunten en gebeurtenissen. Logboeken worden elke vijf minuten bezorgd en elk uur gearchiveerd in uw gekozen bestemming. Wanneer een berekening wordt beëindigd, garandeert Azure Databricks dat alle logboeken worden geleverd die zijn gegenereerd totdat de berekening is beëindigd.

Het doel van de logboeken is afhankelijk van de rekenkracht cluster_id. Als de opgegeven bestemming is dbfs:/cluster-log-delivery, worden rekenlogboeken 0630-191345-leap375 geleverd aan dbfs:/cluster-log-delivery/0630-191345-leap375.

Ga als volgende te werk om de locatie voor de levering van logboeken te configureren:

  1. Klik op de rekenpagina op de wisselknop Geavanceerde opties .
  2. Klik op het tabblad Logboekregistratie .
  3. Selecteer een doeltype.
  4. Voer het pad voor het rekenlogboek in.

Notitie

Deze functie is ook beschikbaar in de REST API. Zie de Clusters-API.