Logboekregistratie van Init-script

  • Artikel

Init-script-gebeurtenissen worden vastgelegd in de gebeurtenislogboeken van het cluster. Details worden vastgelegd in clusterlogboeken. Globale init-scriptgebeurtenissen worden ook vastgelegd in diagnostische logboeken op accountniveau.

Init-script gebeurtenissen

In de gebeurtenislogboeken van het cluster worden twee init-script gebeurtenissen vastgelegd: INIT_SCRIPTS_STARTED en INIT_SCRIPTS_FINISHED, waarmee wordt aangegeven welke scripts zijn gepland voor uitvoering en welke zijn voltooid. INIT_SCRIPTS_FINISHED legt ook de uitvoeringsduur vast.

Globale init-scripts worden aangegeven in de logboekgebeurtenisdetails door de sleutel "global" en init-scripts met clusterbereik worden aangegeven door de sleutel "cluster".

Notitie

Gebeurtenislogboeken van clusters registreren geen init-script-gebeurtenissen voor elk clusterknooppunt; er is slechts één knooppunt geselecteerd om ze allemaal weer te geven.

Waar worden init-scriptlogboeken geschreven?

Als de levering van het clusterlogboek is geconfigureerd voor een cluster, worden de init-scriptlogboeken naar /<cluster-log-path>/<cluster-id>/init_scriptsgeschreven.

Logboeken voor elke container in het cluster worden geschreven naar een submap met de naam init_scripts/<cluster-id>_<container-ip>.

Als dit bijvoorbeeld is ingesteldcluster-logs, cluster-log-path is het pad naar de logboeken voor een specifieke container: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Als het cluster is geconfigureerd voor het schrijven van logboeken naar DBFS, kunt u de logboeken weergeven met behulp van het bestandssysteemhulpprogramma (dbutils.fs) of de DBFS CLI (verouderd). Als de cluster-id bijvoorbeeld het volgende is 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Wanneer de levering van clusterlogboeken niet is geconfigureerd, worden logboeken naar /databricks/init_scriptsgeschreven. U kunt standaardshell-opdrachten in een notebook gebruiken om de logboeken weer te geven en weer te geven:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Telkens wanneer een cluster wordt gestart, wordt er een logboek naar de map init-scriptlogboek geschreven.

Belangrijk

Elke gebruiker die een cluster maakt en de levering van clusterlogboeken inschakelt, kan de stderr en stdout uitvoer van globale init-scripts bekijken. Zorg ervoor dat uw globale init-scripts geen gevoelige informatie uitvoeren.

Init-script gebeurtenissen in diagnostische logboeken

Diagnostische logboeken van Azure Databricks leggen globale init-scripts vast voor het maken, bewerken en verwijderen van gebeurtenissen onder het gebeurtenistype globalInitScripts. Zie algemene gebeurtenissen init-scripts.