Log de script de inicialização

Os eventos de início e término do script de inicialização são capturados em logs de eventos de cluster. Os detalhes são capturados em logs de cluster. Os eventos de criação, edição e exclusão de script de inicialização global também são capturados em logs de diagnóstico no nível da conta.

Eventos de script de inicialização

Os logs de eventos de cluster capturam dois eventos de script de inicialização: INIT_SCRIPTS_STARTED e INIT_SCRIPTS_FINISHED, indicando quais scripts estão agendados para execução e quais foram concluídos com êxito. INIT_SCRIPTS_FINISHED também captura a duração da execução.

Os scripts de inicialização global são indicados nos detalhes do evento de log pela chave "global" e os scripts de inicialização com escopo de cluster são indicados pela chave "cluster".

Nota

Os logs de eventos de cluster não registram eventos de script de inicialização para cada nó de cluster; apenas um nó é selecionado para representá-los todos.

Onde são escritos os logs de script init?

Se a entrega de log de cluster estiver configurada para um cluster, os logs de script de inicialização serão gravados em /<cluster-log-path>/<cluster-id>/init_scripts.

Os logs de cada contêiner no cluster são gravados em um subdiretório chamado init_scripts/<cluster-id>_<container-ip>.

Por exemplo, se cluster-log-path estiver definido como cluster-logs, o caminho para os logs de um contêiner específico seria: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Se o cluster estiver configurado para gravar logs no DBFS, você poderá visualizá-los usando o utilitário do sistema de arquivos (dbutils.fs) ou a CLI do DBFS (legado). Por exemplo, se o ID do cluster for 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Quando a entrega de logs de cluster não está configurada, os logs são gravados em /databricks/init_scripts. Você pode usar comandos padrão do shell em um bloco de anotações para listar e exibir os logs:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Sempre que um cluster é iniciado, ele grava um log na pasta de log de script init.

Importante

Qualquer usuário que crie um cluster e habilite a entrega de log de cluster pode exibir a saída e stdout os stderr scripts de inicialização global. Você deve garantir que seus scripts de inicialização global não produzam informações confidenciais.

Eventos de script de inicialização em logs de diagnóstico

Os logs de diagnóstico do Azure Databricks capturam o script de inicialização global, criam, editam e excluem eventos sob o tipo de evento globalInitScripts. Consulte Eventos de scripts de inicialização global.