Executar comandos shell no terminal web do Azure Databricks

O terminal Web do Azure Databricks fornece uma maneira prática e altamente interativa para executar comandos shell e usar editores, como Vim ou Emacs, no nó de driver do Spark. O terminal da Web pode ser usado por muitos usuários em uma computação. Alguns exemplos de uso do terminal da Web são o monitoramento do uso de recursos e a instalação de pacotes do Linux.

O terminal da Web é desabilitado por padrão para todos os usuários do espaço de trabalho.

A habilitação dos Serviços de Contêiner do Docker desabilita o terminal da Web.

Aviso

O Azure Databricks faz proxies do serviço de terminal Web da porta 7681 no driver Spark da computação. Esse proxy Web destina-se a uso exclusivo com o terminal da Web. Se a porta estiver ocupada quando a computação for iniciada ou se houver um conflito, o terminal da Web poderá não funcionar conforme o esperado. Se outros serviços Web forem iniciados na porta 7681, os usuários de computação poderão ser expostos a possíveis explorações de segurança. Nem o Databricks nem a Microsoft são responsáveis por quaisquer problemas resultantes da instalação de software sem suporte em uma computação.

Requisitos

• Permissão PODE ANEXAR A em uma computação.
• Seu espaço de trabalho do Azure Databricks deve ter o terminal da Web habilitado.

Iniciar o terminal da Web

Você pode iniciar o terminal da Web na página de detalhes de computação ou em um notebook.

• Para iniciar o terminal Web na página de detalhes de computação, clique na guia Aplicativos e clique em Terminal da Web. Uma nova guia é aberta com a interface do usuário do terminal da Web e o prompt do Bash.

• Para iniciar o terminal da Web a partir de um notebook, clique na lista suspensa de computação anexada, passe o mouse sobre a computação anexada e clique em Terminal da Web. O terminal da Web é aberto em um painel na parte inferior da tela.

  No painel do terminal da Web no notebook, você pode usar os botões no canto superior direito do painel para fazer o seguinte:

  • Abra uma nova sessão de terminal em uma nova guia .
  • Recarregar uma sessão de terminal .
  • Feche o painel inferior . Para reabrir o painel, clique em na parte inferior da barra lateral direita.

Usar o terminal da Web

No terminal da Web, você pode executar comandos como root dentro do contêiner do nó do driver de computação.

Cada usuário pode ter até 100 sessões de terminal da Web (guias) ativas abertas. Sessões de terminal da Web ociosas podem atingir o tempo limite e, nesse caso, o aplicativo Web do terminal Web se reconectará, resultando em um novo processo de shell. Se você quiser manter sua sessão do Bash, a Databricks recomenda o uso de tmux.

Limitações

• O Azure Databricks não oferece suporte à execução de trabalhos do Spark a partir do terminal da Web. Além disso, o terminal da Web do Azure Databricks não está disponível nos seguintes tipos de computação:

  • Computação de trabalho
  • Computação iniciada com o conjunto de variáveis de ambiente DISABLE_WEB_TERMINAL=true.
  • Computação iniciada com o modo de acesso definido como Compartilhado.
  • Computação iniciada com a configuração do Spark spark.databricks.pyspark.enableProcessIsolation definida como true.

• Depois de 12 horas após a carga inicial da página, todas as conexões (mesmo ativas) serão impreterivelmente encerradas. Você pode atualizar o terminal da Web para se reconectar. O Databricks recomenda usar o tmux para preservar a sessão do shell.

• A habilitação dos Serviços de Contêiner do Docker desabilita o terminal da Web.