Executar comandos de shell no terminal Web do Azure Databricks

  • Artigo

O Terminal Web do Azure Databricks apresenta uma forma conveniente e altamente interativa de executar comandos shell e utilizar editores, como o Vim ou o Emacs, no nó do controlador do Apache Spark. O terminal web pode ser usado por muitos usuários em um computador. Exemplos de usos do terminal web incluem o monitoramento do uso de recursos e a instalação de pacotes Linux.

O terminal Web está desativado por padrão para todos os usuários do espaço de trabalho.

A ativação dos Serviços de Contêiner do Docker desativa o terminal da Web.

Aviso

O Azure Databricks faz o proxy do serviço de terminal Web da porta 7681 no driver Spark da computação. Este proxy web destina-se a ser usado apenas com o terminal web. Se a porta estiver ocupada quando a computação for iniciada ou se houver um conflito, o terminal da Web pode não funcionar conforme o esperado. Se outros serviços Web forem iniciados na porta 7681, os usuários de computação poderão ser expostos a possíveis explorações de segurança. Nem a Databricks nem a Microsoft são responsáveis por quaisquer problemas resultantes da instalação de software não suportado em uma computação.

Requisitos

Inicie o terminal web

Você pode iniciar o terminal da Web a partir da página de detalhes de computação ou de um bloco de anotações.

  • Para iniciar o terminal Web a partir da página de detalhes de computação, clique no separador Aplicações e, em seguida, clique em Terminal Web. Uma nova guia é aberta com a interface do usuário do terminal da Web e o prompt Bash.

  • Para iniciar o terminal da Web a partir de um bloco de anotações, clique na lista suspensa de computação anexada, passe o mouse sobre a computação anexada e clique em Terminal da Web. O terminal web abre num painel na parte inferior do ecrã.

    No painel do terminal da Web no bloco de anotações, você pode usar os botões no canto superior direito do painel para fazer o seguinte:

    • Abra uma nova sessão de terminal num novo separador Abrir uma nova sessão de terminal.
    • Recarregue uma sessão Recarregar sessão do terminalde terminal .
    • Feche o painel fechar painel inferiorinferior. Para reabrir o painel, clique reabrir o painel inferior na parte inferior da barra lateral direita.

Utilizar o terminal web

No terminal da Web, você pode executar comandos como root dentro do contêiner do nó do driver de computação.

Cada utilizador pode ter até 100 sessões ativas de terminal web (separadores) abertas. As sessões ociosas do terminal da Web podem atingir o tempo limite e o aplicativo da Web do terminal da Web será reconectado, resultando em um novo processo de shell. Se você quiser manter sua sessão Bash, a Databricks recomenda o uso do tmux.

Limitações

  • O Azure Databricks não suporta a execução de trabalhos do Spark a partir do terminal Web. Além disso, o terminal Web do Azure Databricks não está disponível nos seguintes tipos de computação:

    • Computação de trabalho
    • Computação iniciada com o conjunto de variáveis de DISABLE_WEB_TERMINAL=true ambiente.
    • Computação iniciada com o modo de acesso definido como Compartilhado.
    • A computação foi iniciada com a configuração spark.databricks.pyspark.enableProcessIsolation do Spark definida como true.

  • Há um limite rígido de 12 horas desde o carregamento inicial da página, após o qual qualquer conexão, mesmo que ativa, será encerrada. Você pode atualizar o terminal da Web para se reconectar. A Databricks recomenda o uso do tmux para preservar sua sessão de shell.

  • A ativação dos Serviços de Contêiner do Docker desativa o terminal da Web.