Configurar o ambiente interativo do PySpark para o Visual Studio Code

  • Artigo

As etapas a seguir mostram como configurar o ambiente interativo do PySpark no VSCode. Esta etapa é apenas para usuários que não têm o Windows.

Usamos comando python/pip para criar o ambiente virtual em seu caminho de Página Inicial. Se você deseja usar outra versão, precisa alterar a versão padrão do comando python/pip manualmente. Para obter mais detalhes, confira update-alternatives.

  1. Instale o Python e o pip.

    • Instale o Python a partir de https://www.python.org/downloads/.

    • Instale o pip do https://pip.pypa.io/en/stable/installing (se ele não estiver na instalação do Python).

    • Como opção, verifique se o Python e o pip estão instalados corretamente usando os comandos python --version e pip --version, respectivamente.

      Observação

      É recomendável instalar o Python manualmente em vez de usar a versão padrão do macOS.

  2. Instale virtualenv executando o comando a seguir.

    pip install virtualenv

Outros pacotes

No Linux, se você encontrar a mensagem de erro abaixo, instale os pacotes necessários executando os dois comandos a seguir.

Install libkrb5 package for python. 

sudo apt-get install libkrb5-dev

sudo apt-get install python-dev

Reinicie o VSCode, depois volte para o editor do VSCode e execute o comando do Spark: PySPark Interactive.

Próximas etapas

Demonstração

  • HDInsight para VS Code: Vídeo

Ferramentas e extensões