Configurar o ambiente interativo do PySpark para o Visual Studio Code

  • Artigo

As etapas a seguir mostram como configurar o ambiente interativo PySpark no VSCode. Esta etapa é apenas para usuários que não são do Windows.

Usamos o comando python/pip para construir um ambiente virtual no seu caminho Home. Se você quiser usar outra versão, você precisa alterar a versão padrão do comando python/pip manualmente. Mais detalhes, consulte alternativas de atualização.

  1. Instale Python e pip.

    • Instale o Python a partir do https://www.python.org/downloads/.

    • Instale pip from https://pip.pypa.io/en/stable/installing (se não estiver instalado a partir da instalação do Python).

    • Opcionalmente, valide se Python e pip foram instalados com êxito usando os comandos python --version, e pip --version, respectivamente.

      Nota

      Recomenda-se instalar manualmente o Python em vez de usar a versão padrão do macOS.

  2. Instale virtualenv executando o comando abaixo.

    pip install virtualenv

Outros pacotes

No Linux, se você se deparar com a mensagem de erro abaixo, instale os pacotes necessários executando os dois comandos a seguir.

Install libkrb5 package for python. 

sudo apt-get install libkrb5-dev

sudo apt-get install python-dev

Reinicie o VSCode e, em seguida, volte para o editor VSCode e execute o comando Spark: PySPark Interactive .

Próximos passos

Demonstração

  • HDInsight para VS Code: Vídeo

Ferramentas e extensões