Настройка интерактивной среды PySpark для Visual Studio Code

  • Статья

Следующие шаги показывают, как настроить интерактивную среду PySpark в VS Code. Этот шаг предназначен только для пользователей, не использующих Windows.

Мы используем команду python или pip для сборки виртуального окружения в основной папке. Если вы хотите использовать другую версию, вам нужно вручную изменить версию по умолчанию команды python или pip. Дополнительные сведения см. в статье о команде update-alternatives.

  1. Установите Python и pip.

    • Установите Python отсюда: https://www.python.org/downloads/.

    • Установите pip, перейдя на страницу https://pip.pypa.io/en/stable/installing (если он не установлен при установке Python).

    • При необходимости убедитесь, что Python и pip установлены успешно, выполнив команды python --version и pip --version соответственно.

      Примечание.

      Мы советуем вручную устанавливать Python вместо использования версии по умолчанию для macOS.

  2. Установите virtualenv, выполнив команду, приведенную ниже.

    pip install virtualenv

Другие пакеты

Если приведенное ниже сообщение об ошибке появляется в Linux, установите необходимые пакеты, выполнив следующие две команды.

Install libkrb5 package for python. 

sudo apt-get install libkrb5-dev

sudo apt-get install python-dev

Перезапустите VS Code, а затем вернитесь в редактор VS Code и выполните команду Spark: PySPark Interactive.

Следующие шаги

Демонстрация

Инструменты и расширения