Définir l’environnement interactif de PySpark pour Visual Studio Code

  • Article

Les étapes suivantes expliquent comment configurer l'environnement interactif PySpark dans VS Code. Cette étape concerne uniquement les utilisateurs autres que Windows.

Nous utilisons la commande python/pip pour créer un environnement virtuel au niveau de votre chemin d'accueil. Si vous souhaitez utiliser une autre version, vous devez modifier manuellement la version par défaut de la commande python/pip. Pour plus de détails, voir update-alternatives.

  1. Installez Python et pip.

    • Installez Python à partir de https://www.python.org/downloads/.

    • Installez pip depuis https://pip.pypa.io/en/stable/installing (si non installé à partir de l'installation de Python).

    • Si vous le souhaitez, utilisez les commandes python --version et pip --version pour vérifier que Python et pip, respectivement, sont bien installés.

      Notes

      Il est recommandé d'installer manuellement Python plutôt que d'utiliser la version par défaut de macOS.

  2. Installez virtualenv en exécutant la commande ci-dessous.

    pip install virtualenv

Autres packages

Dans Linux, si vous rencontrez le message d’erreur ci-dessous, installez les packages nécessaires en exécutant les deux commandes suivantes.

Install libkrb5 package for python. 

sudo apt-get install libkrb5-dev

sudo apt-get install python-dev

Redémarrez VSCode, revenez à l’éditeur VSCode, puis exécutez la commande Spark : PySpark Interactive.

Étapes suivantes

Démonstration

  • HDInsight pour VS Code : Vidéo

Outils et extensions