Share via

Bibliotheekbeheer in Spark

  • Artikel

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

Het doel van Bibliotheekbeheer is om opensource- of aangepaste code beschikbaar te maken voor notebooks en taken die worden uitgevoerd op uw clusters. U kunt Python-bibliotheken uploaden vanuit PyPI-opslagplaatsen. Dit artikel is gericht op het beheren van bibliotheken in de gebruikersinterface van het cluster. Azure HDInsight in AKS bevat al veel algemene bibliotheken in het cluster. Als u wilt zien welke bibliotheken zijn opgenomen in HDI op een AKS-cluster, raadpleegt u de pagina bibliotheekbeheer.

Bibliotheken installeren

U kunt bibliotheken in twee modi installeren:

  • Cluster geïnstalleerd
  • Notebook-scoped

Cluster geïnstalleerd

Alle notebooks die op een cluster worden uitgevoerd, kunnen clusterbibliotheken gebruiken. U kunt een clusterbibliotheek rechtstreeks vanuit een openbare opslagplaats, zoals PyPi, installeren. Uploaden vanuit Maven-opslagplaatsen, aangepaste bibliotheken uploaden vanuit cloudopslag staan in de roadmap.

Schermopname van de pagina voor het beheren van de geïnstalleerde clusterbibliotheek.

Notebook-scoped

Notebook-scoped bibliotheken, beschikbaar voor Python en Scala, waarmee u bibliotheken kunt installeren en een omgeving kunt maken die is gericht op een notebooksessie. Deze bibliotheken zijn niet van invloed op andere notebooks die op hetzelfde cluster worden uitgevoerd. Bibliotheken met notebookbereik blijven niet behouden en moeten voor elke sessie opnieuw worden geïnstalleerd.

Notitie

Gebruik notebookbibliotheken wanneer u een aangepaste omgeving nodig hebt voor een specifiek notitieblok.

Installatiemodi van bibliotheek

PyPI: Haal bibliotheken op uit de open source PyPI-opslagplaats door de naam en versie van de bibliotheek in de installatiegebruikersinterface te vermelden.

De geïnstalleerde bibliotheken weergeven

  1. Ga op de overzichtspagina naar Bibliotheekbeheer.

    Schermopname van de pagina Bibliotheekbeheer.

  2. Klik in Spark-clusterbeheer op Bibliotheekbeheer.

  3. U kunt hier de lijst met geïnstalleerde bibliotheken bekijken.

    Schermopname van het weergeven van geïnstalleerde bibliotheken.

Bibliotheekwidget toevoegen

PyPI

  1. Voer op het tabblad PyPI de pakketnaam en pakketversie in.

  2. Klik op Install.

    Schermopname van het installeren van PyPI.

Bibliotheken verwijderen

Als u besluit de bibliotheken niet meer te gebruiken, kunt u de bibliothekenpakketten eenvoudig verwijderen via de knop Verwijderen op de pagina bibliotheekbeheer.

  1. Selecteer en klik op de naam van de bibliotheek

    Schermopname die laat zien hoe u bibliotheek selecteert.

  2. Klik op Verwijderen in de widget

    Schermopname die laat zien hoe u de bibliotheek verwijdert.

    Notitie

    • Pakketten die zijn geïnstalleerd vanuit Jupyter Notebook, kunnen alleen worden verwijderd uit Jupyter Notebook.
    • Pakketten die vanuit bibliotheekbeheer zijn geïnstalleerd, kunnen alleen worden verwijderd uit bibliotheekbeheer.
    • Als u een bibliotheek/pakket wilt upgraden, verwijdert u de huidige versie van de bibliotheek en installeert u de vereiste versie van de bibliotheek opnieuw.
    • De installatie van bibliotheken van Jupyter Notebook is met name voor de sessie. Het is niet persistent.
    • Het installeren van zware pakketten kan enige tijd duren vanwege hun grootte en complexiteit.