Spark에서 라이브러리 관리

아티클
02/26/2024

Important

이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.

라이브러리 관리의 목적은 클러스터에서 실행되는 Notebook 및 작업에 오픈 소스 또는 사용자 지정 코드를 사용할 수 있도록 하는 것입니다. PyPI 리포지토리에서 Python 라이브러리를 업로드할 수 있습니다. 이 문서에서는 클러스터 UI의 라이브러리 관리에 중점을 둡니다. Azure HDInsight on AKS에는 이미 클러스터에 많은 공통 라이브러리가 포함되어 있습니다. AKS 클러스터의 HDI에 포함된 라이브러리를 확인하려면 라이브러리 관리 페이지를 검토합니다.

라이브러리 설치

두 가지 모드로 라이브러리를 설치할 수 있습니다.

클러스터 설치됨
Notebook 범위가 지정됨

클러스터 설치됨

클러스터에서 실행되는 모든 Notebook은 클러스터 라이브러리를 사용할 수 있습니다. PyPi와 같은 공용 리포지토리에서 직접 클러스터 라이브러리를 설치할 수 있습니다. Maven 리포지토리에서 업로드하고, 클라우드 스토리지에서 사용자 지정 라이브러리를 업로드하는 작업은 로드맵에 있습니다.

Notebook 범위가 지정됨

Python 및 Scala에 사용할 수 있는 Notebook 범위의 라이브러리를 사용하면 라이브러리를 설치하고 Notebook 세션 범위의 환경을 만들 수 있습니다. 이 라이브러리는 동일한 클러스터에서 실행되는 다른 Notebooks에 영향을 주지 않습니다. Notebook 범위의 라이브러리는 지속되지 않으며 각 세션에 대해 다시 설치해야 합니다.

참고 항목

특정 Notebook에 사용자 지정 환경이 필요한 경우 Notebook 범위의 라이브러리를 사용합니다.

라이브러리 설치 모드

PyPI: 설치 UI에서 라이브러리 이름 및 버전을 언급하여 오픈 소스 PyPI 리포지토리에서 라이브러리를 가져옵니다.

설치된 라이브러리 보기

개요 페이지에서 라이브러리 관리자로 이동합니다.
Spark 클러스터 관리자에서 라이브러리 관리자를 클릭합니다.
여기에서 설치된 라이브러리 목록을 볼 수 있습니다.

PyPI

PyPI 탭에서 패키지 이름 및 패키지 버전을 입력합니다.
설치를 클릭합니다.

라이브러리 제거

라이브러리를 더 이상 사용하지 않기로 결정한 경우 라이브러리 관리 페이지의 제거 단추를 통해 라이브러리 패키지를 쉽게 삭제할 수 있습니다.

라이브러리 이름을 선택하고 클릭합니다.
위젯에서 제거를 클릭합니다.
참고 항목
- Jupyter Notebook에서 설치한 패키지는 Jupyter Notebook에서만 삭제할 수 있습니다.
- 라이브러리 관리자에서 설치한 패키지는 라이브러리 관리자에서만 제거할 수 있습니다.
- 라이브러리/패키지를 업그레이드하려면 현재 버전의 라이브러리를 제거하고 필요한 라이브러리 버전을 다시 설치합니다.
- Jupyter Notebook에서 라이브러리를 설치하는 것은 세션에 특히 중요합니다. 지속성이 없습니다.
- 크기 및 복잡성으로 인해 무거운 패키지를 설치하는 데 다소 시간이 걸릴 수 있습니다.

Share via