클러스터 라이브러리

클러스터 라이브러리는 클러스터에서 실행되는 모든 Notebook 및 작업에서 사용할 수 있습니다. 이 문서에서는 Azure Databricks 작업 영역에서 라이브러리 UI 설치를 사용하는 방법에 대해 자세히 설명합니다.

참고 항목

라이브러리 설치를 적용하는 정책을 사용하여 컴퓨팅을 만드는 경우 컴퓨팅에 라이브러리를 설치하거나 제거할 수 없습니다. 작업 영역 관리자는 정책 수준에서 모든 라이브러리 관리를 제어합니다.

다음 방법을 사용하여 클러스터에 라이브러리를 설치할 수 있습니다.

• 특정 클러스터에만 사용할 라이브러리를 설치합니다.

• REST API를 사용하여 라이브러리를 설치합니다. 라이브러리 API를 참조하세요.

• Databricks CLI를 사용하여 라이브러리를 설치합니다. Databricks CLI란?을 참조하세요.

• Terraform을 사용하여 라이브러리를 설치합니다. Databricks Terraform 공급자 및 databricks_library 참조하세요.

• 라이브러리 설치를 정의하는 정책을 사용하여 클러스터를 만들어 라이브러리를 설치합니다. 정책에 라이브러리 추가를 참조하세요.

• (권장되지 않음) 클러스터를 만들 때 실행되는 init 스크립트를 사용하여 라이브러리를 설치합니다. init 스크립트(레거시)를 사용하여 라이브러리 설치를 참조하세요.

클러스터에 라이브러리 설치

클러스터에 라이브러리를 설치하려면:

1. 사이드바에서 컴퓨팅을 클릭합니다.
2. 클러스터 이름을 클릭합니다.
3. 라이브러리 탭을 클릭합니다.
4. 새로 설치를 클릭합니다.
5. 라이브러리 설치 대화 상자가 표시됩니다.
6. 라이브러리 원본 옵션 중 하나를 선택하고 표시되는 지침을 완료한 다음 설치를 클릭합니다.

Important

Databricks Runtime 14.3 LTS 이하를 사용하는 경우 DBFS에서 라이브러리를 설치할 수 있습니다. 그러나 모든 작업 영역 사용자는 DBFS에 저장된 라이브러리 파일을 수정할 수 있습니다. Azure Databricks 작업 영역에서 라이브러리의 보안을 강화하기 위해 DBFS 루트에 라이브러리 파일을 저장하는 것은 기본적으로 Databricks Runtime 15.0 이상에서 사용되지 않으며 비활성화됩니다. DBFS 루트에 라이브러리 저장이 사용되지 않고 기본적으로 사용하지 않도록 설정됨을 참조하세요.

대신 Databricks 는 작업 영역 파일 또는 Unity 카탈로그 볼륨에 라이브러리를 업로드하거나 라이브러리 패키지 리포지토리를 사용하는 것이 좋습니다 . 워크로드가 이러한 패턴을 지원하지 않는 경우 클라우드 개체 스토리지에 저장된 라이브러리를 사용할 수도 있습니다.

모든 클러스터 액세스 모드가 모든 라이브러리 구성을 지원하는 것은 아닙니다. 클러스터 범위 라이브러리를 참조 하세요.

라이브러리 원본	지침
작업 영역	작업 영역 파일을 선택하거나 Whl, 압축 휠하우스, JAR, ZIP, tar 또는 requirements.txt 파일을 업로드합니다. 작업 영역 파일에서 라이브러리 설치 참조
볼륨	볼륨에서 Whl, JAR 또는 requirements.txt 파일을 선택합니다. 볼륨에서 라이브러리 설치를 참조 하세요.
파일 경로/ADLS	라이브러리 유형을 선택하고 라이브러리 개체(예: /Workspace/path/to/library.whl, /Volumes/path/to/library.whl또는 abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl)에 전체 URI를 제공합니다. 개체 스토리지에서 라이브러리 설치를 참조하세요.
PyPI	PyPI 패키지 이름을 입력합니다. PyPI 패키지를 참조하세요.
Maven	Maven 좌표를 지정합니다. Maven 또는 Spark 패키지를 참조하세요.
CRAN	패키지의 이름을 입력합니다. CRAN 패키지를 참조하세요.
DBFS (권장되지 않음)	DBFS 루트에 JAR 또는 Whl 파일을 로드합니다. DBFS에 저장된 파일은 작업 영역 사용자가 수정할 수 있으므로 권장되지 않습니다.

클러스터에 라이브러리를 설치하면 해당 클러스터에 이미 연결된 Notebook에 새 라이브러리가 즉시 표시되지 않습니다. 먼저 Notebook을 클러스터에 분리한 다음 다시 연결해야 합니다.

정책을 사용하여 라이브러리 설치

라이브러리 설치를 적용하는 정책을 사용하여 클러스터를 만드는 경우 지정된 라이브러리가 클러스터에 자동으로 설치됩니다. 추가 라이브러리를 설치하거나 라이브러리를 제거할 수 없습니다.

작업 영역 관리자는 정책에 라이브러리를 추가하여 정책을 사용하는 모든 컴퓨팅에서 라이브러리 설치를 관리하고 적용할 수 있습니다. 관리자 지침은 정책에 라이브러리 추가를 참조하세요.

클러스터에서 라이브러리 제거

참고 항목

클러스터에서 라이브러리를 제거하면 클러스터를 다시 시작할 때만 라이브러리가 제거됩니다. 클러스터를 다시 시작할 때까지 제거된 라이브러리의 상태는 제거 보류 중인 다시 시작으로 나타납니다.

라이브러리를 제거하려면 클러스터 UI를 사용할 수 있습니다.

1. 사이드바에서 컴퓨팅을 클릭합니다.
2. 클러스터 이름을 클릭합니다.
3. 라이브러리 탭을 클릭합니다.
4. 라이브러리를 제거할 클러스터 옆의 확인란을 선택하고 제거를 클릭한 다음 확인을 클릭합니다. 상태가 제거 보류 중인 다시 시작으로 변경됩니다.

다시 시작 및 확인을 클릭하여 라이브러리를 제거합니다. 라이브러리가 클러스터의 라이브러리 탭에서 제거됩니다.

클러스터에 설치된 라이브러리 보기

1. 사이드바에서 컴퓨팅을 클릭합니다.
2. 클러스터 이름을 클릭합니다.
3. 라이브러리 탭을 클릭합니다. 각 라이브러리의 탭에는 이름과 버전, 유형, 설치 상태, 업로드된 경우 원본 파일이 표시됩니다.

클러스터 설치 라이브러리 업데이트

클러스터 설치 라이브러리를 업데이트하려면 라이브러리의 이전 버전을 제거하고 새 버전을 설치합니다.

참고 항목

Requirements.txt 파일에는 제거 및 다시 시작이 필요하지 않습니다. requirements.txt 파일의 내용을 수정한 경우 설치한 파일의 내용을 업데이트하기 위해 다시 설치하기만 하면 됩니다.