Bibliotecas de cluster

As bibliotecas de cluster podem ser usadas por todos os blocos de anotações e trabalhos em execução em um cluster. Este artigo detalha o uso da interface do usuário da biblioteca de instalação no espaço de trabalho do Azure Databricks.

Nota

Se você criar computação usando uma política que imponha instalações de biblioteca, não poderá instalar ou desinstalar bibliotecas em sua computação. Os administradores do espaço de trabalho controlam todo o gerenciamento de bibliotecas no nível da política.

Você pode instalar bibliotecas em um cluster usando as seguintes abordagens:

• Instale uma biblioteca para uso apenas com um cluster específico.

• Instale uma biblioteca com a API REST. Consulte a API de bibliotecas.

• Instale uma biblioteca com a CLI do Databricks. Consulte O que é a CLI do Databricks?.

• Instale uma biblioteca usando o Terraform. Consulte Databricks Terraform provider and databricks_library.

• Instale uma biblioteca criando um cluster com uma política que define as instalações da biblioteca. Consulte Adicionar bibliotecas a uma política.

• (Não recomendado) Instale uma biblioteca usando um script init que é executado no momento da criação do cluster. Consulte Instalar uma biblioteca com um script init (legado).

Instalar uma biblioteca em um cluster

Para instalar uma biblioteca em um cluster:

1. Clique em Calcular na barra lateral.
2. Clique num nome de cluster.
3. Clique na guia Bibliotecas .
4. Clique em Instalar novo.
5. A caixa de diálogo Instalar biblioteca é exibida.
6. Selecione uma das opções Fonte da biblioteca, conclua as instruções exibidas e clique em Instalar.

Importante

As bibliotecas podem ser instaladas a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e inferior. No entanto, qualquer usuário do espaço de trabalho pode modificar arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um espaço de trabalho do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz DBFS é preterido e desabilitado por padrão no Databricks Runtime 15.0 e superior. Consulte O armazenamento de bibliotecas na raiz DBFS foi preterido e desativado por padrão.

Em vez disso, o Databricks recomenda carregar bibliotecas para arquivos de espaço de trabalho ou volumes do Catálogo Unity, ou usar repositórios de pacotes de bibliotecas. Se sua carga de trabalho não oferecer suporte a esses padrões, você também poderá usar bibliotecas armazenadas no armazenamento de objetos na nuvem.

Nem todos os modos de acesso ao cluster suportam todas as configurações de biblioteca. Consulte Bibliotecas com escopo de cluster.

Fonte da biblioteca	Instruções
Área de trabalho	Selecione um arquivo de espaço de trabalho ou carregue um arquivo Whl, casa do leme compactada, JAR, ZIP, tar ou requirements.txt. Consulte Instalar bibliotecas a partir de arquivos de espaço de trabalho
Volumes	Selecione um arquivo Whl, JAR ou requirements.txt de um volume. Consulte Instalar bibliotecas a partir de um volume.
Caminho do arquivo/ADLS	Selecione o tipo de biblioteca e forneça o URI completo ao objeto de biblioteca (por exemplo: /Workspace/path/to/library.whl, /Volumes/path/to/library.whl, ou abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Consulte Instalar bibliotecas do armazenamento de objetos.
PyPI	Insira um nome de pacote PyPI. Consulte o pacote PyPI.
Maven	Especifique uma coordenada Maven. Consulte o pacote Maven ou Spark.
CRAN	Digite o nome de um pacote. Consulte o pacote CRAN.
DBFS (Não recomendado)	Carregue um arquivo JAR ou Whl na raiz DBFS. Isso não é recomendado, pois os arquivos armazenados no DBFS podem ser modificados por qualquer usuário do espaço de trabalho.

Quando você instala uma biblioteca em um cluster, um bloco de anotações já conectado a esse cluster não verá imediatamente a nova biblioteca. Você deve primeiro desanexar e, em seguida, reanexar o bloco de anotações ao cluster.

Instalar uma biblioteca usando uma política

Se você criar um cluster usando uma política que imponha a instalação da biblioteca, as bibliotecas especificadas serão instaladas automaticamente no cluster. Não é possível instalar bibliotecas adicionais ou desinstalar bibliotecas.

Os administradores de espaços de trabalho podem adicionar bibliotecas a políticas, permitindo-lhes gerir e impor instalações de bibliotecas em todos os cálculos que utilizam a política. Para obter instruções de administração, consulte Adicionar bibliotecas a uma política.

Desinstalar uma biblioteca de um cluster

Nota

Quando você desinstala uma biblioteca de um cluster, a biblioteca é removida somente quando você reinicia o cluster. Até reiniciar o cluster, o status da biblioteca desinstalada aparece como Desinstalar pendente de reinicialização.

Para desinstalar uma biblioteca, você pode usar a interface do usuário do cluster:

1. Clique em Calcular na barra lateral.
2. Clique num nome de cluster.
3. Clique na guia Bibliotecas .
4. Marque a caixa de seleção ao lado do cluster do qual deseja desinstalar a biblioteca, clique em Desinstalar e em Confirmar. O Status muda para Desinstalar reinicialização pendente.

Clique em Reiniciar e Confirmar para desinstalar a biblioteca. A biblioteca é removida da guia Bibliotecas do cluster.

Exibir as bibliotecas instaladas em um cluster

1. Clique em Calcular na barra lateral.
2. Clique no nome do cluster.
3. Clique na guia Bibliotecas . Para cada biblioteca, a guia exibe o nome e a versão, o tipo, o status da instalação e, se carregado, o arquivo de origem.

Atualizar uma biblioteca instalada em cluster

Para atualizar uma biblioteca instalada em cluster, desinstale a versão antiga da biblioteca e instale uma nova versão.

Nota

Requirements.txt arquivos não exigem a desinstalação e reinicialização. Se você modificou o conteúdo de um arquivo requirements.txt, você pode simplesmente reinstalá-lo para atualizar o conteúdo do arquivo instalado.