Configurar local de armazenamento de resultados do bloco de anotações

Os requisitos de privacidade da sua organização podem exigir que você armazene todos os resultados do bloco de anotações interativo na instância raiz do Armazenamento do Azure da sua conta de nuvem, em vez do local padrão do plano de controle gerenciado pelo Databricks onde alguns resultados do comando do bloco de anotações são armazenados.

A saída do comando do bloco de anotações é armazenada de forma diferente, dependendo de como você executa o bloco de anotações.

Por padrão, quando você executa um bloco de anotações interativamente clicando em Executar no bloco de anotações:

• Se os resultados forem pequenos, eles serão armazenados no plano de controle do Azure Databricks, juntamente com o conteúdo do comando e os metadados do bloco de anotações.
• Resultados maiores são armazenados na instância raiz do Armazenamento do Azure do espaço de trabalho em sua assinatura do Azure. O Azure Databricks cria automaticamente a instância raiz do Armazenamento do Azure. O Azure Databricks usa essa área de armazenamento para dados do sistema de espaço de trabalho e a raiz DBFS do seu espaço de trabalho. Os resultados do bloco de anotações são armazenados no armazenamento de dados do sistema de espaço de trabalho, que não é acessível pelos usuários.

Quando você executa um bloco de anotações como um trabalho, agendando-o ou clicando em Executar Agora na página Trabalhos, todos os resultados são armazenados na instância raiz do Armazenamento do Azure do espaço de trabalho em sua conta.

Você pode configurar seu espaço de trabalho para armazenar todos os resultados interativos do bloco de anotações em sua conta na nuvem, independentemente do tamanho do resultado.

Configurar o local de armazenamento para resultados de blocos de anotações interativos

Você pode configurar seu espaço de trabalho para armazenar todos os resultados do bloco de anotações interativo em sua assinatura do Azure, em vez do plano de controle. Você pode habilitar esse recurso usando a página de configurações de administrador ou a API REST. Essa configuração não tem efeito em blocos de anotações executados como trabalhos, cujos resultados já estão armazenados em sua assinatura do Azure por padrão.

Tenha em consideração os seguintes pontos:

• As alterações a esta configuração são eficazes apenas para novos resultados. Os resultados do bloco de notas existentes não são movidos.
• Alguns metadados sobre os resultados, como nomes de colunas de gráficos, continuam a ser armazenados no plano de controle.
• O aumento dos custos de armazenamento pode ser incorrido no seu provedor de nuvem.
• Pode ocorrer um aumento da latência da rede e da E/S durante a leitura e a escrita dos resultados.

Armazene todos os resultados do bloco de notas na sua conta utilizando a página de definições de administrador

Como administrador de espaço de trabalho:

1. Vá para a página de configurações.
2. Clique na segurança separador.
3. Clique no botão Alternar os resultados do bloco de anotações interativo da Loja na conta do cliente.

Armazene todos os resultados do bloco de anotações em sua conta usando a API REST

Para configurar seu espaço de trabalho para armazenar todos os resultados do bloco de anotações em sua assinatura do Azure usando a API REST:

• Você deve ser um administrador de espaço de trabalho.
• Você precisa de um token de acesso pessoal. As instruções a seguir pressupõem que você configurou um arquivo com seu token de .netrc acesso pessoal para que você possa usar a -n opção em curl comandos. Consulte o artigo mencionado acima para obter detalhes.

Para obter a configuração atual, chame o GET /workspace-conf ponto de extremidade e defina keys como storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Para habilitar seu espaço de trabalho para armazenar resultados de bloco de anotações interativos em sua assinatura do Azure, chame o PATCH /workspace-conf ponto de extremidade e defina storeInteractiveNotebookResultsInCustomerAccount como no true corpo da solicitação:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Para desativar o recurso, defina o mesmo sinalizador como false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'