Organizar execuções de treinamento com experimentos do MLflow

Experimentos são unidades da organização para as execuções de treinamento de modelo. Há dois tipos de experimentos: workspace e notebook.

• Você pode criar um experimento de workspace na interface do usuário Databricks Machine Learning ou da API do MLflow. Os experimentos de workspace não estão associados a notebooks, e qualquer notebook pode registrar uma executar nesses experimentos usando a ID do experimento ou o nome do experimento.
• Um experimento de notebook está associado a um notebook específico. O Azure Databricks cria automaticamente um experimento de notebook se não houver nenhum experimento ativo quando você iniciar uma execução usando mlflow.start_run().

Para ver todos os experimentos em um workspace que você tem acesso, selecione Machine Learning>Experimentos na barra lateral.

Criar um experimento do workspace

Esta seção descreve como criar um experimento de workspace usando a interface do usuário do Azure Databricks. Você pode criar um experimento de workspace diretamente pelo workspace ou na página Experimentos.

Você também pode usar a API do MLflow ou o provedor Terraform do Databricks com databricks_mlflow_experiment.

Para obter instruções sobre como registrar em log as execuções em experimentos de workspace, confira Registrar em log o notebook de exemplo.

1. Clique no Workspace na barra lateral.

2. Navegue até a pasta na qual você deseja criar o experimento.

3. Clique com o botão direito do mouse na pasta e selecione Criar > Experimento MLflow.

4. Na caixa de diálogo Criar Experimento do MLflow, insira um nome para o experimento e um local de artefato opcional. Se você não especificar um local de artefato, os artefatos serão armazenados em dbfs:/databricks/mlflow-tracking/<experiment-id>.

   O Azure Databricks dá suporte a locais de artefato de armazenamento de Blob do Azure e DBFS.

   Para armazenar artefatos no armazenamento de Blob do Azure, especifique um URI do formato wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Os artefatos armazenados no armazenamento de Blobs do Azure não aparecem na interface do usuário do MLflow; você deve baixá-los usando um cliente de armazenamento de blobs.

   Observação

   Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na interface do usuário do MLflow. Modelos armazenados em locais diferentes do DBFS não podem ser registrados no Registro de Modelo.

5. Clique em Criar. Um experimento vazio é exibido.

Você também pode criar um novo experimento de workspace na página Experimentos. Para criar um novo experimento, use o menu suspenso . No menu suspenso, você pode selecionar um experimento do AutoML ou um experimento em branco (vazio).

• Experimento do AutoML. A página Configurar experimento do AutoML aparece. Para obter informações sobre como usar o AutoML, confira Treinar modelos de ML com a interface do usuário do AutoML do Azure Databricks.

• Experimento em branco. A caixa de diálogo Criar experimento do MLflow é exibida. Insira um nome e um local de artefato opcional na caixa de diálogo para criar um novo experimento de workspace. O local do artefato padrão é dbfs:/databricks/mlflow-tracking/<experiment-id>.

  Para registrar execuções nesse experimento, chame mlflow.set_experiment() com o caminho do experimento. O caminho do experimento aparece na parte superior da página do experimento. Consulte Registrar em log o notebook de exemplo para obter detalhes e um exemplo de notebook.

Criar experimento de notebook

Quando você usa o comando mlflow.start_run() em um notebook, a execução registra métricas e parâmetros no experimento ativo. Se nenhum experimento estiver ativo, o Azure Databricks criará um experimento de notebook. Um experimento de notebook compartilha o mesmo nome e ID do notebook correspondente. A ID do notebook é o identificador numérico no final de uma URL e ID do Notebook.

Como alternativa, você pode passar um caminho de workspace do Azure Databricks para um notebook existente em mlflow.set_experiment() para criar um experimento de notebook para ele.

Para obter instruções sobre como registrar em log as execuções em experimentos de notebook, consulte Registrar em log o notebook de exemplo.

Observação

Se você excluir um teste de notebook usando a API (por exemplo, MlflowClient.tracking.delete_experiment() no Python), o próprio notebook será movido para a pasta da lixeira.

Exibir experimentos

Cada experimento ao qual você tem acesso aparece na página de experimentos. Nessa página, você pode exibir qualquer experimento. Clique em um nome de experimento para exibir a página de experimento.

Outras maneiras de acessar a página experimento:

• Você pode acessar a página de experimento para um experimento de workspace no menu do workspace.
• Você pode acessar a página de experimento para um experimento de notebook no menu do notebook.

Para pesquisar experimentos, digite o texto no campo Filtrar experimentos e pressione Enter ou clique no ícone de lupa. A lista de experimentos muda, passando a mostrar apenas os experimentos que contêm o texto de pesquisa na coluna Nome, Criado por, Localou a coluna Descrição.

Clique no nome de qualquer experiência na tabela para exibir a página da experiência:

A página do experimento lista todas as execuções associadas ao experimento. Na tabela, você pode abrir a página de execução para qualquer execução associada ao experimento clicando em seu Nome de Execução. A coluna Origem fornece acesso à versão do notebook que criou a execução. Você também pode pesquisar e filtrar as execuções por métricas ou configurações de parâmetro.

Exibir um experimento do workspace

1. Clique no Workspace na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique no nome do experimento.

Exibir o experimento no notebook

Na barra lateral direita do notebook, clique no ícone Experimento.

A barra lateral Execuções do Experimento é exibida e mostra um resumo de cada execução associada ao experimento do notebook, incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento no qual o log mais recentemente é executado (um experimento de notebook ou um experimento de workspace).

Na barra lateral, você pode navegar até a página de experimento ou diretamente para uma execução.

• Para exibir um experimento, clique no à direita, perto de Execuções de Experimento.
• Para exibir uma execução, clique no nome da execução.

Gerenciar experimentos

Você pode renomear, excluir ou gerenciar permissões para um experimento que você possui na página de experimentos, a página de experimentos, ou o menu do workspace.

Observação

Você não pode renomear, excluir ou gerenciar permissões diretamente em um experimento do MLflow criado por um notebook em uma pasta Git do Databricks. Você deve executar essas ações no nível da pasta Git.

Renomear experimento na página de experimentos ou na página de experimento

Importante

Esse recurso está em uma versão prévia.

Para renomear um experimento na página de experimentos ou página de experimento, clique no e selecione Renomear.

Renomear experimento no menu do workspace

1. Clique no Workspace na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique com o botão direito do mouse no nome do experimento e selecione Renomear.

Copiar o nome do experimento

Para copiar o nome do experimento, clique em na parte superior da página do experimento. Você pode usar esse nome no comando set_experiment do MLflow para definir o experimento do MLflow ativo.

Você também pode copiar o nome do experimento da barra lateral do experimento em um notebook.

Excluir o experimento do notebook

Os experimentos do notebook fazem parte do notebook e não podem ser excluídos separadamente. Quando você exclui um notebook, o experimento do notebook associado é excluído. Quando você exclui um experimento de notebook usando a interface do usuário, o notebook também é excluído.

Para excluir experimentos de notebook usando a API, use a API do Workspace para garantir que o notebook e o experimento sejam excluídos do workspace.

Excluir o experimento do workspace no menu do workspace

1. Clique no Workspace na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique com o botão direito do mouse no nome do experimento e selecione Mover para a Lixeira.

Excluir o experimento do workspace ou do notebook na página experimentos ou na página experimento

Importante

Esse recurso está em uma versão prévia.

Para excluir um experimento na página de experimentos ou a página de experimento, clique no e selecione Excluir.

Quando você exclui um experimento de notebook, o notebook também é excluído.

Alterar permissões para o experimento

Para alterar as permissões de um experimento na página experimento, clique em Compartilhar.

É possível alterar as permissões de um experimento pertencente a você na página de experimentos. Clique no na coluna Ações e selecione Permissão.

Para obter informações sobre os níveis de permissão do experimento, confira ACLs de experimento do MLFlow.

Copiar experimentos entre workspaces

Para migrar experimentos do MLflow entre workspaces, é possível usar o projeto de software livre orientado pela comunidade MLflow Export-Import.

Com essas ferramentas, você pode:

• Compartilhe e colabore com outros cientistas de dados no mesmo servidor de rastreamento ou em outro. Por exemplo, é possível clonar um experimento de outro usuário em seu workspace.
• Copie os experimentos e execuções do MLflow do servidor de acompanhamento local para o workspace do Databricks.
• Faça backup de experimentos e modelos críticos para outro workspace do Databricks.