Organize execuções de treinamento com experimentos MLflow

Os experimentos são unidades de organização para suas execuções de treinamento modelo. Existem dois tipos de experiências: espaço de trabalho e bloco de notas.

• Você pode criar um experimento de espaço de trabalho a partir da interface do usuário do Databricks Machine Learning ou da API MLflow. Os experimentos de espaço de trabalho não estão associados a nenhum bloco de anotações, e qualquer bloco de anotações pode registrar uma execução nesses experimentos usando a ID do experimento ou o nome do experimento.
• Uma experiência de bloco de notas está associada a um bloco de notas específico. O Azure Databricks cria automaticamente um experimento de bloco de anotações se não houver nenhum experimento ativo quando você inicia uma execução usando mlflow.start_run().

Para ver todos os experimentos em um espaço de trabalho ao qual você tem acesso, selecione Experimentos de Aprendizado > de Máquina na barra lateral.

Criar experiência de espaço de trabalho

Esta seção descreve como criar um experimento de espaço de trabalho usando a interface do usuário do Azure Databricks. Você pode criar um experimento de espaço de trabalho diretamente do espaço de trabalho ou da página Experimentos.

Você também pode usar a API MLflow ou o provedor Databricks Terraform com databricks_mlflow_experiment.

Para obter instruções sobre como registrar execuções em experimentos de espaço de trabalho, consulte Bloco de anotações de exemplo de registro.

1. Clique em Espaço de trabalho na barra lateral.

2. Navegue até a pasta na qual você deseja criar o experimento.

3. Clique com o botão direito do mouse na pasta e selecione Criar > experimento MLflow.

4. Na caixa de diálogo Criar experimento MLflow, insira um nome para o experimento e um local de artefato opcional. Se você não especificar um local de artefato, os artefatos serão armazenados em dbfs:/databricks/mlflow-tracking/<experiment-id>.

   O Azure Databricks dá suporte a locais de artefatos de armazenamento DBFS e Blob do Azure.

   Para armazenar artefatos no armazenamento de Blob do Azure, especifique um URI do formulário wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Os artefatos armazenados no armazenamento de Blob do Azure não aparecem na interface do usuário do MLflow; Você deve baixá-los usando um cliente de armazenamento BLOB.

   Nota

   Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na interface do usuário do MLflow. Os modelos armazenados em locais diferentes do DBFS não podem ser registrados no Registro Modelo.

5. Clique em Criar. Uma experiência vazia aparece.

Você também pode criar um novo experimento de espaço de trabalho na página Experimentos. Para criar um novo experimento, use o menu suspenso. No menu suspenso, você pode selecionar um experimento AutoML ou um experimento em branco (vazio).

• Experiência AutoML. A página Configurar experimento AutoML é exibida. Para obter informações sobre como usar o AutoML, consulte Treinar modelos de ML com a interface do usuário do Azure Databricks AutoML.

• Experiência em branco. A caixa de diálogo Criar experimento MLflow é exibida. Insira um nome e um local de artefato opcional na caixa de diálogo para criar um novo experimento de espaço de trabalho. O local do artefato padrão é dbfs:/databricks/mlflow-tracking/<experiment-id>.

  Para registrar execuções nesse experimento, chame mlflow.set_experiment() com o caminho do experimento. O caminho do experimento aparece na parte superior da página do experimento. Consulte Bloco de anotações de exemplo de registro para obter detalhes e um bloco de anotações de exemplo.

Criar experiência de bloco de notas

Quando você usa o comando mlflow.start_run() em um bloco de anotações, a execução registra métricas e parâmetros para o experimento ativo. Se nenhum experimento estiver ativo, o Azure Databricks criará um experimento de bloco de anotações. Uma experiência de bloco de notas partilha o mesmo nome e ID que o seu bloco de notas correspondente. O ID do bloco de notas é o identificador numérico no final do URL e ID do bloco de notas.

Como alternativa, você pode passar um caminho de espaço de trabalho do Azure Databricks para um bloco de anotações existente no mlflow.set_experiment() para criar um experimento de bloco de anotações para ele.

Para obter instruções sobre como registrar execuções em experimentos de bloco de anotações, consulte Registro de bloco de anotações de exemplo.

Nota

Se você excluir um experimento de bloco de anotações usando a API (por exemplo, MlflowClient.tracking.delete_experiment() em Python), o próprio bloco de anotações será movido para a pasta Lixeira.

Ver experiências

Cada experimento ao qual você tem acesso aparece na página de experimentos. Nesta página, você pode visualizar qualquer experimento. Clique no nome de um experimento para exibir a página do experimento.

Outras formas de aceder à página da experiência:

• Você pode acessar a página de experimento para um experimento de espaço de trabalho no menu de espaço de trabalho.
• Você pode acessar a página do experimento para um experimento do bloco de anotações a partir do bloco de anotações.

Para pesquisar experimentos, digite texto no campo Filtrar experimentos e pressione Enter ou clique no ícone da lupa. A lista de experimentos é alterada para mostrar apenas os experimentos que contêm o texto de pesquisa na coluna Nome, Criado por, Local ou Descrição .

Clique no nome de qualquer experimento na tabela para exibir sua página de experimento:

A página do experimento lista todas as execuções associadas ao experimento. Na tabela, você pode abrir a página de execução para qualquer execução associada ao experimento clicando em seu Nome de Execução. A coluna Origem dá acesso à versão do bloco de anotações que criou a execução. Você também pode pesquisar e filtrar execuções por métricas ou configurações de parâmetros.

Ver experiência de espaço de trabalho

1. Clique em Espaço de trabalho na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique no nome do experimento.

Ver experiência de bloco de notas

Na barra lateral direita do bloco de notas, clique no ícone Experiência .

A barra lateral Execuções de Experiência é exibida e mostra um resumo de cada execução associada ao experimento do bloco de anotações, incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento no qual o bloco de anotações registrado mais recentemente é executado (um experimento de bloco de anotações ou um experimento de espaço de trabalho).

Na barra lateral, você pode navegar até a página do experimento ou diretamente para uma corrida.

• Para ver a experiência, clique na extremidade direita, junto a Experiment Runs.
• Para exibir uma execução, clique no nome da execução.

Gerenciar experimentos

Você pode renomear, excluir ou gerenciar permissões para um experimento de sua propriedade na página de experimentos, na página do experimento ou no menu do espaço de trabalho.

Nota

Não é possível renomear, excluir ou gerenciar permissões diretamente em um experimento MLflow criado por um bloco de anotações em uma pasta Databricks Git. Você deve executar essas ações no nível da pasta Git.

Renomear experimento na página de experimentos ou na página de experimento

Importante

Esta funcionalidade está em Pré-visualização Pública.

Para renomear um experimento na página de experimentos ou na página de experimento, clique e selecione Renomear.

Renomear experimento no menu do espaço de trabalho

1. Clique em Espaço de trabalho na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique com o botão direito do mouse no nome do experimento e selecione Renomear.

Copiar nome do experimento

Para copiar o nome do experimento, clique em na parte superior da página do experimento. Você pode usar esse nome no comando set_experiment MLflow para definir o experimento MLflow ativo.

Você também pode copiar o nome do experimento da barra lateral do experimento em um bloco de anotações.

Experiência Excluir bloco de anotações

As experiências com blocos de notas fazem parte do bloco de notas e não podem ser eliminadas separadamente. Quando elimina um bloco de notas, a experiência de bloco de notas associada é eliminada. Quando você exclui um experimento de bloco de anotações usando a interface do usuário, o bloco de anotações também é excluído.

Para excluir experimentos de bloco de anotações usando a API, use a API de espaço de trabalho para garantir que o bloco de anotações e o experimento sejam excluídos do espaço de trabalho.

Excluir experiência de espaço de trabalho do menu de espaço de trabalho

1. Clique em Espaço de trabalho na barra lateral.
2. Vá para a pasta que contém o experimento.
3. Clique com o botão direito do mouse no nome do experimento e selecione Mover para a Lixeira.

Excluir espaço de trabalho ou experiência de bloco de anotações da página de experimentos ou da página de experimento

Importante

Esta funcionalidade está em Pré-visualização Pública.

Para excluir um experimento da página de experimentos ou da página de experimentos, clique em e selecione Excluir.

Quando você exclui um experimento de bloco de anotações, o bloco de anotações também é excluído.

Alterar permissões para experimento

Para alterar as permissões para um experimento na página do experimento, clique em Compartilhar.

Você pode alterar as permissões para um experimento de sua propriedade na página de experimentos. Clique na coluna Ações e selecione Permissão.

Para obter informações sobre os níveis de permissão do experimento, consulte ACLs do experimento MLFlow.

Copiar experiências entre espaços de trabalho

Para migrar experimentos de MLflow entre espaços de trabalho, você pode usar o projeto de código aberto MLflow Export-Import orientado pela comunidade.

Com essas ferramentas, você pode:

• Compartilhe e colabore com outros cientistas de dados no mesmo ou em outro servidor de rastreamento. Por exemplo, você pode clonar um experimento de outro usuário em seu espaço de trabalho.
• Copie experimentos de MLflow e seja executado do servidor de rastreamento local para o espaço de trabalho do Databricks.
• Faça backup de experimentos e modelos de missão crítica em outro espaço de trabalho do Databricks.