Usar o scikit-learn no Azure Databricks

  • Artigo

Esta página fornece exemplos de como você pode usar o scikit-learn pacote para treinar modelos de aprendizado de máquina no Azure Databricks. scikit-learn é uma das bibliotecas Python mais populares para aprendizado de máquina de nó único e está incluída no Databricks Runtime e no Databricks Runtime ML. Consulte as notas de versão do Databricks Runtime para obter a versão da biblioteca scikit-learn incluída no tempo de execução do cluster.

Você pode importar esses blocos de anotações e executá-los em seu espaço de trabalho do Azure Databricks.

Para obter exemplos adicionais de blocos de anotações para começar rapidamente no Azure Databricks, consulte Tutoriais: Introdução ao ML.

Exemplo básico usando scikit-learn

Este bloco de anotações fornece uma visão geral rápida do treinamento de modelo de aprendizado de máquina no Azure Databricks. Ele usa o scikit-learn pacote para treinar um modelo de classificação simples. Ele também ilustra o uso do MLflow para acompanhar o processo de desenvolvimento do modelo e do Hyperopt para automatizar o ajuste de hiperparâmetros.

Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Caderno de classificação scikit-learn (Catálogo Unity)

Obter o bloco de notas

Se seu espaço de trabalho não estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Caderno de Classificação Scikit-Learn

Obter o bloco de notas

Exemplo de ponta a ponta usando scikit-learn no Azure Databricks

Este bloco de anotações usa scikit-learn para ilustrar um exemplo completo de ponta a ponta de carregamento de dados, treinamento de modelo, ajuste de hiperparâmetro distribuído e inferência de modelo. Ele também ilustra o gerenciamento do ciclo de vida do modelo usando o MLflow Model Registry para registrar e registrar seu modelo.

Se seu espaço de trabalho estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Use scikit-learn com integração MLflow em Databricks (Unity Catalog)

Obter o bloco de notas

Se seu espaço de trabalho não estiver habilitado para o Catálogo Unity, use esta versão do bloco de anotações:

Use o scikit-learn com a integração MLflow no Databricks

Obter o bloco de notas