Instalar o SDK do Azure Machine Learning para Python

Este artigo é um guia para diferentes opções de instalação para o SDK.

Pré-requisitos


Instalação padrão

Use azureml-core.

pip install azureml-core

Em seguida, instale todos os outros pacotes necessários para seu trabalho específico.

Atualizar a instalação

Dica

Recomendamos que você sempre mantenha o azureml-core atualizado para a versão mais recente.

Atualize uma versão anterior:

pip install --upgrade azureml-core

Verificar a versão

Verifique a sua versão do SDK:

pip show azureml-core

Para ver todos os pacotes em seu ambiente:

pip list

Você também pode mostrar a versão do SDK no Python, mas essa versão não inclui a versão secundária.

import azureml.core
print(azureml.core.VERSION)

Para saber mais sobre como configurar seu ambiente de desenvolvimento para o Serviço do Azure Machine Learning, confira Configurar o ambiente de desenvolvimento.

Outros pacotes do azureml

O SDK contém muitos outros pacotes opcionais que você pode instalar. Isso inclui dependências que não são necessárias para todos os casos de uso, portanto, elas não são incluídas na instalação padrão para evitar a sobrecarga do ambiente. A tabela a seguir descreve os pacotes , seus casos de uso e o comando para instalar, atualizar & versão marcar.

Pacote adicional Caso de uso Instalar/Atualizar/Mostrar versão
azureml-automl-core Contém as principais classes de machine learning automatizado para o Azure Machine Learning.
Esse pacote é usado por azureml-train-automl-client e azureml-train-automl-runtime.
pip install azureml-automl-core
pip install --upgrade azureml-automl-core
pip show azureml-automl-core
azureml-accel-models Acelera redes neurais profundas em FPGAs com o serviço de Modelos de Aceleração de Hardware do Azure Machine Learning. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-train-automl Fornece classes para criar e executar experimentos de machine learning automatizado. Também instala pacotes comuns de ciência de dados, incluindo pandas, numpy e scikit-learn.

Se você estiver procurando enviar execuções de ML automatizado em uma computação remota e não precisar realizar nenhum ML localmente, é recomendável usar o thin client, azureml-train-automl-client, pacote que é parte do azureml-sdk.

Confira as diretrizes de caso de uso adicionais para obter mais informações sobre como instalar e trabalhar com o SDK automl completo ou o respectivo thin client, azureml-train-automl-client.

Semelhante ao padrão do Python, há suporte para uma versão posterior e uma versão anterior, mas apenas para o pacote azureml-train-automl completo. Por exemplo, se um modelo for treinado com o SDK versão 1.29.0, você poderá inferir com versões do SDK entre 1.28.0 e 1.30.0.
Para o ambiente do Conda local:
pip install azureml-train-automl
pip install --upgrade azureml-train-automl pip install show azureml-train-automl

Thin client para computação remota:
pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip install show azureml-train-automl-client
azureml-contrib Instala pacotes azureml-contrib-*, que incluem funcionalidade experimental ou versões prévias do recurso. pip install azureml-contrib
pip install --upgrade azureml-contrib
pip show azureml-contrib
azureml-datadrift Contém a funcionalidade para detectar quando os dados de treinamento do modelo foram descompassos de seus dados de pontuação. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-interpret Usado para a interpretabilidade do modelo, incluindo a importância da classe e do recurso para modelos blackbox e whitebox. pip azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-widgets Contém pacotes principais, módulos e classes para o Azure Machine Learning. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-contrib-services Fornece a funcionalidade de pontuação de scripts para solicitar acesso HTTP bruto. pip install azureml-contrib-services
pip install --upgrade azureml-contrib-services
pip show azureml-contrib-services
azureml-tensorboard Fornece classes e métodos para exportar o histórico de execução de experimento e iniciar o TensorBoard para visualizar o desempenho e a estrutura do experimento. pip install azureml-tensorboard
pip install --upgrade azureml-tensorboard
pip show azureml-tensorboard
azureml-mlflow Contém a funcionalidade que integra o Azure Machine Learning com o MLFlow. pip install azureml-mlflow
pip install --upgrade azureml-mlflow
pip show azureml-mlflow
azureml-automl-runtime Contém classes de machine learning automatizado para realizar execuções no Azure Machine Learning. pip install azureml-automl-runtime
pip install --upgrade azureml-automl-runtime
pip show azureml-automl-runtime
azureml-widgets Contém uma funcionalidade para exibir o progresso das execuções de treinamento de machine learning em Jupyter Notebooks. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-train-restclients-hyperdrive Contém classes necessárias para criar HyperDriveRuns com o azureml-train-core. pip install azureml-train-restclients-hyperdrive
pip install --upgrade azureml-train-restclients-hyperdrive
pip show azureml-train-restclients-hyperdrive
azureml-train-core Contém classes base de avaliador e a classe genérica de avaliador, avaliadores usados no treinamento de DNN (rede neural profunda), avaliadores usados em treinamento do Scikit-Learn, módulos e classes que dão suporte ao ajuste de hiperparâmetro. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-train-automl-runtime Contém a funcionalidade que representa os principais componentes de runtime e ML automatizado no Azure Machine Learning. pip install azureml-train-automl-runtime
pip install --upgrade azureml-train-automl-runtime
pip show azureml-train-automl-runtime
azureml-train-automl-client Contém pacotes principais, módulos e classes para o Azure Machine Learning. pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip show azureml-train-automl-client
azureml-telemetry Esse pacote é usado para coletar dados de telemetria, como mensagens de log, métricas, eventos e mensagens de atividade. pip install azureml-telemetry
pip install --upgrade azureml-telemetry
pip show azureml-telemetry
azureml-synapse Contém o comando mágico para gerenciar a sessão Synapse e enviar o código e o widget SparkMonitor para monitorar o andamento do trabalho do Spark, para o Jupyter e o JupyterLab pip install azureml-synapse
pip install --upgrade azureml-synapse
pip show azureml-synapse
azureml-sdk Este pacote é usado para criar e executar fluxos de trabalho de machine learning no serviço do Azure Machine Learning pip install azureml-sdk
pip install --upgrade azureml-sdk
pip show azureml-sdk
azureml-pipeline-steps Contém etapas predefinidas que podem ser executadas em um Pipeline do Azure Machine Learning. pip install azureml-pipeline-steps
pip install --upgrade azureml-pipeline-steps
pip show azureml-pipeline-steps
azureml-pipeline-core Contém a funcionalidade básica para pipelines do Azure Machine Learning, que são fluxos de trabalho configuráveis de machine learning. pip install azureml-pipeline-core
pip install --upgrade azureml-pipeline-core
pip show azureml-pipeline-core
azureml-pipeline Os pipelines são usados para compilar, otimizar e gerenciar fluxos de trabalho de machine learning pip install azureml-pipeline
pip install --upgrade azureml-pipeline
pip show azureml-pipeline
azureml-opendatasets Contém a funcionalidade básica para pipelines do Azure Machine Learning, que são fluxos de trabalho configuráveis de machine learning. pip install azureml-opendatasets
pip install --upgrade azureml-opendatasets
pip show azureml-opendatasets
azureml-interpret Contém a funcionalidade para trabalhar com a interpretabilidade de modelo no Azure Machine Learning. pip install azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-defaults Este pacote é um metapacote que é usado internamente pelo Azure Machine Learning. pip install azureml-defaults
pip install --upgrade azureml-defaults
pip show azureml-defaults
azureml-dataset-runtime A finalidade deste pacote é coordenar as dependências nos pacotes do Azure Machine Learning. Este pacote é interno e não destinado a ser usado diretamente. pip install azureml-dataset-runtime
pip install --upgrade azureml-dataset-runtime
pip show azureml-dataset-runtime
azureml-datadrift Contém a funcionalidade para detectar quando os dados de treinamento do modelo foram descompassos de seus dados de pontuação. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-contrib-server Este pacote é um serviço HTTP local usado para expor um subconjunto da funcionalidade fornecida pelo SDK do Azure Machine Learning para extensões de Ferramentas de VS para IA (VSCode e Visual Studio) pip install azureml-contrib-server
pip install --upgrade azureml-contrib-server
pip show azureml-contrib-server
azureml-contrib-run Este pacote é usado para conter o código de integração do Azure Machine Learning com Mlflow. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-contrib-reinforcementlearning Contém a funcionalidade para criar um destino de computação do Windows no Azure Machine Learning. pip install azureml-contrib-reinforcementlearning
pip install --upgrade azureml-contrib-reinforcementlearning
pip show azureml-contrib-reinforcementlearning
azureml-contrib-pipeline-steps Contém módulos e classes para etapas especializadas de Pipeline do Azure Machine Learning e a configuração associada. pip install azureml-contrib-pipeline-steps
pip install --upgrade azureml-contrib-pipeline-steps
pip show azureml-contrib-pipeline-steps
azureml-contrib-notebook Contém extensões para trabalhar com Jupyter Notebooks no Azure Machine Learning. pip install azureml-contrib-notebook
pip install --upgrade azureml-contrib-notebook
pip show azureml-contrib-notebook
azureml-contrib-gbdt Este pacote contém o avaliador LightGBM. pip install azureml-contrib-gbdt
pip install --upgrade azureml-contrib-gbdt
pip show azureml-contrib-gbdt
azureml-contrib-functions Contém a funcionalidade para empacotamento de modelos do Azure Machine Learning para implantação no Azure Functions. pip install azureml-contrib-functions
pip install --upgrade azureml-contrib-functions
pip show azureml-contrib-functions
azureml-contrib-fairness Este pacote dá suporte ao uso de painéis de avaliação de imparcialidade no Azure Machine Learning Studio pip install azureml-contrib-fairness
pip install --upgrade azureml-contrib-fairness
pip show azureml-contrib-fairness
azureml-contrib-dataset Contém funcionalidade especializada para trabalhar com objetos de conjunto de dados no Azure Machine Learning. pip install azureml-contrib-dataset
pip install --upgrade azureml-contrib-dataset
pip show azureml-contrib-dataset
azureml-contrib-automl-pipeline-steps Contém etapas predefinidas que podem ser executadas em um Pipeline do Azure Machine Learning. pip install azureml-contrib-automl-pipeline-steps
pip install --upgrade azureml-contrib-automl-pipeline-steps
pip show azureml-contrib-automl-pipeline-steps
azureml-contrib-automl-dnn-vision Este pacote destina-se apenas a ser usado por scripts gerados pelo sistema de ML automatizado. Para instalação no Windows, os pacotes "torch" e "torchvision" precisam ser instalados separadamente antes deste pacote. pip install azureml-contrib-automl-dnn-vision
pip install --upgrade azureml-contrib-automl-dnn-vision
pip show azureml-contrib-automl-dnn-vision
azureml-contrib-automl-dnn-forecasting Pacote comum de extensão de CLI do Azure ML. Comum entre azure-cli-ml e azure-cli-ml-preview. pip install azureml-contrib-automl-dnn-forecasting
pip install --upgrade azureml-contrib-automl-dnn-forecasting
pip show azureml-contrib-automl-dnn-forecasting
azureml-contrib-aisc Contribuição do Azure Machine Learning para o destino de computação de supercomputador de IA do Azure Machine Learning. O AISCCompute é uma infraestrutura de computação de IA gerenciada, que pode ser anexada a um workspace por administrador de cluster. pip install azureml-contrib-aisc
pip install --upgrade azureml-contrib-aisc
pip show azureml-contrib-aisc
azureml-cli-common Pacote comum de extensão de CLI do Azure ML. Comum entre azure-cli-ml e azure-cli-ml-preview. pip install azureml-cli-common
pip install --upgrade azureml-cli-common
pip show azureml-cli-common
azureml-automl-dnn-nlp Este pacote destina-se apenas a ser usado por scripts gerados pelo sistema de ML automatizado. pip install azureml-automl-dnn-nlp
pip install --upgrade azureml-automl-dnn-nlp
pip show azureml-automl-dnn-nlp
azureml-accel-models Acelere redes neurais profundas em FPGAs com o Serviço de Modelos de Aceleração de Hardware do Azure Machine Learning. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-inference-server-http Este pacote habilita o desenvolvimento local, a integração de CI/CD e as rotas de servidor. pip install azureml-inference-server-http
pip install --upgrade azureml-inference-server-http
pip show azureml-inference-server-http
azure-ml-component Este pacote contém funcionalidade para criar e gerenciar componentes do Azure Machine Learning, criando e enviando pipelines usando componentes pip install azure-ml-component
pip install --upgrade azure-ml-component
pip show azure-ml-component
azureml-pipeline-wrapper Este pacote contém funcionalidade para criar e gerenciar módulos do Azure Machine Learning, criando e enviando pipelines usando módulos pip install azureml-pipeline-wrapper
pip install --upgrade azureml-pipeline-wrapper
pip show azureml-pipeline-wrapper
azureml-designer-cv-modules Módulos para pré-processar e transformar imagens, como cortar, preencher ou redimensionar. pip install azureml-designer-cv-modules
pip install --upgrade azureml-designer-cv-modules
pip show azureml-designer-cv-modules
azureml-designer-pytorch-modules Módulos para treinar e inferir de modelos de classificação de imagem com base na estrutura pytorch. pip install azureml-designer-pytorch-modules
pip install --upgrade azureml-designer-pytorch-modules
pip show azureml-designer-pytorch-modules
azureml-designer-vowpal-wabbit-modules Módulos para treinar e inferir modelos com base na estrutura Vowpal Wabbit. pip install azureml-designer-vowpal-wabbit-modules
pip install --upgrade azureml-designer-vowpal-wabbit-modules
pip show azureml-designer-vowpal-wabbit-modules
azureml-designer-classic-modules Uma variedade de módulos para processamento de dados, treinamento de modelo, inferência e avaliação. pip install azureml-designer-classic-modules
pip install --upgrade azureml-designer-classic-modules
pip show azureml-designer-classic-modules
azureml-designer-recommender-modules Módulos para treinar e inferir modelos de recomendação com base em rede neural profunda. pip install azureml-designer-recommender-modules
pip install --upgrade azureml-designer-recommender-modules
pip show azureml-designer-recommender-modules
azureml-designer-internal Funcionalidades internas fornecidas para módulos internos. pip install azureml-designer-internal
pip install --upgrade azureml-designer-internal
pip show azureml-designer-internal
azureml-designer-core Funcionalidades principais para definição de tipo de dados, E/S de dados e funções usadas com frequência. pip install azureml-designer-core
pip install --upgrade azureml-designer-core
pip show azureml-designer-core
azureml-designer-datatransform-modules Módulos para transformar o conjunto de dados, como ao aplicar operações matemáticas, consultas SQL, recorte de exceções ou geração de um relatório de estatísticas. pip install azureml-designer-datatransform-modules
pip install --upgrade azureml-designer-datatransform-modules
pip show azureml-designer-datatransform-modules
azureml-designer-dataio-modules Módulos para carregar dados no designer do Azure Machine Learning e gravar dados no armazenamento baseado em nuvem. pip install azureml-designer-dataio-modules
pip install --upgrade azureml-designer-dataio-modules
pip show azureml-designer-dataio-modules
azureml-designer-serving Forneça funcionalidades para invocar módulos internos no serviço de implantação. pip install azureml-designer-serving
pip install --upgrade azureml-designer-serving
pip show azureml-designer-serving
azureml-contrib-datadrift Contém a funcionalidade para a detecção de descompasso de dados para vários conjuntos de dados usados em machine learning, incluindo conjuntos de dados de treinamento e de pontuação. pip install azureml-contrib-datadrift
pip install --upgrade azureml-contrib-datadrift
pip show azureml-contrib-datadrift
azureml-contrib-explain-model Contém uma funcionalidade experimental para o pacote azureml-explain-model, que oferece uma variedade de serviços para a interpretabilidade do modelo de machine learning. pip install azureml-contrib-explain-model
pip install --upgrade azureml-contrib-explain-model
pip show azureml-contrib-explain-model
azureml-contrib-opendatasets Este pacote fornece um conjunto de APIs para consumir Azure Open Datasets. pip install azureml-contrib-opendatasets
pip install --upgrade azureml-contrib-opendatasets
pip show azureml-contrib-opendatasets
azureml-train-widgets Contém widgets para Jupyter Notebooks para acompanhar visualmente suas execuções. pip install azureml-train-widgets
pip install --upgrade azureml-train-widgets
pip show azureml-train-widgets

Para obter mais detalhes sobre os pacotes acima, confira AzureML no pypi.

Diretrizes de caso de uso adicionais

Se o caso de uso estiver descrito abaixo, observe as diretrizes e eventuais ações recomendadas.

Caso de uso Orientação
Usando automl  Instale o SDK azureml-train-automlcompleto em um novo ambiente Python de 64 bits. Um novo ambiente de 64 bits é necessário devido a uma dependência da estrutura LightGBM. Esse pacote instala e fixa versões específicas de pacotes de ciência de dados para compatibilidade, o que requer um ambiente limpo.

O thin client, o pacote azureml-train-automl-client, não instala pacotes de ciência de dados adicionais nem exige um ambiente Python limpo. Recomendamos azureml-train-automl-client se você precisa somente enviar execuções de ML automatizado para uma computação remota e não precisa enviar as execuções locais nem baixar seu modelo localmente.

A compatibilidade com uma versão anterior e uma versão posterior só existe em modelos treinados com o pacote azureml-train-automl completo. Por exemplo, se um modelo for treinado com o SDK versão 1.29.0, você poderá inferir com versões do SDK entre 1.28.0 e 1.30.0.
Usando o Azure Databricks No ambiente de Azure Databricks, use as fontes de biblioteca detalhadas neste guia para instalar o SDK. Além disso, consulte estas dicas para obter mais informações sobre como trabalhar com o SDK do Azure Machine Learning para Python no Azure Databricks.
Usando a Máquina Virtual de Ciência de Dados do Azure As Máquinas Virtuais de Ciência de Dados do Azure criadas após 27 de setembro de 2018 vêm com o SDK do Python pré-instalado.
Executando tutoriais ou notebooks do Azure Machine Learning Se você estiver usando uma versão mais antiga do SDK do que aquela mencionada no tutorial ou no notebook, atualize o SDK. Algumas funcionalidades nos tutoriais e notebooks podem exigir pacotes do Python adicionais, tais como matplotlib, scikit-learn ou pandas. As instruções em cada tutorial e notebook mostrarão quais pacotes são necessários.

Solução de problemas

  • Instalação do Pip: não há garantia de que as dependências sejam consistentes com a instalação de linha única:

    Essa é uma limitação conhecida do pip, pois ele não tem um resolvedor de dependência em funcionamento quando você instala como uma linha. A primeira dependência exclusiva é a única que ele analisa.

    No código a seguir, azureml-datadrift e azureml-train-automl são instalados usando uma instalação pip de linha única.

      pip install azureml-datadrift, azureml-train-automl
    

    Para este exemplo, digamos que azureml-datadrift requer a versão > 1.0 e azureml-train-automl requer a versão < 1.2. Se a versão mais recente do azureml-datadrift for 1.3, ambos os pacotes serão atualizados para 1.3, independentemente do requisito do pacote azureml-train-automl de uma versão mais antiga.

    Para garantir que as versões apropriadas sejam instaladas para seus pacotes, instale usando várias linhas, como no código a seguir. A ordem não é um problema aqui, pois o pip faz downgrade explicitamente como parte da próxima chamada de linha. Assim, as dependências de versão apropriadas são aplicadas.

       pip install azureml-datadrift
       pip install azureml-train-automl 
    
  • O pacote de explicação não tem garantia de ser instalado ao instalar o azureml-train-automl-client:

    Em uma execução remota do AutoML com a explicação do modelo habilitada, você verá uma mensagem de erro "Instale o pacote azureml-explain-model para explicações de modelo". Esse é um problema conhecido. Como solução alternativa, siga uma das etapas abaixo:

    1. Instale azureml-explain-model localmente.
        pip install azureml-explain-model
    
    1. Desabilite o recurso de explicação inteiramente passando model_explainability=False na configuração do ML automatizado.
        automl_config = AutoMLConfig(task = 'classification',
                               path = '.',
                               debug_log = 'automated_ml_errors.log',
                               compute_target = compute_target,
                               run_configuration = aml_run_config,
                               featurization = 'auto',
                               model_explainability=False,
                               training_data = prepped_data,
                               label_column_name = 'Survived',
                               **automl_settings)
    
  • Erros do Pandas: normalmente vistos durante o experimento de ML automatizado:

    Ao configurar manualmente seu ambiente usando pip, você poderá observar erros (especialmente do Pandas) devido à instalação de versões de pacote sem suporte.

    Por exemplo, ModuleNotFoundError: No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package

    Para evitar esses erros, instale o SDK do ML automatizado usando o automl_setup.cmd:

    1. Abra um prompt do Anaconda e clone o repositório GitHub para um conjunto de notebooks de exemplo.
    git clone https://github.com/Azure/MachineLearningNotebooks.git
    
    1. Use cd para acessar a pasta how-to-use-azureml/automated-machine-learning em que os notebooks de exemplo foram extraídos e depois executados:
    automl_setup
    
  • KeyError: 'brand' ao executar o ML automatizado na computação local ou no cluster do Azure Databricks

    Se um novo ambiente tiver sido criado após 10 de junho de 2020 usando o SDK 1.7.0 ou anterior, o treinamento poderá falhar com esse erro devido a uma atualização no pacote py-cpuinfo. (Os ambientes criados em ou antes de 10 de junho de 2020 não são afetados, assim como os experimentos executados na computação remota porque as imagens de treinamento armazenadas em cache são usadas.) Para contornar esse problema, execute uma das duas etapas a seguir:

    • Atualize a versão do SDK para 1.8.0 ou posterior (isso também faz o downgrade de py-cpuinfo para 5.0.0):

      pip install --upgrade azureml-sdk[automl]
      
    • Faça o downgrade da versão instalada do py-cpuinfo para 5.0.0:

      pip install py-cpuinfo==5.0.0
      
  • Mensagem de erro: não é possível desinstalar 'PyYAML'

    SDK do Azure Machine Learning para Python: PyYAML é um projeto de distutils instalado. Portanto, não é possível determinar com precisão quais arquivos pertencem a ele no caso de uma desinstalação parcial. Para continuar a instalação do SDK ignorando esse erro, use:

    pip install --upgrade azureml-sdk[notebooks,automl] --ignore-installed PyYAML
    
  • Instalação do SDK do Azure Machine Learning falhando com uma exceção: ModuleNotFoundError: nenhum módulo chamado 'ruaerror' ou 'ImportError: Nenhum módulo chamado ruaerror.yaml'

    Esse problema está sendo encontrado com a instalação do SDK do Azure Machine Learning para Python no pip mais recente (>20.1.1) no ambiente base do Conda para todas as versões lançadas do SDK do Azure Machine Learning para Python. Consulte as seguintes soluções alternativas:

    • Evite instalar o SDK do Python no ambiente base do Conda, em vez de criar seu ambiente do Conda e instalar o SDK nesse ambiente de usuário recém-criado. O pip mais recente deve funcionar nesse novo ambiente do Conda.

    • Para criar imagens personalizadas do Docker em que você não pode alternar do ambiente base do Conda, fixe pip<=20.1.1 no dockerfile.

    conda install -c r -y conda python=3.8 pip=20.1.1
    

Próximas etapas

Experimente estas próximas etapas para aprender a usar o SDK do Serviço do Azure Machine Learning para Python:

  1. Leia a visão geral do SDK do Python do Azure Machine Learning para saber mais sobre as principais classes e padrões de design com exemplos de código.
  2. Siga o tutorial de Introdução ao Python para Azure Machine Learning para começar a criar experimentos e modelos.