Azure Machine Learning Ambientes Curados

Este artigo lista os ambientes curados com versões-quadro mais recentes em Azure Machine Learning. Ambientes com curadoria são fornecidos por Azure Machine Learning e estão disponíveis no seu espaço de trabalho por padrão. São apoiados por imagens em cache do Docker que utilizam a versão mais recente do Azure Machine Learning SDK, reduzindo o custo de preparação de execução e permitindo um tempo de implementação mais rápido. Use estes ambientes para começar rapidamente com várias estruturas de aprendizagem automática.

Nota

Use o Python SDK, CLI,ou Azure Machine Learning estúdio para obter a lista completa de ambientes e suas dependências. Para mais informações, consulte o artigo ambientes.

Formação de ambientes curados

PyTorch

Nome: AzureML-pytorch-1.9-ubuntu18.04-py37-cuda11-gpu
Descrição: Um ambiente de aprendizagem profunda com PyTorch contendo o AzureML Python SDK e pacotes de pitão adicionais.

O seguinte Dockerfile pode ser personalizado para os seus fluxos de trabalho pessoais.

FROM mcr.microsoft.com/azureml/openmpi4.1.0-cuda11.1-cudnn8-ubuntu18.04:20211012.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/pytorch-1.9

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 \
    pip=20.2.4 \
    pytorch=1.9.0 \
    torchvision=0.10.0 \
    torchaudio=0.9.0 \
    cudatoolkit=11.1.1 \
    nvidia-apex=0.1.0 \
    -c anaconda -c pytorch -c conda-forge

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN HOROVOD_WITH_PYTORCH=1 \
    pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'scipy>=1.5,<1.6' \
                'numpy>=1.10,<1.20' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0' \
                'tensorboard==2.4.0' \
                'tensorflow-gpu==2.4.1' \
                'onnxruntime-gpu>=1.7,<1.8' \
                'horovod[pytorch]==0.21.3' \
                'future==0.17.1' \
                'torch-tb-profiler==0.2.1'


# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

Outros ambientes pyTorch disponíveis:

  • AzureML-pytorch-1.8-ubuntu18.04-py37-cuda11-gpu
  • AzureML-pytorch-1.7-ubuntu18.04-py37-cuda11-gpu

LightGBM

Nome: AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu
Descrição: Um ambiente para machine learning com Scikit-learn, LightGBM, XGBoost, Dask contendo o AzureML Python SDK e pacotes adicionais.

O seguinte Dockerfile pode ser personalizado para os seus fluxos de trabalho pessoais.

FROM mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20211012.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/lightgbm

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 pip=20.2.4

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN HOROVOD_WITH_TENSORFLOW=1 \
    pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'numpy>=1.10,<1.20' \
                'scipy~=1.5.0' \
                'scikit-learn~=0.24.1' \
                'xgboost~=1.4.0' \
                'lightgbm~=3.2.0' \
                'dask~=2021.6.0' \
                'distributed~=2021.6.0' \
                'dask-ml~=1.9.0' \
                'adlfs~=0.7.0' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0'

# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

Sklearn

Nome: AzureML-sklearn-0.24-ubuntu18.04-py37-cuda11-gpu
Descrição: Um ambiente para tarefas como regressão, agrupamento e classificação com Scikit-learn. Contém o AzureML Python SDK e pacotes pitão adicionais.

O seguinte Dockerfile pode ser personalizado para os seus fluxos de trabalho pessoais.

FROM mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20211005.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/sklearn-0.24.1

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 pip=20.2.4

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'scipy>=1.5,<1.6' \
                'numpy>=1.10,<1.20' \
                'ipykernel~=6.0' \
                'azureml-core==1.34.0' \
                'azureml-defaults==1.34.0' \
                'azureml-mlflow==1.34.0' \
                'azureml-telemetry==1.34.0' \
                'scikit-learn==0.24.1'

# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

TensorFlow

Nome: AzureML-tensorflow-2.4-ubuntu18.04-py37-cuda11-gpu
Descrição: Um ambiente de aprendizagem profunda com tensorflow contendo o AzureML Python SDK e pacotes adicionais de python.

O seguinte Dockerfile pode ser personalizado para os seus fluxos de trabalho pessoais.

FROM mcr.microsoft.com/azureml/openmpi4.1.0-cuda11.0.3-cudnn8-ubuntu18.04:20211012.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/tensorflow-2.4

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 pip=20.2.4

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN HOROVOD_WITH_TENSORFLOW=1 \
    pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'scipy>=1.5,<1.6' \
                'numpy>=1.10,<1.20' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0' \
                'tensorboard==2.4.0' \
                'tensorflow-gpu==2.4.1' \
                'tensorflow-datasets==4.3.0' \
                'onnxruntime-gpu>=1.7,<1.8' \
                'horovod[tensorflow-gpu]==0.21.3'

# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

ML automatizado (AutoML)

O Azure ML fluxos de trabalho de treinamento de gasodutos que utilizam o AutoML seleciona automaticamente um ambiente curado com base no tipo de cálculo e se o DNN está ativado. A AutoML fornece os seguintes ambientes curados:

Name Tipo computacional DNN habilitado
AzureML-AutoML CPU No
AzureML-AutoML-DNN CPU Yes
AzureML-AutoML-GPU GPU No
AzureML-AutoML-DNN-GPU GPU Yes

Para obter mais informações sobre os gasodutos AutoML e Azure ML, consulte a utilização de ML automatizados num gasoduto Azure Machine Learning em Python.

Inferência ambientes curados e imagens de estiva pré-construídas

  • Todas as imagens do estivador funcionam como utilizador não-raiz.
  • Recomendamos a latest utilização de etiquetas para imagens de estivadores. As imagens de estiva pré-construídas para inferência são publicadas no registo de contentores da Microsoft (MCR), para consultar a lista de tags disponíveis, seguir instruções no seu repositório GitHub.

TensorFlow

Versão-quadro CPU/GPU Pacotes pré-instalados MCR Caminho Ambiente com curadoria
1.15 CPU pandas==0.25.1
numpy=1.20.1
mcr.microsoft.com/azureml/tensorflow-1.15-ubuntu18.04-py37-cpu-inference:latest AzureML-tensorflow-1.15-ubuntu18.04-py37-cpu-inference
2,4 CPU >numpy =1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/tensorflow-2.4-ubuntu18.04-py37-cpu-inference:latest AzureML-tensorflow-2.4-ubuntu18.04-py37-cpu-inference
2,4 GPU >numpy = 1.16.0
pandas~=1.1.x
CUDA==11.0.3
CuDNN==8.0.5.39
mcr.microsoft.com/azureml/tensorflow-2.4-ubuntu18.04-py37-cuda11.0.3-gpu-inference:latest AzureML-tensorflow-2.4-ubuntu18.04-py37-cuda11.0.3-gpu-inference

PyTorch

Versão-quadro CPU/GPU Pacotes pré-instalados MCR Caminho Ambiente com curadoria
1.6 CPU numpy==1.20.1
pandas==0.25.1
mcr.microsoft.com/azureml/pytorch-1.6-ubuntu18.04-py37-cpu-inference:latest AzureML-pytorch-1.6-ubuntu18.04-py37-cpu-inference
1.7 CPU >numpy =1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/pytorch-1.7-ubuntu18.04-py37-cpu-inference:latest AzureML-pytorch-1.7-ubuntu18.04-py37-cpu-inference

SciKit-Learn

Versão-quadro CPU/GPU Pacotes pré-instalados MCR Caminho Ambiente com curadoria
0.24.1 CPU scikit-learn==0.24.1
>numpy =1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/sklearn-0.24.1-ubuntu18.04-py37-cpu-inference:latest AzureML-sklearn-0.24.1-ubuntu18.04-py37-cpu-inference

ONNX Runtime

Versão-quadro CPU/GPU Pacotes pré-instalados MCR Caminho Ambiente com curadoria
1.6 CPU >numpy =1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/onnxruntime-1.6-ubuntu18.04-py37-cpu-inference:latest AzureML-onnxruntime-1.6-ubuntu18.04-py37-cpu-inference

XGBoost

Versão-quadro CPU/GPU Pacotes pré-instalados MCR Caminho Ambiente com curadoria
0,9 CPU scikit-learn=0.23.2
numpy==1.20.1
pandas==0.25.1
mcr.microsoft.com/azureml/xgboost-0.9-ubuntu18.04-py37-cpu-inference:latest AzureML-xgboost-0.9-ubuntu18.04-py37-cpu-inference

Sem enquadramento

Versão-quadro CPU/GPU Pacotes pré-instalados MCR Caminho Ambiente com curadoria
ND CPU ND mcr.microsoft.com/azureml/minimal-ubuntu18.04-py37-cpu-inference:latest AzureML-minimal-ubuntu18.04-py37-cpu-inference

Segurança

As atualizações de versão para ambientes suportados são lançadas de duas em duas semanas para resolver vulnerabilidades não superiores a 30 dias.