Lingkungan Dikumpulkan Azure Machine Learning

Artikel ini mencantumkan lingkungan yang dikumpulkan di Azure Machine Learning. Lingkungan yang dikumpulkan disediakan oleh Azure Machine Learning dan tersedia di ruang kerja Anda secara default. Mereka didukung oleh gambar Docker yang di-cache yang menggunakan versi terbaru dari Azure Machine Learning SDK, mengurangi biaya persiapan yang dijalankan dan memungkinkan waktu penyebaran yang lebih cepat. Menggunakan lingkungan ini untuk memulai dengan cepat berbagai kerangka kerja pembelajaran mesin.

Catatan

Gunakan Python SDK, CLI, atau Azure Machine Learning studio untuk mendapatkan daftar lengkap lingkungan dan dependensinya. Untuk informasi selengkapnya, lihat artikel lingkungan.

Melatih lingkungan yang dikuratori

PyTorch

Nama: AzureML-pytorch-1.10-ubuntu18.04-py38-cuda11-gpu (Pratinjau)
Deskripsi: Lingkungan untuk pembelajaran mendalam dengan PyTorch yang berisi AzureML Python SDK dan paket python tambahan.

Dockerfile berikut dapat dikustomisasi untuk alur kerja pribadi Anda.

FROM mcr.microsoft.com/azureml/openmpi4.1.0-cuda11.1-cudnn8-ubuntu18.04:20211029.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/pytorch-1.10

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.8 \
    pip=20.2.4 \
    pytorch=1.10.0 \
    torchvision=0.11.1 \
    torchaudio=0.10.0 \
    cudatoolkit=11.1.1 \
    nvidia-apex=0.1.0 \
    gxx_linux-64 \
    -c anaconda -c pytorch -c conda-forge

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.63' \
                'pandas>=1.3,<1.4' \
                'scipy>=1.5,<1.8' \
                'numpy>=1.10,<1.22' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0.post1' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0' \
                'tensorboard==2.6.0' \
                'tensorflow-gpu==2.6.0' \
                'onnxruntime-gpu>=1.7,<1.10' \
                'horovod==0.23' \
                'future==0.18.2' \
                'torch-tb-profiler==0.3.1'


# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

Lingkungan PyTorch lain yang tersedia:

  • AzureML-pytorch-1.9-ubuntu18.04-py37-cuda11-gpu
  • AzureML-pytorch-1.8-ubuntu18.04-py37-cuda11-gpu
  • AzureML-pytorch-1.7-ubuntu18.04-py37-cuda11-gpu

LightGBM

Name: AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu
Deskripsi: Lingkungan untuk pembelajaran mesin dengan Scikit-learn, LightGBM, XGBoost, Dask yang berisi SDK Python AzureML dan paket tambahan.

Dockerfile berikut dapat dikustomisasi untuk alur kerja pribadi Anda.

FROM mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20211029.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/lightgbm

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 pip=20.2.4

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN HOROVOD_WITH_TENSORFLOW=1 \
    pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'numpy>=1.10,<1.20' \
                'scipy~=1.5.0' \
                'scikit-learn~=0.24.1' \
                'xgboost~=1.4.0' \
                'lightgbm~=3.2.0' \
                'dask~=2021.6.0' \
                'distributed~=2021.6.0' \
                'dask-ml~=1.9.0' \
                'adlfs~=0.7.0' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0.post1' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0'

# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

Sklearn

Name: AzureML-sklearn-0.24-ubuntu18.04-py37-cuda11-gpu
Deskripsi: Lingkungan untuk tugas seperti regresi, pengklusteran, dan klasifikasi dengan Scikit-learn. Berisi SDK Python AzureML dan paket python tambahan.

Dockerfile berikut dapat dikustomisasi untuk alur kerja pribadi Anda.

FROM mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20211029.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/sklearn-0.24.1

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 pip=20.2.4

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'scipy>=1.5,<1.6' \
                'numpy>=1.10,<1.20' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0.post1' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0' \
                'scikit-learn==0.24.1'

# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

TensorFlow

Name: AzureML-tensorflow-2.4-ubuntu18.04-py37-cuda11-gpu
Deskripsi: Lingkungan untuk pembelajaran mendalam dengan Tensorflow yang berisi SDK Python AzureML dan paket python tambahan.

Dockerfile berikut dapat dikustomisasi untuk alur kerja pribadi Anda.

FROM mcr.microsoft.com/azureml/openmpi4.1.0-cuda11.0.3-cudnn8-ubuntu18.04:20211029.v1

ENV AZUREML_CONDA_ENVIRONMENT_PATH /azureml-envs/tensorflow-2.4

# Create conda environment
RUN conda create -p $AZUREML_CONDA_ENVIRONMENT_PATH \
    python=3.7 pip=20.2.4

# Prepend path to AzureML conda environment
ENV PATH $AZUREML_CONDA_ENVIRONMENT_PATH/bin:$PATH

# Install pip dependencies
RUN HOROVOD_WITH_TENSORFLOW=1 \
    pip install 'matplotlib>=3.3,<3.4' \
                'psutil>=5.8,<5.9' \
                'tqdm>=4.59,<4.60' \
                'pandas>=1.1,<1.2' \
                'scipy>=1.5,<1.6' \
                'numpy>=1.10,<1.20' \
                'ipykernel~=6.0' \
                'azureml-core==1.35.0.post1' \
                'azureml-defaults==1.35.0' \
                'azureml-mlflow==1.35.0' \
                'azureml-telemetry==1.35.0' \
                'tensorboard==2.4.0' \
                'tensorflow-gpu==2.4.1' \
                'tensorflow-datasets==4.3.0' \
                'onnxruntime-gpu>=1.7,<1.8' \
                'horovod[tensorflow-gpu]==0.21.3'

# This is needed for mpi to locate libpython
ENV LD_LIBRARY_PATH $AZUREML_CONDA_ENVIRONMENT_PATH/lib:$LD_LIBRARY_PATH

ML Otomatis (AutoML)

Alur kerja pelatihan alur ML Azure yang menggunakan AutoML secara otomatis memilih lingkungan yang dikumpulkan berdasarkan jenis komputasi dan apakah DNN diaktifkan. AutoML menyediakan lingkungan yang dikumpulkan berikut:

Nama Jenis Komputasi DNN diaktifkan
AzureML-AutoML CPU Tidak
AzureML-AutoML-DNN CPU Ya
AzureML-AutoML-GPU GPU Tidak
AzureML-AutoML-DNN-GPU GPU Ya

Untuk informasi selengkapnya tentang alur AutoML dan ML Azure, lihat menggunakan ML otomatis dalam alur Azure Machine Learning dengan Python.

Lingkungan yang dikurasi inferensi dan gambar docker yang dibuat sebelumnya

  • Semua gambar docker dijalankan sebagai pengguna non-root.
  • Sebaiknya gunakan tag latest untuk gambar buruh pelabuhan. Gambar docker yang dibangun sebelumnya untuk inferensi dipublikasikan ke registri kontainer Microsoft (MCR), untuk meminta daftar tag yang tersedia, ikuti instruksi pada repositori GitHub mereka.

TensorFlow

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR Lingkungan yang dikumpulkan
1.15 CPU pandas==0.25.1
numpy=1.20.1
mcr.microsoft.com/azureml/tensorflow-1.15-ubuntu18.04-py37-cpu-inference:latest AzureML-tensorflow-1.15-ubuntu18.04-py37-cpu-inference
02/04/2021 CPU numpy>=1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/tensorflow-2.4-ubuntu18.04-py37-cpu-inference:latest AzureML-tensorflow-2.4-ubuntu18.04-py37-cpu-inference
02/04/2021 GPU numpy >= 1.16.0
pandas~=1.1.x
CUDA==11.0.3
CuDNN==8.0.5.39
mcr.microsoft.com/azureml/tensorflow-2.4-ubuntu18.04-py37-cuda11.0.3-gpu-inference:latest AzureML-tensorflow-2.4-ubuntu18.04-py37-cuda11.0.3-gpu-inference

PyTorch

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR Lingkungan yang dikumpulkan
1.6 CPU numpy==1.20.1
pandas==0.25.1
mcr.microsoft.com/azureml/pytorch-1.6-ubuntu18.04-py37-cpu-inference:latest AzureML-pytorch-1.6-ubuntu18.04-py37-cpu-inference
1,7 CPU numpy>=1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/pytorch-1.7-ubuntu18.04-py37-cpu-inference:latest AzureML-pytorch-1.7-ubuntu18.04-py37-cpu-inference

SciKit-Learn

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR Lingkungan yang dikumpulkan
0.24.1 CPU scikit-learn==0.24.1
numpy>=1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/sklearn-0.24.1-ubuntu18.04-py37-cpu-inference:latest AzureML-sklearn-0.24.1-ubuntu18.04-py37-cpu-inference

Runtime ONNX

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR Lingkungan yang dikumpulkan
1.6 CPU numpy>=1.16.0
pandas~=1.1.x
mcr.microsoft.com/azureml/onnxruntime-1.6-ubuntu18.04-py37-cpu-inference:latest AzureML-onnxruntime-1.6-ubuntu18.04-py37-cpu-inference

XGBoost

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR Lingkungan yang dikumpulkan
0.9 CPU scikit-learn==0.23.2
numpy==1.20.1
pandas==0.25.1
mcr.microsoft.com/azureml/xgboost-0.9-ubuntu18.04-py37-cpu-inference:latest AzureML-xgboost-0.9-ubuntu18.04-py37-cpu-inference

Tidak ada kerangka kerja

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR Lingkungan yang dikumpulkan
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu18.04-py37-cpu-inference:latest AzureML-minimal-ubuntu18.04-py37-cpu-inference

Keamanan

Pembaruan versi untuk lingkungan yang didukung dirilis setiap dua minggu untuk mengatasi kerentanan yang tidak lebih dari 30 hari.