InferenceConfig Kelas

  • Referensi

Tunjukkan pengaturan konfigurasi lingkungan kustom yang digunakan untuk penyebaran.

Konfigurasi inferensi adalah parameter input untuk tindakan terkait penyebaran Model:

Menginisialisasi objek konfigurasi.

Warisan
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parameter

entry_script
str
Diperlukan

Jalur ke file lokal yang berisi kode untuk menjalankan gambar.

runtime
str
nilai default: None

Runtime yang akan digunakan untuk gambar. Runtime yang didukung saat ini adalah 'spark-py' dan 'python'.

conda_file
str
nilai default: None

Jalur ke file lokal yang berisi definisi lingkungan conda yang akan digunakan untuk gambar.

extra_docker_file_steps
str
nilai default: None

Jalur ke file lokal yang berisi langkah-langkah Docker tambahan untuk dijalankan saat menyiapkan gambar.

source_directory
str
nilai default: None

Jalur ke folder yang berisi semua file untuk membuat gambar.

enable_gpu
bool
nilai default: None

Menunjukkan apakah akan mengaktifkan dukungan GPU pada gambar. Gambar GPU harus digunakan pada Layanan Microsoft Azure seperti Azure Container Instances, Komputasi Azure Machine Learning, Microsoft Azure Virtual Machines, dan Azure Kubernetes Service. Default ke False.

description
str
nilai default: None

Deskripsi yang akan diberikan ke gambar ini.

base_image
str
nilai default: None

Gambar kustom untuk digunakan sebagai gambar dasar. Jika tidak ada gambar dasar yang diberikan maka gambar dasar akan digunakan berdasarkan parameter runtime yang diberikan.

base_image_registry
ContainerRegistry
nilai default: None

Registri gambar yang berisi gambar dasar.

cuda_version
str
nilai default: None

Versi CUDA yang akan dipasang untuk gambar yang membutuhkan dukungan GPU. Gambar GPU harus digunakan pada Layanan Microsoft Azure seperti Azure Container Instances, Komputasi Azure Machine Learning, Microsoft Azure Virtual Machines, dan Azure Kubernetes Service. Versi yang didukung adalah 9.0, 9.1, dan 10.0. Jika enable_gpu diatur, defaultnya adalah '9.1'.

environment
Environment
nilai default: None

Objek lingkungan yang akan digunakan untuk penyebaran. Lingkungan tidak harus didaftarkan.

Berikan parameter ini, atau parameter lainnya, tetapi tidak keduanya. Parameter individu TIDAK akan berfungsi sebagai penimpaan untuk objek lingkungan. Pengecualian mencakup entry_script, source_directory, dan description.

entry_script
str
Diperlukan

Jalur ke file lokal yang berisi kode untuk menjalankan gambar.

runtime
str
Diperlukan

Runtime yang akan digunakan untuk gambar. Runtime yang didukung saat ini adalah 'spark-py' dan 'python'.

conda_file
str
Diperlukan

Jalur ke file lokal yang berisi definisi lingkungan conda yang akan digunakan untuk gambar.

extra_docker_file_steps
str
Diperlukan

Jalur ke file lokal yang berisi langkah-langkah Docker tambahan untuk dijalankan saat menyiapkan gambar.

source_directory
str
Diperlukan

Jalur ke folder yang berisi semua file untuk membuat gambar.

enable_gpu
bool
Diperlukan

Menunjukkan apakah akan mengaktifkan dukungan GPU pada gambar. Gambar GPU harus digunakan pada Layanan Microsoft Azure seperti Azure Container Instances, Komputasi Azure Machine Learning, Microsoft Azure Virtual Machines, dan Azure Kubernetes Service. Default ke False.

description
str
Diperlukan

Deskripsi yang akan diberikan ke gambar ini.

base_image
str
Diperlukan

Gambar kustom untuk digunakan sebagai gambar dasar. Jika tidak ada gambar dasar yang diberikan maka gambar dasar akan digunakan berdasarkan parameter runtime yang diberikan.

base_image_registry
ContainerRegistry
Diperlukan

Registri gambar yang berisi gambar dasar.

cuda_version
str
Diperlukan

Versi CUDA yang akan dipasang untuk gambar yang membutuhkan dukungan GPU. Gambar GPU harus digunakan pada Layanan Microsoft Azure seperti Azure Container Instances, Komputasi Azure Machine Learning, Microsoft Azure Virtual Machines, dan Azure Kubernetes Service. Versi yang didukung adalah 9.0, 9.1, dan 10.0. Jika enable_gpu diatur, defaultnya adalah '9.1'.

environment
Environment
Diperlukan

Objek lingkungan yang akan digunakan untuk penyebaran. Lingkungan tidak harus didaftarkan.

Berikan parameter ini, atau parameter lainnya, tetapi tidak keduanya. Parameter individu TIDAK akan berfungsi sebagai penimpaan untuk objek lingkungan. Pengecualian mencakup entry_script, source_directory, dan description.

Keterangan

Sampel berikut menunjukkan cara membuat objek InferenceConfig dan menggunakannya untuk menyebarkan model.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabel

entry_script
str

Jalur ke file lokal yang berisi kode untuk menjalankan gambar.

runtime
str

Runtime yang akan digunakan untuk gambar. Runtime yang didukung saat ini adalah 'spark-py' dan 'python'.

conda_file
str

Jalur ke file lokal yang berisi definisi lingkungan conda yang akan digunakan untuk gambar.

extra_docker_file_steps
str

Jalur ke file lokal yang berisi langkah-langkah Docker tambahan untuk dijalankan saat menyiapkan gambar.

source_directory
str

Jalur ke folder yang berisi semua file untuk membuat gambar.

enable_gpu
bool

Menunjukkan apakah akan mengaktifkan dukungan GPU pada gambar. Gambar GPU harus digunakan pada Layanan Microsoft Azure seperti Azure Container Instances, Komputasi Azure Machine Learning, Microsoft Azure Virtual Machines, dan Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Deskripsi yang akan diberikan ke gambar ini.

base_image
str

Gambar kustom untuk digunakan sebagai gambar dasar. Jika tidak ada gambar dasar yang diberikan maka gambar dasar akan digunakan berdasarkan parameter runtime yang diberikan.

base_image_registry
ContainerRegistry

Registri gambar yang berisi gambar dasar.

cuda_version
str

Versi CUDA yang akan dipasang untuk gambar yang membutuhkan dukungan GPU. Gambar GPU harus digunakan pada Microsoft Azure Service seperti Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines, dan Azure Kubernetes Service. Versi yang didukung adalah 9.0, 9.1, dan 10.0. Jika enable_gpu diatur, defaultnya adalah '9.1'.

azureml.core.model.InferenceConfig.environment

Objek lingkungan yang akan digunakan untuk penyebaran. Lingkungan tidak harus didaftarkan.

Berikan parameter ini, atau parameter lainnya, tetapi tidak keduanya. Parameter individu TIDAK akan berfungsi sebagai penimpaan untuk objek lingkungan. Pengecualian mencakup entry_script, source_directory, dan description.

Metode

build_create_payload

Bangun payload pembuatan untuk gambar Kontainer.
build_profile_payload

Bangun payload pembuatan profil untuk paket Model.
validate_configuration

Periksa apakah nilai konfigurasi yang ditentukan valid.

Mengajukan WebserviceException jika validasi gagal.
validation_script_content

Periksa apakah sintaks skrip skor valid dengan ast.parse.

Mengajukan UserErrorException jika validasi gagal.

build_create_payload

Bangun payload pembuatan untuk gambar Kontainer.

build_create_payload(workspace, name, model_ids)

Parameter

workspace
Workspace
Diperlukan

Objek ruang kerja tempat membuat gambar.

name
str
Diperlukan

Nama gambar.

model_ids
list[str]
Diperlukan

Daftar ID model yang akan dikemas ke dalam gambar.

Mengembalikan

Payload pembuatan gambar kontainer.

Tipe hasil

dict

Pengecualian

WebserviceException

build_profile_payload

Bangun payload pembuatan profil untuk paket Model.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parameter

profile_name
str
Diperlukan

Nama eksekusi pembuatan profil.

input_data
str
nilai default: None

Data input untuk pembuatan profil.

workspace
Workspace
nilai default: None

Objek Ruang kerja untuk membuat profil model.

models
list[Model]
nilai default: None

Daftar objek model. Bisa berupa daftar kosong.

dataset_id
str
nilai default: None

Id yang terkait dengan himpunan data yang berisi data input untuk eksekusi pembuatan profil.

container_resource_requirements
ContainerResourceRequirements
nilai default: None

persyaratan sumber daya kontainer untuk instans terbesar tempat model akan disebarkan

description
str
nilai default: None

Deskripsi yang akan dikaitkan dengan eksekusi pembuatan profil.

Mengembalikan

Payload profil model

Tipe hasil

dict

Pengecualian

WebserviceException

validate_configuration

Periksa apakah nilai konfigurasi yang ditentukan valid.

Mengajukan WebserviceException jika validasi gagal.

validate_configuration()

Pengecualian

WebserviceException

validation_script_content

Periksa apakah sintaks skrip skor valid dengan ast.parse.

Mengajukan UserErrorException jika validasi gagal.

validation_script_content()

Pengecualian

UserErrorException