ml Paket
Paketler
automl |
Azure Machine Learning SDKv2 için otomatik makine öğrenmesi sınıfları içerir. Ana alanlar AutoML görevlerini yönetmeyi içerir. |
constants |
Bu paket, Azure Machine Learning SDKv2'de kullanılan sabitleri tanımlar. |
data_transfer | |
dsl | |
entities |
Azure Machine Learning SDKv2 için varlıklar ve SDK nesneleri içerir. Ana alanlar arasında işlem hedeflerini yönetme, çalışma alanları ve işleri oluşturma/yönetme ve model gönderme/erişme, çalıştırma ve çıktı/günlüğe kaydetme vb. yer alır. |
identity |
Azure Machine Learning SDKv2 için Kimlik Yapılandırmasını içerir. |
operations |
Azure Machine Learning SDKv2 için desteklenen işlemleri içerir. İşlemler, genellikle otomatik olarak oluşturulan işlemler çağrısı olan arka uç hizmetleriyle etkileşime geçmek için mantık içeren sınıflardır. |
parallel | |
sweep |
Modül
exceptions |
Azure Machine Learning SDKv2'de özel durum modülü içerir. Buna özel durumlar için sabit listeleri ve sınıflar dahildir. |
Sınıflar
AmlTokenConfiguration |
AzureML Belirteci kimlik yapılandırması. |
Input |
Bir Input nesnesi başlatın. |
MLClient |
Azure ML hizmetleriyle etkileşime geçmek için bir istemci sınıfı. Çalışma alanları, işler, modeller gibi Azure ML kaynaklarını yönetmek için bu istemciyi kullanın. |
ManagedIdentityConfiguration |
Yönetilen Kimlik kimlik bilgisi yapılandırması. |
MpiDistribution |
MPI dağıtım yapılandırması. |
Output | |
PyTorchDistribution |
PyTorch dağıtım yapılandırması. |
RayDistribution |
Not Bu deneysel bir sınıftır ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental. Işı dağıtım yapılandırması. |
TensorFlowDistribution |
TensorFlow dağıtım yapılandırması. |
UserIdentityConfiguration |
Kullanıcı kimliği yapılandırması. |
İşlevler
command
dsl.pipeline işlevi içinde kullanılabilecek veya tek başına Komut işi olarak kullanılabilen bir Command nesnesi oluşturur.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
Parametreler
Etiket sözlüğü. Etiketler eklenebilir, kaldırılabilir ve güncelleştirilebilir. Varsayılan değer Yok'tır.
İşin altında oluşturulacağı denemenin adı. Varsayılan olarak geçerli dizin adını kullanır.
- environment
- Optional[Union[str, Environment]]
İşin çalıştırılacağı ortam.
Ortam değişkeni adlarının ve değerlerinin sözlüğü. Bu ortam değişkenleri, kullanıcı betiğinin yürütüldüğü işlemde ayarlanır. Varsayılan değer Yok'tır.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
Dağıtılmış işler için yapılandırma. Varsayılan değer Yok'tır.
Giriş adlarının işte kullanılan giriş veri kaynaklarına eşlem. Varsayılan değer Yok'tır.
Çıktı adlarının işte kullanılan çıkış veri kaynaklarına eşlem. Varsayılan değer Yok'tır.
İşlem hedefi tarafından kullanılacak örnek veya düğüm sayısı. Varsayılan olarak 1'e ayarlanır.
Docker çalıştırma komutuna geçirilmeye çalışılacak ek bağımsız değişkenler. Bu, sistem veya bu bölümde önceden ayarlanmış olan parametreleri geçersiz kılar. Bu parametre yalnızca Azure ML işlem türleri için desteklenir. Varsayılan değer Yok'tır.
Docker kapsayıcısının paylaşılan bellek bloğunun boyutu. Bu, sayının 0'dan büyük olması gereken (sayı)(birim) biçiminde ve birim b(bayt), k(kilobayt), m(megabayt) veya g(gigabayt) biçiminde olmalıdır.
İşi çalıştırmak için kaynak kod. Uzak bir konuma işaret eden yerel bir yol veya "http:", "https:" veya "azureml:" url'si olabilir.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Komut işinin işlem üzerinde çalışırken kullanacağı kimlik.
- is_deterministic
- bool
Komutun aynı girişe göre aynı çıkışı döndürip döndürmeyeceğini belirtir. Varsayılan değer True'dır. True olduğunda, bir Komut Bileşeni belirleyiciyse ve daha önce geçerli çalışma alanında aynı giriş ve ayarlarla çalıştırıldıysa, bir işlem hattında düğüm veya adım olarak kullanıldığında daha önce gönderilen bir işin sonuçlarını yeniden kullanır. Bu senaryoda hiçbir işlem kaynağı kullanılmaz.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
Düğüm için etkileşimli hizmetler. Varsayılan değer Yok'tır. Bu deneysel bir parametredir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental.
İş katmanı. Kabul edilen değerler "Spot", "Basic", "Standard" veya "Premium" değerleridir.
İşlemdeki işin önceliği. Kabul edilen değerler "düşük", "orta" ve "yüksek" değerleridir. Varsayılan olarak "orta" olur.
Döndürülenler
Command nesnesi.
Dönüş türü
Örnekler
command() oluşturucu yöntemini kullanarak Bir Komut İşi oluşturma.
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
yaml dosyasından bir toplu dağıtım nesnesi oluşturma.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Toplu dağıtım nesnesinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Toplu dağıtım nesnesi oluşturulur.
Dönüş türü
load_batch_endpoint
yaml dosyasından bir batch uç noktası nesnesi oluşturma.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Toplu uç nokta nesnesinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Toplu uç nokta nesnesi oluşturulur.
Dönüş türü
load_component
Bileşeni yerel veya uzak bir bileşen işlevine yükleyin.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Bir bileşenin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Bileşen nesnesi
Dönüş türü
Örnekler
Bileşen nesnesini YAML dosyasından yükleme, sürümünü "1.0.2" olarak geçersiz kılma ve uzaktan kaydetme.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
Yaml dosyasından işlem nesnesi oluşturma.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
İşlemin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Yüklenen işlem nesnesi.
Dönüş türü
Örnekler
BIR YAML dosyasından İşlem nesnesi yükleniyor ve açıklaması geçersiz kılınıyor.
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
Yaml dosyasından bir veri nesnesi oluşturma.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Veri nesnesinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Data veya DataImport nesnesi oluşturulur.
Dönüş türü
Özel durumlar
Veriler başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
load_datastore
Yaml dosyasından veri deposu nesnesi oluşturma.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Veri deposunun yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Yüklenen veri deposu nesnesi.
Dönüş türü
Özel durumlar
Datastore başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
load_environment
yaml dosyasından bir ortam nesnesi oluşturun.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Bir ortamın yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml'de başvuruda bulunılan dosyaların göreli konumları çıkarılırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Ortam nesnesi oluşturulur.
Dönüş türü
Özel durumlar
Ortam başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
load_job
YAML dosyasından bir İş nesnesi oluşturur.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Yerel bir YAML dosyasının yolu veya iş yapılandırması içeren zaten açık bir dosya nesnesi. Kaynak bir yolsa açılır ve okunur. Kaynak açık bir dosyaysa, dosya doğrudan okunur.
YAML için kök dizin. Bu dizin, ayrıştırılmış YAML'de başvuruda bulunılan dosyaların göreli konumlarını belirtmek için kaynak olarak kullanılır. Kaynak bir dosya veya dosya yolu girişiyse, varsayılan olarak kaynakla aynı dizini kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
YAML dosyasındaki değerlerin üzerine yazmak için parametre alanları.
Döndürülenler
Yüklü bir İş nesnesi.
Dönüş türü
Özel durumlar
İş başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
Örnekler
YAML yapılandırma dosyasından İş yükleme.
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
YAML dosyasından model nesnesi oluşturur.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Yerel bir YAML dosyasının yolu veya iş yapılandırması içeren zaten açık bir dosya nesnesi. Kaynak bir yolsa açılır ve okunur. Kaynak açık bir dosyaysa, dosya doğrudan okunur.
YAML için kök dizin. Bu dizin, ayrıştırılmış YAML'de başvuruda bulunılan dosyaların göreli konumlarını belirtmek için kaynak olarak kullanılır. Kaynak bir dosya veya dosya yolu girişiyse, varsayılan olarak kaynakla aynı dizini kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
YAML dosyasındaki değerlerin üzerine yazmak için parametre alanları.
Döndürülenler
Yüklü bir Model nesnesi.
Dönüş türü
Özel durumlar
İş başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
Örnekler
Ad ve sürüm parametrelerini geçersiz kılarak YAML yapılandırma dosyasından Model yükleme.
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
Not
Bu deneysel bir yöntemdir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental.
BIR YAML dosyasından ModelPackage nesnesi oluşturur.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Yerel bir YAML dosyasının yolu veya iş yapılandırması içeren zaten açık bir dosya nesnesi. Kaynak bir yolsa açılır ve okunur. Kaynak açık bir dosyaysa, dosya doğrudan okunur.
YAML için kök dizin. Bu dizin, ayrıştırılan YAML'de başvuruda bulunılan dosyaların göreli konumlarını belirtmek için kaynak olarak kullanılır. Kaynak bir dosya veya dosya yolu girişiyse varsayılan olarak kaynakla aynı dizini kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
YAML dosyasındaki değerlerin üzerine yazmak için parametre alanları.
Döndürülenler
Yüklü bir ModelPackage nesnesi.
Dönüş türü
Özel durumlar
İş başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
Örnekler
YAML yapılandırma dosyasından ModelPackage yükleme.
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
Yaml dosyasından çevrimiçi dağıtım nesnesi oluşturma.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Çevrimiçi dağıtım nesnesinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa bir özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml dosyasında başvuruda bulunılan dosyaların göreli konumları alınırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Çevrimiçi dağıtım nesnesi oluşturulur.
Dönüş türü
Özel durumlar
Çevrimiçi Dağıtım başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
load_online_endpoint
Yaml dosyasından çevrimiçi uç nokta nesnesi oluşturma.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Çevrimiçi uç nokta nesnesinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa bir özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml dosyasında başvuruda bulunılan dosyaların göreli konumları alınırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Çevrimiçi uç nokta nesnesi oluşturma.
Dönüş türü
Özel durumlar
Çevrimiçi Uç Nokta başarıyla doğrulanamazsa oluşturulur. Ayrıntılar hata iletisinde sağlanacaktır.
load_registry
Yaml dosyasından bir kayıt defteri nesnesi yükleyin.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Kayıt defterinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa bir özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml dosyasında başvuruda bulunılan dosyaların göreli konumları alınırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Yüklü kayıt defteri nesnesi.
Dönüş türü
load_workspace
Bir yaml dosyasından çalışma alanı nesnesi yükleyin.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Çalışma alanının yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa bir özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml dosyasında başvuruda bulunılan dosyaların göreli konumları alınırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Yüklenen çalışma alanı nesnesi.
Dönüş türü
load_workspace_connection
Yaml dosyasından bir çalışma alanı bağlantı nesnesi oluşturun.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Çalışma alanı bağlantı nesnesinin yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa bir özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml dosyasında başvuruda bulunılan dosyaların göreli konumları alınırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Çalışma alanı bağlantı nesnesi oluşturma.
Dönüş türü
load_workspace_hub
Not
Bu deneysel bir yöntemdir ve herhangi bir zamanda değişebilir. Daha fazla bilgi için lütfen bkz. https://aka.ms/azuremlexperimental.
Bir yaml dosyasından WorkspaceHub nesnesi yükleyin.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
Parametreler
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
WorkspaceHub'ın yerel yaml kaynağı. Yerel bir dosyanın yolu veya zaten açık bir dosya olmalıdır. Kaynak bir yolsa açık ve okunur. Dosya yoksa bir özel durum oluşur. Kaynak açık bir dosyaysa, dosya doğrudan okunur ve dosya okunamazsa bir özel durum oluşur.
- relative_origin
- str
Ayrıştırılmış yaml dosyasında başvuruda bulunılan dosyaların göreli konumları alınırken kullanılacak kaynak. Bir dosya veya dosya yolu girişiyse, giriş yapılan kaynağın dizinini varsayılan olarak kullanır. Kaynak, ad değeri olmayan bir akış girişiyse varsayılan olarak "./" olarak ayarlanır.
Yaml dosyasının üzerine yazacak alanlar. Biçim: [{"alan1": "değer1"}, {"alan2": "değer2"}]
Döndürülenler
Yüklenen WorkspaceHub nesnesi.
Dönüş türü
spark
dsl.pipeline işlevi içinde kullanılabilecek veya tek başına Spark işi olarak kullanılabilen bir Spark nesnesi oluşturur.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
Parametreler
İş için etiketlerin sözlüğü. Etiketler eklenebilir, kaldırılabilir ve güncelleştirilebilir. Varsayılan değer Yok'tur.
- code
İşi çalıştırmak için kaynak kod. Uzak bir konuma işaret eden yerel bir yol veya "http:", "https:" veya "azureml:" url'si olabilir.
Python uygulamaları için PYTHONPATH'e yerleştirecek .zip, .egg veya .py dosyalarının listesi. Varsayılan değer Yok'tur.
listesi. Sürücü ve yürütücü sınıf yollarına eklenecek JAR dosyaları. Varsayılan değer Yok'tur.
Her yürütücüsünün çalışma dizinine yerleştirilecek dosyaların listesi. Varsayılan değer Yok'tur.
Her yürütücüsünün çalışma dizinine ayıklanacak arşivlerin listesi. Varsayılan değer Yok'tur.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Spark işinin işlem üzerinde çalışırken kullanacağı kimlik.
Boyut birimi soneki ("k", "m", "g" veya "t") (örneğin, "512m", "2g") olan dizeler olarak biçimlendirilmiş sürücü işlemi için kullanılacak bellek miktarı.
Yürütücü işlemi başına kullanılacak bellek miktarı; boyut birimi soneki ("k", "m", "g" veya "t") (örneğin, "512m", "2g") olan dizeler olarak biçimlendirilir.
Bu uygulamaya kayıtlı yürütücü sayısını iş yüküne göre artırıp azaltan dinamik kaynak ayırmanın kullanılıp kullanılmaydığı.
Dinamik ayırma etkinleştirildiyse yürütücü sayısı için alt sınır.
Dinamik ayırma etkinleştirildiyse yürütücü sayısı için üst sınır.
Önceden tanımlanmış Spark yapılandırma anahtarı ve değerlerine sahip bir sözlük. Varsayılan değer Yok'tur.
- environment
- Optional[Union[str, Environment]]
İşin çalıştırılacak Azure ML ortamı.
Giriş adlarının işte kullanılan giriş verilerine eşlemesi. Varsayılan değer Yok'tur.
Çıktı adlarının işte kullanılan çıkış verileriyle eşlemesi. Varsayılan değer Yok'tur.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
İşin işlem kaynağı yapılandırması.
Döndürülenler
Spark nesnesi.
Dönüş türü
Örnekler
DSL işlem hattı dekoratörü kullanarak Spark işlem hattı oluşturma
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin