Azure Machine Learning SDK ile makine öğrenmesi işlem hatları oluşturma ve çalıştırma

Bu makalede, Azure Machine Learning SDK'sı kullanarak makine öğrenmesi işlem hatları oluşturma ve çalıştırma hakkında bilgi edinebilirsiniz. Farklı ML bir iş akışı oluşturmak için farklı işlem hatlarını ML kullanın. Ardından, bu işlem hattını daha sonra erişim veya başkalarla paylaşmak için yayımlayın. Model ML gerçek dünyada nasıl performans sergileye ve veri kaymalarını algılamak için işlem hatlarını takip et. ML işlem hatları, çeşitli işlemleri kullanarak, adımları yeniden çalıştırmak yerine yeniden kullanarak ve iş akışlarını başkalarla paylaşmak ML senaryolar için idealdir.

Bu makale bir öğretici değil. İlk işlem hattınızı oluşturma hakkında rehberlik için bkz. Öğretici: Toplu puanlama için Azure Machine Learning işlem hattı oluşturma veya Python'da bir ML işlem hattında otomatik Azure Machine Learning kullanma.

Bu tür işlem hattı, ML görevlerinin CI/CD otomasyonu için Azure Pipeline adlı farklı bir işlem hattı türünü kullanabilirsiniz ancak bu işlem hattı türü çalışma alanınıza depolanmış değil. Bu farklı işlem hatlarını karşılaştırın.

Oluştur ML işlem hatları, çalışma alanınız üyeleri tarafından Azure Machine Learning görünür.

ML işlem hatları işlem hedeflerine göre yürütülür (bkz. İşlem hatlarında işlem Azure Machine Learning). Pipelines Azure veri konumlarından veri okuyabilir ve bu konumlardan veri Depolama edinebilirsiniz.

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. sürümünün ücretsiz veya ücretli sürümünü Azure Machine Learning.

Önkoşullar

• Tüm işlem Azure Machine Learning tutmak için bir çalışma alanı oluşturun.

• Azure Machine Learning SDK'sı yüklemek için geliştirme ortamınızı yapılandırabilirsiniz veya sdk Azure Machine Learning bir işlem örneği kullanabilirsiniz.

Başlangıç olarak çalışma alanınızı iliştirin:

import azureml.core
from azureml.core import Workspace, Datastore

ws = Workspace.from_config()

Makine öğrenmesi kaynaklarını ayarlama

Bir işlem hattı çalıştırmak için gereken ML oluşturun:

• İşlem hattı adımlarında gereken verilere erişmek için kullanılan bir veri deposu ayarlayın.

• Bir Dataset nesneyi, bir veri deposunda yaşayan veya erişilebilen kalıcı verilere işaret etmek için yapılandırma. İşlem hattı OutputFileDatasetConfig adımları arasında geçirilen geçici veriler için bir nesnesi yapılandırma.

• İşlem hattı adımlarının çalıştırılacak işlem hedeflerini ayarlayın.

Veri deposu ayarlama

Veri deposu, işlem hattının erişmesi için verileri depolar. Her çalışma alanının varsayılan bir veri deposu vardır. Daha fazla veri deposu kaydedebilirsiniz.

Çalışma alanınızı oluşturma Azure Dosyalar Ve Azure Blob depolaması çalışma alanına eklenir. Azure Blob depolamaya bağlanmak için varsayılan bir veri deposu kaydedilir. Daha fazla bilgi edinmek için bkz. Azure Dosyalar, Azure Blobları veya Azure Diskleri'nin ne zaman kullanmaya karar verme.

# Default datastore 
def_data_store = ws.get_default_datastore()

# Get the blob storage associated with the workspace
def_blob_store = Datastore(ws, "workspaceblobstore")

# Get file storage associated with the workspace
def_file_store = Datastore(ws, "workspacefilestore")

Adımlar genellikle verileri tüketir ve çıkış verileri üretir. Bir adım model, model ve bağımlı dosyaları olan bir dizin veya geçici veriler gibi veriler oluşturabilir. Bu veriler daha sonra işlem hattının sonraki adımlarında kullanılabilir. İşlem hattınızı verilerinize bağlama hakkında daha fazla bilgi edinmek için Verilere Erişme ve Veri Kümelerini Kaydetme makalelerine bakın.

ve nesneleriyle Dataset verileri OutputFileDatasetConfig yapılandırma

İşlem hattına veri sağlamanın tercih edilen yolu veri kümesi nesnesidir. nesnesi, Dataset içinde yaşayan veya bir veri deposu ya da bir Web URL'si üzerinden erişilebilen verileri gösterir. sınıfı soyuttur, bu nedenle sınırlandırılmış veri sütunlarına sahip bir veya daha fazla dosyadan oluşturulan bir örneği (bir veya daha fazla dosyadan) veya bir örneği Dataset FileDataset TabularDataset oluşturabilirsiniz.

from_files Dataset veya from_delimited_files.

from azureml.core import Dataset

my_dataset = Dataset.File.from_files([(def_blob_store, 'train-images/')])

Ara veriler (veya bir adımın çıkışı), bir OutputFileDatasetConfig nesnesiyle temsil eder. output_data1 , bir adımın çıkışı olarak üretir. İsteğe bağlı olarak, bu veriler çağrılarak bir veri kümesi olarak register_on_complete kaydedebilirsiniz. Bir adımda bir oluşturur ve bunu başka bir adıma giriş olarak kullanırsanız, adımlar arasındaki bu veri bağımlılığı işlem hattında örtülü bir yürütme OutputFileDatasetConfig sırası oluşturur.

OutputFileDatasetConfig nesneleri bir dizin geri döner ve varsayılan olarak çıktıyı çalışma alanının varsayılan veri deposuna yazar.

from azureml.data import OutputFileDatasetConfig

output_data1 = OutputFileDatasetConfig(destination = (datastore, 'outputdataset/{run-id}'))
output_data_dataset = output_data1.register_on_complete(name = 'prepared_output_data')

İşlem hedefi ayarlama

Bu Azure Machine Learning işlem (veya işlem hedefi) terimi, makine öğrenmesi işlem hattında hesaplama adımlarını tamaman makineleri veya kümeleri ifade eder. İşlem hedeflerinin tam listesi için model eğitimi için bkz. İşlem hedefleri oluşturma ve bunları çalışma alanınıza ekleme için işlem hedefleri oluşturma. Bir modeli eğitme veya işlem hattı adımı çalıştırma gibi işlem hedefi oluşturma ve ekleme işlemi aynıdır. İşlem hedefinizi oluşturduk ve ekledikten sonra, işlem ComputeTarget hattı adımda nesnesini kullanın.

Azure Machine Learning işlem

Adımlarınızı çalıştırmaya Azure Machine Learning bir işlem oluşturabilirsiniz. Diğer işlem hedeflerine yönelik kod, türüne bağlı olarak biraz farklı parametrelerle benzerdir.

from azureml.core.compute import ComputeTarget, AmlCompute

compute_name = "aml-compute"
vm_size = "STANDARD_NC6"
if compute_name in ws.compute_targets:
    compute_target = ws.compute_targets[compute_name]
    if compute_target and type(compute_target) is AmlCompute:
        print('Found compute target: ' + compute_name)
else:
    print('Creating a new compute target...')
    provisioning_config = AmlCompute.provisioning_configuration(vm_size=vm_size,  # STANDARD_NC6 is GPU-enabled
                                                                min_nodes=0,
                                                                max_nodes=4)
    # create the compute target
    compute_target = ComputeTarget.create(
        ws, compute_name, provisioning_config)

    # Can poll for a minimum number of nodes and for a specific timeout.
    # If no min node count is provided it will use the scale settings for the cluster
    compute_target.wait_for_completion(
        show_output=True, min_node_count=None, timeout_in_minutes=20)

    # For a more detailed view of current cluster status, use the 'status' property
    print(compute_target.status.serialize())

Eğitim çalıştırması ortamını yapılandırma

Sonraki adım, uzaktan eğitim çalıştırmanın eğitim adımlarına gereken tüm bağımlılıklara sahip olduğundan emin olmaktır. Bağımlılıklar ve çalışma zamanı bağlamı, bir nesnesi oluşturarak ve yapılandırarak RunConfiguration ayarlanır.

from azureml.core.runconfig import RunConfiguration
from azureml.core.conda_dependencies import CondaDependencies
from azureml.core import Environment 

aml_run_config = RunConfiguration()
# `compute_target` as defined in "Azure Machine Learning compute" section above
aml_run_config.target = compute_target

USE_CURATED_ENV = True
if USE_CURATED_ENV :
    curated_environment = Environment.get(workspace=ws, name="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu")
    aml_run_config.environment = curated_environment
else:
    aml_run_config.environment.python.user_managed_dependencies = False
    
    # Add some packages relied on by data prep step
    aml_run_config.environment.python.conda_dependencies = CondaDependencies.create(
        conda_packages=['pandas','scikit-learn'], 
        pip_packages=['azureml-sdk', 'azureml-dataset-runtime[fuse,pandas]'], 
        pin_sdk_version=False)

Yukarıdaki kodda bağımlılıkları işlemeye uygun iki seçenek vardır. ile sunulan USE_CURATED_ENV = True yapılandırma, özel bir ortamı temel alan bir yapılandırmadır. Seçime bağlı ortamlar, ortak birbirine bağımlı kitaplıklarla "önceden hazır" hale gelir ve çevrimiçi hale getirmek daha hızlı olabilir. Curated environments have prebuilt Docker images in the Microsoft Container Registry. Daha fazla bilgi için bkz. Azure Machine Learning ortamları.

olarak değiştirirseniz alınan USE_CURATED_ENV False yol, bağımlılıklarınızı açıkça ayarlama desenini gösterir. Bu senaryoda yeni bir özel Docker görüntüsü oluşturulacak ve kaynak grubu Azure Container Registry bir depolama grubuna kaydedecek (bkz. Azure'da özel Docker kapsayıcısı kayıt defterleri giriş). Bu görüntünün inşası ve kaydı birkaç dakika sürebilir.

İşlem hattı adımlarınızı oluşturma

İşlem kaynağını ve ortamı oluşturduktan sonra işlem hattı adımlarını tanımlamaya hazırsınızdır. paketi için başvuru belgelerinde gördüğünüz gibi Azure Machine Learning SDK aracılığıyla birçok yerleşik adım azureml.pipeline.steps vardır. En esnek sınıf, Python betiği çalıştıran PythonScriptStepsınıfıdır.

from azureml.pipeline.steps import PythonScriptStep
dataprep_source_dir = "./dataprep_src"
entry_point = "prepare.py"
# `my_dataset` as defined above
ds_input = my_dataset.as_named_input('input1')

# `output_data1`, `compute_target`, `aml_run_config` as defined above
data_prep_step = PythonScriptStep(
    script_name=entry_point,
    source_directory=dataprep_source_dir,
    arguments=["--input", ds_input.as_download(), "--output", output_data1],
    compute_target=compute_target,
    runconfig=aml_run_config,
    allow_reuse=True
)

Yukarıdaki kod tipik bir ilk işlem hattı adımını gösterir. Veri hazırlama kodunuz bir alt dizindedir (bu örnekte "prepare.py" "./dataprep.src" dizininde). İşlem hattı oluşturma işleminin bir parçası olarak bu dizin sıkıştırılır ve dizinine yüklanır ve adım değeri olarak compute_target belirtilen betiği script_name çalıştırır.

Değerler arguments adımın girişlerini ve çıkışlarını belirtir. Yukarıdaki örnekte temel veriler veri my_dataset kümesidir. Kod tarafından olarak belirtilen veriler işlem kaynağına as_download() indirilir. Betik, sahip olduğu göreve uygun olan veri dönüştürme görevlerini yapar ve türüne prepare.py göre verileri çıkışı olarak output_data1 OutputFileDatasetConfig sunar. Daha fazla bilgi için bkz. İşlem hattı adımları (Python) ML arasında veri taşıma. Bu adım, yapılandırması kullanılarak tarafından tanımlanan compute_target makinede aml_run_config ecek.

Gereksiz yeniden çalıştırmaların ortadan kaldırılması çeviklik sunduğundan, işbirliğine dayalı bir ortamda işlem hatları kullanılırken önceki sonuçların ( allow_reuse ) yeniden kullanılması çok önemli. Yeniden kullanma, bir adımın script_name parametreleri aynı kalarak varsayılan davranıştır. Yeniden kullanma izni verilmiyorsa, önceki çalıştırmanın sonuçları hemen bir sonraki adıma gönderilir. olarak allow_reuse False ayarlanırsa, işlem hattı yürütme sırasında bu adım için her zaman yeni bir çalıştırma oluşturulur.

Tek bir adımla işlem hattı oluşturmak mümkündür, ancak neredeyse her zaman genel sürecinizi birkaç adıma bölmeyi seçersiniz. Örneğin veri hazırlama, eğitim, model karşılaştırma ve dağıtım adımlarını kullanabilirsiniz. Örneğin, yukarıda belirtilenden sonra bir data_prep_step sonraki adımın eğitim olabileceğini düşünebiliyor olabilir:

train_source_dir = "./train_src"
train_entry_point = "train.py"

training_results = OutputFileDatasetConfig(name = "training_results",
    destination = def_blob_store)

    
train_step = PythonScriptStep(
    script_name=train_entry_point,
    source_directory=train_source_dir,
    arguments=["--prepped_data", output_data1.as_input(), "--training_results", training_results],
    compute_target=compute_target,
    runconfig=aml_run_config,
    allow_reuse=True
)

Yukarıdaki kod, veri hazırlama adımlarında yer alan koda benzer. Eğitim kodu, veri hazırlama kodundan ayrı bir dizindedir. Veri OutputFileDatasetConfig hazırlama adımının çıkışı, output_data1 eğitim adımına giriş olarak kullanılır. Daha sonraki OutputFileDatasetConfig bir karşılaştırma veya dağıtım training_results adımının sonuçlarını tutmak için yeni bir nesne oluşturulur.

Diğer kod örnekleri için, işlem hattında iki ML derleme ve çalıştırma tamamlandıktan sonra veri depolara geri veri yazma hakkında bilgi alın.

Adımlarınızı tanımdikten sonra, bu adımların bir veya hepsini kullanarak işlem hattını derlemeniz gerekir.

# list of steps to run (`compare_step` definition not shown)
compare_models = [data_prep_step, train_step, compare_step]

from azureml.pipeline.core import Pipeline

# Build the pipeline
pipeline1 = Pipeline(workspace=ws, steps=[compare_models])

Veri kümesi kullanma

Azure Blob depolama, Azure Dosyalar, Azure Data Lake Depolama 1. Nesil, Azure Data Lake Depolama 2. Nesil, Azure SQL Veritabanı ve PostgreSQL için Azure Veritabanı'den oluşturulan veri kümeleri herhangi bir işlem hattı adımına giriş olarak kullanılabilir. DataTransferStep, DatabricksStepveya belirli bir veri deposuna veri yazmak için OutputFileDatasetConfigkullanın.

dataset_consuming_step = PythonScriptStep(
    script_name="iris_train.py",
    inputs=[iris_tabular_dataset.as_named_input("iris_data")],
    compute_target=compute_target,
    source_directory=project_folder
)

Ardından, Run.input_datasets sözlüğü kullanarak işlem hattınıza veri Run.input_datasets alınır.

# iris_train.py
from azureml.core import Run, Dataset

run_context = Run.get_context()
iris_dataset = run_context.input_datasets['iris_data']
dataframe = iris_dataset.to_pandas_dataframe()

Çizgi Run.get_context() vurgulamaya değer. Bu işlev, geçerli deneysel Run çalıştırmayı temsil eden bir alma. Yukarıdaki örnekte, kayıtlı bir veri kümesi almak için bunu kullanıyoruz. nesnesinin bir diğer yaygın kullanımı da hem denemenin kendisini hem de Run denemenin bulunduğu çalışma alanını almaktır:

# Within a PythonScriptStep

ws = Run.get_context().experiment.workspace

Verilere geçiş ve erişim için alternatif yollar da dahil olmak üzere daha fazla ayrıntı için bkz. İşlem hattı adımlarında (Python) ML arasındave arasında taşıma.

Önbelleğe Alma & yeniden kullanma

İşlem hatlarınızı iyileştirmek ve davranışını özelleştirmek için, önbelleğe alma ve yeniden kullanma ile ilgili birkaç şey yapabiliriz. Örneğin, şunları seçebilirsiniz:

• Adım tanımı sırasında ayarını kullanarak adım çalıştırması çıkışını varsayılan allow_reuse=False olarak yeniden kullanma ayarını kapatın. Gereksiz çalıştırmaların ortadan kaldırılması çeviklik sunduğundan, işbirliğine dayalı bir ortamda işlem hatlarını kullanırken yeniden kullanma çok önemli. Bununla birlikte, yeniden kullanımı geri geri atabilirsiniz.
• ile çalıştırmanın tüm adımları için çıkış yeniden oluşturmayı zorlapipeline_run = exp.submit(pipeline, regenerate_outputs=True)

Varsayılan olarak, allow_reuse adımlar için etkindir source_directory ve adım tanımında belirtilen karmadır. Bu nedenle, verilen bir adımın betiği aynı kalırsa ( , girişler ve parametreler) ve içinde başka hiçbir şey değişmemişse, önceki adım çalıştırması yeniden kullanılır, iş işleme gönderilmez ve önceki çalıştırmanın sonuçları hemen bir sonraki adımda script_name source_directory kullanılabilir.

step = PythonScriptStep(name="Hello World",
                        script_name="hello_world.py",
                        compute_target=aml_compute,
                        source_directory=source_directory,
                        allow_reuse=False,
                        hash_paths=['hello_world.ipynb'])

İşlem hattını gönderme

İşlem hattını gönderdiğinizde, Azure Machine Learning adım bağımlılıklarını denetler ve belirttiğiniz kaynak dizinin anlık görüntüsünü karşıya yükler. Kaynak dizin belirtilmezse geçerli yerel dizin karşıya yüklendi. Anlık görüntü, çalışma alanınıza denemenin bir parçası olarak da depolanır.

from azureml.core import Experiment

# Submit the pipeline to be run
pipeline_run1 = Experiment(ws, 'Compare_Models_Exp').submit(pipeline1)
pipeline_run1.wait_for_completion()

İşlem hattını ilk kez çalıştırarak şu Azure Machine Learning:

• Proje anlık görüntüsünü çalışma alanıyla ilişkili Blob depolamadan işlem hedefine indirir.

• İşlem hattındaki her adıma karşılık gelen bir Docker görüntüsü derleme.

• Her adım için Docker görüntüsünü kapsayıcı kayıt defterinden işlem hedefine indirir.

• ve nesnelerine Dataset erişimi OutputFileDatasetConfig yapılandırıyor. Erişim as_mount() modu için FUSE, sanal erişim sağlamak için kullanılır. Bağlama desteklenmiyorsa veya kullanıcı olarak erişim belirttiyse, veriler bunun as_upload() yerine işlem hedefine kopyalanır.

• Adımı, adım tanımında belirtilen işlem hedefini çalıştırır.

• Adım tarafından belirtilen günlükler, stdout ve stderr, ölçümler ve çıkış gibi yapıtlar oluşturur. Bu yapıtlar daha sonra karşıya yük bindir ve kullanıcının varsayılan veri deposuna tutulur.

Daha fazla bilgi için bkz. Deneme sınıfı başvurusu.

Çıkarım zamanında değişen bağımsız değişkenler için işlem hattı parametrelerini kullanma

Bazen işlem hattı içindeki tek tek adımların bağımsız değişkenleri geliştirme ve eğitim süresiyle ilgilidir: eğitim oranları ve ivme gibi şeyler ya da veri ya da yapılandırma dosyalarının yolları. Ancak bir model dağıtıldığında çıkarımını yapmak istediğiniz bağımsız değişkenleri dinamik olarak (yani, modeli yanıtlamak için sizin oluşturmakta olduğunuz sorgu) iletirsiniz. Bu tür bağımsız değişkenler işlem hattı parametrelerine sahip olmalıdır. Bunu Python'da yapmak için azureml.pipeline.core.PipelineParameter aşağıdaki kod parçacığında gösterildiği gibi sınıfını kullanın:

from azureml.pipeline.core import PipelineParameter

pipeline_param = PipelineParameter(name="pipeline_arg", default_value="default_val")
train_step = PythonScriptStep(script_name="train.py",
                            arguments=["--param1", pipeline_param],
                            target=compute_target,
                            source_directory=project_folder)

Python ortamları işlem hattı parametreleriyle nasıl çalışır?

Daha önce Eğitim çalıştırması ortamını, ortam durumunuve Python kitaplığı bağımlılıklarını yapılandırma içinde tartıştığımız gibi bir nesnesi kullanılarak Environment belirtilir. Genel olarak, adına ve isteğe bağlı olarak sürümüne Environment bakarak mevcut bir belirtesiniz:

aml_run_config = RunConfiguration()
aml_run_config.environment.name = 'MyEnvironment'
aml_run_config.environment.version = '1.0'

Ancak, işlem hattı adımlarınız için çalışma zamanında değişkenleri dinamik olarak ayarlamak üzere nesneleri kullanmayı seçerseniz, mevcut bir 'a başvuru yapmak için PipelineParameter bu tekniği kullanalamaz. Environment Bunun yerine, nesneleri PipelineParameter kullanmak için nesnesinin environment alanını bir nesnesi olarak RunConfiguration Environment ayarlayabilirsiniz. Bu tür bir paketin dış Python paketlerine bağımlılıklarının düzgün Environment ayarlanmış olduğundan emin olmak sizin sorumluluğundur.

İşlem hattının sonuçlarını görüntüleme

Tüm işlem hatlarınızı ve bunların çalıştırma ayrıntılarının listesine studio'da bakın:

1. Azure Machine Learning Studio'da oturum açma.

2. Çalışma alanınızı görüntüleme.

3. Tüm işlem hattı çalıştırmalarınızı görmek Pipelines sol tarafta YeniLe'yi seçin.

4. Çalıştırma sonuçlarını görmek için belirli bir işlem hattı seçin.

Git izleme ve tümleştirme

Kaynak dizinin yerel Bir Git deposu olduğu bir eğitim çalıştırması başlatacak olurken, depoyla ilgili bilgiler çalıştırma geçmişinde depolanır. Daha fazla bilgi için bkz. Azure Machine Learning için Git tümleştirmesi.

Sonraki adımlar

• İşlem hattınızı iş arkadaşlarınızla veya müşterilerinizle paylaşmak için bkz. Makine öğrenmesi işlem hatlarını yayımlama
• Makine öğrenmesi işlem hatlarını daha fazla keşfetmek GitHub bu Jupyter not defterlerini kullanın
• azureml-pipelines-core paketi ve azureml-pipelines-steps paketi için SDK başvuru yardımı konusuna bakın
• İşlem hatlarında hata ayıklama ve sorun giderme ipuçları için bkz. nasıl kullanılır?
• Not defterlerini çalıştırmayı öğrenmek için bkz. Hizmeti keşfetmek için Jupyter not defterlerini kullanma.