Öğretici: Python API’si kullanarak Azure Batch ile paralel iş yükü çalıştırmaTutorial: Run a parallel workload with Azure Batch using the Python API

Büyük ölçekli paralel ve yüksek performanslı bilgi işlem (HPC) toplu işlerini Azure’da verimli bir şekilde çalıştırmak için Azure Batch’i kullanın.Use Azure Batch to run large-scale parallel and high-performance computing (HPC) batch jobs efficiently in Azure. Bu öğreticide, Batch kullanarak paralel iş yükü çalıştırmaya ilişkin bir Python örneği açıklanmaktadır.This tutorial walks through a Python example of running a parallel workload using Batch. Genel bir Batch uygulaması iş akışı hakkında bilgi alacak ve Batch ve Depolama kaynakları ile programlı olarak etkileşimde bulunmayı öğreneceksiniz.You learn a common Batch application workflow and how to interact programmatically with Batch and Storage resources. Aşağıdakileri nasıl yapacağınızı öğrenirsiniz:You learn how to:

  • Batch ve Depolama hesapları ile kimlik doğrulamasıAuthenticate with Batch and Storage accounts
  • Depolama hizmetine giriş dosyaları yüklemeUpload input files to Storage
  • Bir uygulamayı çalıştırmak için işlem düğümleri havuzu oluşturmaCreate a pool of compute nodes to run an application
  • Giriş dosyalarını işlemek için bir iş ve görevler oluşturmaCreate a job and tasks to process input files
  • Görev yürütmeyi izlemeMonitor task execution
  • Çıkış dosyalarını almaRetrieve output files

Bu öğreticide, ffmpeg açık kaynak aracını kullanarak MP4 medya dosyalarını MP3 biçimine paralel şekilde dönüştürürsünüz.In this tutorial, you convert MP4 media files in parallel to MP3 format using the ffmpeg open-source tool.

Azure aboneliğinizyoksa başlamadan önce ücretsiz bir hesap oluşturun.If you don't have an Azure subscription, create a free account before you begin.

Ön koşullarPrerequisites

Azure'da oturum açınSign in to Azure

https://portal.azure.com adresinden Azure portalında oturum açın.Sign in to the Azure portal at https://portal.azure.com.

Hesap kimlik bilgilerini almaGet account credentials

Bu örnekte, Batch ve depolama hesaplarınız için kimlik bilgileri sağlamanız gerekir.For this example, you need to provide credentials for your Batch and Storage accounts. Gerekli kimlik bilgilerini almanın kolay yolu Azure portalındadır.A straightforward way to get the necessary credentials is in the Azure portal. (Bu kimlik bilgilerini ayrıca Azure API'lerini veya komut satırı araçlarını kullanarak da alabilirsiniz.)(You can also get these credentials using the Azure APIs or command-line tools.)

  1. Tüm hizmetler > Batch hesapları' nı seçin ve ardından Batch hesabınızın adını seçin.Select All services > Batch accounts, and then select the name of your Batch account.

  2. Batch kimlik bilgilerini görmek için anahtarlar' ı seçin.To see the Batch credentials, select Keys. Batch hesabı, URL ve Birincil erişim anahtarı değerlerini metin düzenleyiciye kopyalayın.Copy the values of Batch account, URL, and Primary access key to a text editor.

  3. Depolama hesabı adını ve anahtarlarını görmek için depolama hesabı' nı seçin.To see the Storage account name and keys, select Storage account. Depolama hesabı adı ve Key1 değerlerini bir metin düzenleyiciye kopyalayın.Copy the values of Storage account name and Key1 to a text editor.

Örneği indirme ve çalıştırmaDownload and run the sample

Örneği indirmeDownload the sample

GitHub’dan örnek uygulamayı indirin veya kopyalayın.Download or clone the sample app from GitHub. Örnek uygulama deposunu bir Git istemcisi ile kopyalamak için aşağıdaki komutu kullanın:To clone the sample app repo with a Git client, use the following command:

git clone https://github.com/Azure-Samples/batch-python-ffmpeg-tutorial.git

batch_python_tutorial_ffmpeg.py dosyasını içeren dizine gidin.Navigate to the directory that contains the file batch_python_tutorial_ffmpeg.py.

Python ortamınızda pip kullanarak gerekli paketleri yükleyin.In your Python environment, install the required packages using pip.

pip install -r requirements.txt

config.py dosyasını açın.Open the file config.py. Batch ve depolama hesabı kimlik bilgilerini, hesaplarınıza özel değerlerle güncelleştirin.Update the Batch and storage account credential strings with the values unique to your accounts. Örneğin:For example:

_BATCH_ACCOUNT_NAME = 'mybatchaccount'
_BATCH_ACCOUNT_KEY = 'xxxxxxxxxxxxxxxxE+yXrRvJAqT9BlXwwo1CwF+SwAYOxxxxxxxxxxxxxxxx43pXi/gdiATkvbpLRl3x14pcEQ=='
_BATCH_ACCOUNT_URL = 'https://mybatchaccount.mybatchregion.batch.azure.com'
_STORAGE_ACCOUNT_NAME = 'mystorageaccount'
_STORAGE_ACCOUNT_KEY = 'xxxxxxxxxxxxxxxxy4/xxxxxxxxxxxxxxxxfwpbIC5aAWA8wDu+AFXZB827Mt9lybZB1nUcQbQiUrkPtilK5BQ=='

Uygulamayı çalıştırmaRun the app

Betiği çalıştırmak için:To run the script:

python batch_python_tutorial_ffmpeg.py

Örnek uygulamayı çalıştırdığınızda, konsol çıktısı aşağıdakine benzer.When you run the sample application, the console output is similar to the following. Yürütme sırasında, havuzun işlem düğümleri başlatıldığı sırada Monitoring all tasks for 'Completed' state, timeout in 00:30:00... konumunda bir duraklama yaşarsınız.During execution, you experience a pause at Monitoring all tasks for 'Completed' state, timeout in 00:30:00... while the pool's compute nodes are started.

Sample start: 11/28/2018 3:20:21 PM

Container [input] created.
Container [output] created.
Uploading file LowPriVMs-1.mp4 to container [input]...
Uploading file LowPriVMs-2.mp4 to container [input]...
Uploading file LowPriVMs-3.mp4 to container [input]...
Uploading file LowPriVMs-4.mp4 to container [input]...
Uploading file LowPriVMs-5.mp4 to container [input]...
Creating pool [LinuxFFmpegPool]...
Creating job [LinuxFFmpegJob]...
Adding 5 tasks to job [LinuxFFmpegJob]...
Monitoring all tasks for 'Completed' state, timeout in 00:30:00...
Success! All tasks completed successfully within the specified timeout period.
Deleting container [input]....

Sample end: 11/28/2018 3:29:36 PM
Elapsed time: 00:09:14.3418742

Havuz, işlem düğümleri, iş ve görevleri izlemek için Azure portalında Batch hesabınıza gidin.Go to your Batch account in the Azure portal to monitor the pool, compute nodes, job, and tasks. Örneğin, havuzunuzdaki işlem düğümlerinin ısı haritasını görmek için Havuzlar > LinuxFFmpegPool öğesine tıklayın.For example, to see a heat map of the compute nodes in your pool, click Pools > LinuxFFmpegPool.

Görevler çalıştırılırken ısı haritası aşağıdakine benzer:When tasks are running, the heat map is similar to the following:

Havuz ısı haritası

Uygulama varsayılan yapılandırmasında çalıştırıldığında tipik yürütme süresi yaklaşık 5 dakikadır.Typical execution time is approximately 5 minutes when you run the application in its default configuration. En uzun süreyi havuz oluşturma işlemi alır.Pool creation takes the most time.

Çıkış dosyalarını almaRetrieve output files

ffmpeg görevleri tarafından oluşturulan çıkış MP3 dosyalarını indirmek için Azure portalını kullanabilirsiniz.You can use the Azure portal to download the output MP3 files generated by the ffmpeg tasks.

  1. Tüm hizmetler > Depolama hesapları seçeneğine ve sonra da depolama hesabınızın adına tıklayın.Click All services > Storage accounts, and then click the name of your storage account.
  2. Bloblar > çıkış seçeneğine tıklayın.Click Blobs > output.
  3. Çıkış MP3 dosyalarından birine sağ tıklayın ve ardından İndir’e tıklayın.Right-click one of the output MP3 files and then click Download. Dosyayı açmak veya kaydetmek için tarayıcınızdaki yönergeleri izleyin.Follow the prompts in your browser to open or save the file.

Çıkış dosyasını indirme

Bu örnekte gösterilmese de dosyaları programlamayla işlem düğümlerinden veya depolama kapsayıcısından indirebilirsiniz.Although not shown in this sample, you can also download the files programmatically from the compute nodes or from the storage container.

Kodu gözden geçirinReview the code

Aşağıdaki bölümlerde örnek uygulama, Batch hizmetinde iş yükünü işlemeyi gerçekleştiren adımlara ayrılmıştır.The following sections break down the sample application into the steps that it performs to process a workload in the Batch service. Örnekteki her bir kod satırı ele alınmadığı için, bu makalenin geri kalanını okurken Python koduna bakın.Refer to the Python code while you read the rest of this article, since not every line of code in the sample is discussed.

Blob ve Batch istemcilerinde kimlik doğrulamasıAuthenticate Blob and Batch clients

Bir depolama hesabıyla etkileşimde bulunmak için uygulama, azure-storage-blob paketini kullanarak bir BlockBlobService nesnesi oluşturur.To interact with a storage account, the app uses the azure-storage-blob package to create a BlockBlobService object.

blob_client = azureblob.BlockBlobService(
    account_name=_STORAGE_ACCOUNT_NAME,
    account_key=_STORAGE_ACCOUNT_KEY)

Uygulama, Batch hizmetinde havuz, iş ve görevleri oluşturup yönetmek üzere bir BatchServiceClient nesnesi oluşturur.The app creates a BatchServiceClient object to create and manage pools, jobs, and tasks in the Batch service. Örnekteki Batch istemcisi, paylaşılan anahtar kimlik doğrulaması kullanır.The Batch client in the sample uses shared key authentication. Batch ayrıca bireysel kullanıcıların ya da katılımsız bir uygulamanın kimlik doğrulamasını yapmak için Azure Active Directory aracılığıyla kimlik doğrulamayı destekler.Batch also supports authentication through Azure Active Directory, to authenticate individual users or an unattended application.

credentials = batchauth.SharedKeyCredentials(_BATCH_ACCOUNT_NAME,
                                             _BATCH_ACCOUNT_KEY)

batch_client = batch.BatchServiceClient(
    credentials,
    base_url=_BATCH_ACCOUNT_URL)

Giriş dosyalarını karşıya yüklemeUpload input files

Uygulama, giriş MP4 dosyaları için bir depolama kapsayıcısı ve görev çıkışı için bir kapsayıcı oluşturmak üzere blob_client başvurusunu kullanır.The app uses the blob_client reference create a storage container for the input MP4 files and a container for the task output. Daha sonra, yerel InputFiles dizinindeki MP4 dosyalarını kapsayıcıya yüklemek üzere upload_file_to_container işlevini çağırır.Then, it calls the upload_file_to_container function to upload MP4 files in the local InputFiles directory to the container. Depolama alanındaki dosyalar, Batch hizmetinin daha sonra işlem düğümlerine indirebileceği Batch ResourceFile nesneleri olarak tanımlanır.The files in storage are defined as Batch ResourceFile objects that Batch can later download to compute nodes.

blob_client.create_container(input_container_name, fail_on_exist=False)
blob_client.create_container(output_container_name, fail_on_exist=False)
input_file_paths = []

for folder, subs, files in os.walk(os.path.join(sys.path[0], './InputFiles/')):
    for filename in files:
        if filename.endswith(".mp4"):
            input_file_paths.append(os.path.abspath(
                os.path.join(folder, filename)))

# Upload the input files. This is the collection of files that are to be processed by the tasks.
input_files = [
    upload_file_to_container(blob_client, input_container_name, file_path)
    for file_path in input_file_paths]

İşlem düğümleri havuzu oluşturmaCreate a pool of compute nodes

Ardından örnek, create_pool çağrısıyla Batch hesabında bir işlem düğümü havuzu oluşturur.Next, the sample creates a pool of compute nodes in the Batch account with a call to create_pool. Bu tanımlı işlev; düğüm sayısını, VM boyutunu ve havuz yapılandırmasını ayarlamak üzere Batch PoolAddParameter sınıfını kullanır.This defined function uses the Batch PoolAddParameter class to set the number of nodes, VM size, and a pool configuration. Burada Virtualmachineconfiguration nesnesi, Azure Marketi 'Nde yayınlanan Ubuntu Server 18,04 LTS görüntüsüne bir ImageReference belirtir.Here, a VirtualMachineConfiguration object specifies an ImageReference to an Ubuntu Server 18.04 LTS image published in the Azure Marketplace. Batch, Azure Market’te çok çeşitli VM görüntülerinin yanı sıra özel VM görüntülerini destekler.Batch supports a wide range of VM images in the Azure Marketplace, as well as custom VM images.

Düğüm sayısı ve VM boyutu, tanımlı sabitler kullanılarak ayarlanır.The number of nodes and VM size are set using defined constants. Batch, adanmış düğümleri ve düşük öncelikli düğümleri destekler ve havuzlarınızda bunlardan birini ya da her ikisini birden kullanabilirsiniz.Batch supports dedicated nodes and low-priority nodes, and you can use either or both in your pools. Adanmış düğümler, havuzunuz için ayrılmıştır.Dedicated nodes are reserved for your pool. Düşük öncelikli düğümler ise Azure’daki fazlalık VM kapasitesinden indirimli bir fiyat karşılığında sunulur.Low-priority nodes are offered at a reduced price from surplus VM capacity in Azure. Azure’da yeterli kapasite yoksa düşük öncelikli düğümler kullanılamaz duruma gelir.Low-priority nodes become unavailable if Azure does not have enough capacity. Örnek, varsayılan olarak Standard_A1_v2 boyutunda yalnızca 5 düşük öncelikli düğüm içeren bir havuz oluşturur.The sample by default creates a pool containing only 5 low-priority nodes in size Standard_A1_v2.

Fiziksel düğüm özelliklerine ek olarak, bu havuz yapılandırması bir StartTask nesnesi içerir.In addition to physical node properties, this pool configuration includes a StartTask object. StartTask, her düğümü havuza katıldığında ve her yeniden başlatıldığında yürütecektir.The StartTask executes on each node as that node joins the pool, and each time a node is restarted. Bu örnekte StartTask, ffmpeg paketini ve bağımlılıkları düğümlere yüklemek için Bash kabuk komutları çalıştırır.In this example, the StartTask runs Bash shell commands to install the ffmpeg package and dependencies on the nodes.

Pool.add yöntemi, havuzu Batch hizmetine gönderir.The pool.add method submits the pool to the Batch service.

new_pool = batch.models.PoolAddParameter(
    id=pool_id,
    virtual_machine_configuration=batchmodels.VirtualMachineConfiguration(
        image_reference=batchmodels.ImageReference(
            publisher="Canonical",
            offer="UbuntuServer",
            sku="18.04-LTS",
            version="latest"
        ),
        node_agent_sku_id="batch.node.ubuntu 18.04"),
    vm_size=_POOL_VM_SIZE,
    target_dedicated_nodes=_DEDICATED_POOL_NODE_COUNT,
    target_low_priority_nodes=_LOW_PRIORITY_POOL_NODE_COUNT,
    start_task=batchmodels.StartTask(
        command_line="/bin/bash -c \"apt-get update && apt-get install -y ffmpeg\"",
        wait_for_success=True,
        user_identity=batchmodels.UserIdentity(
            auto_user=batchmodels.AutoUserSpecification(
                scope=batchmodels.AutoUserScope.pool,
                elevation_level=batchmodels.ElevationLevel.admin)),
    )
)
batch_service_client.pool.add(new_pool)

Bir iş oluşturmaCreate a job

Bir Batch işi, üzerinde görevlerin çalıştırılacağı bir havuz ve iş için öncelik ile zamanlama gibi isteğe bağlı ayarları belirtir.A Batch job specifies a pool to run tasks on and optional settings such as a priority and schedule for the work. Örnek, create_job çağrısıyla bir iş oluşturur.The sample creates a job with a call to create_job. Bu tanımlı işlev, havuzunuzda bir iş oluşturmak üzere JobAddParameter sınıfını kullanır.This defined function uses the JobAddParameter class to create a job on your pool. Job.add yöntemi, havuzu Batch hizmetine gönderir.The job.add method submits the pool to the Batch service. Başlangıçta iş hiçbir görev içermez.Initially the job has no tasks.

job = batch.models.JobAddParameter(
    id=job_id,
    pool_info=batch.models.PoolInformation(pool_id=pool_id))

batch_service_client.job.add(job)

Görev oluşturmaCreate tasks

Uygulama, add_tasks çağrısıyla iş içinde görevler oluşturur.The app creates tasks in the job with a call to add_tasks. Bu tanımlı işlev, TaskAddParameter sınıfını kullanarak görev nesnelerinin bir listesini oluşturur.This defined function creates a list of task objects using the TaskAddParameter class. Her görev, bir command_line parametresi kullanarak giriş resource_files nesnesini işlemek üzere ffmpeg çalıştırır.Each task runs ffmpeg to process an input resource_files object using a command_line parameter. ffmpeg, daha önce havuz oluşturulduğunda her bir düğüme yüklenmiştir.ffmpeg was previously installed on each node when the pool was created. Burada komut satırı, her bir giriş MP4 (video) dosyasını bir MP3 (ses) dosyasına dönüştürmek için ffmpeg çalıştırır.Here, the command line runs ffmpeg to convert each input MP4 (video) file to an MP3 (audio) file.

Örnek, komut satırını çalıştırdıktan sonra MP3 dosyası için bir OutputFile nesnesi oluşturur.The sample creates an OutputFile object for the MP3 file after running the command line. Her bir görevin çıkış dosyaları (bu örnekte bir tane), görevin output_files özelliği kullanılarak bağlı depolama hesabındaki bir kapsayıcıya yüklenir.Each task's output files (one, in this case) are uploaded to a container in the linked storage account, using the task's output_files property.

Sonra uygulama, task.add_collection yöntemi ile görevleri işe ekler ve işlem düğümleri üzerinde çalışmak üzere kuyruğa alır.Then, the app adds tasks to the job with the task.add_collection method, which queues them to run on the compute nodes.

tasks = list()

for idx, input_file in enumerate(input_files):
    input_file_path = input_file.file_path
    output_file_path = "".join((input_file_path).split('.')[:-1]) + '.mp3'
    command = "/bin/bash -c \"ffmpeg -i {} {} \"".format(
        input_file_path, output_file_path)
    tasks.append(batch.models.TaskAddParameter(
        id='Task{}'.format(idx),
        command_line=command,
        resource_files=[input_file],
        output_files=[batchmodels.OutputFile(
            file_pattern=output_file_path,
            destination=batchmodels.OutputFileDestination(
                container=batchmodels.OutputFileBlobContainerDestination(
                    container_url=output_container_sas_url)),
            upload_options=batchmodels.OutputFileUploadOptions(
                upload_condition=batchmodels.OutputFileUploadCondition.task_success))]
    )
    )
batch_service_client.task.add_collection(job_id, tasks)

Görevleri izlemeMonitor tasks

Bir işe görevler eklendiğinde, Batch bu görevleri ilişkili havuzdaki işlem düğümleri üzerinde yürütülmek üzere otomatik olarak kuyruğa alır ve zamanlar.When tasks are added to a job, Batch automatically queues and schedules them for execution on compute nodes in the associated pool. Belirttiğiniz ayarlara göre, Batch tüm kuyruğa alma, zamanlama, yeniden deneme görevlerini ve diğer görev yönetimi sorumluluklarını yerine getirir.Based on the settings you specify, Batch handles all task queuing, scheduling, retrying, and other task administration duties.

Görevin yürütülüşünün izlenmesi için birçok yaklaşım vardır.There are many approaches to monitoring task execution. Bu örnekteki wait_for_tasks_to_complete işlevi, belirli bir durum (bu örnekte tamamlanmış durum) için bir süre boyunca görevleri izlemek üzere TaskState nesnesini kullanır.The wait_for_tasks_to_complete function in this example uses the TaskState object to monitor tasks for a certain state, in this case the completed state, within a time limit.

while datetime.datetime.now() < timeout_expiration:
    print('.', end='')
    sys.stdout.flush()
    tasks = batch_service_client.task.list(job_id)

    incomplete_tasks = [task for task in tasks if
                        task.state != batchmodels.TaskState.completed]
    if not incomplete_tasks:
        print()
        return True
    else:
        time.sleep(1)
...

Kaynakları temizlemeClean up resources

Görevleri çalıştırdıktan sonra, uygulama kendi oluşturduğu giriş depolama kapsayıcısını otomatik olarak siler ve Batch havuzu ve işini silme seçeneğini sunar.After it runs the tasks, the app automatically deletes the input storage container it created, and gives you the option to delete the Batch pool and job. BatchClient'ın JobOperations ve PoolOperations sınıflarının her ikisi de, silmeyi onaylamanız durumunda çağrılan silme yöntemleri içerir.The BatchClient's JobOperations and PoolOperations classes both have delete methods, which are called if you confirm deletion. İşlerin ve görevlerin kendileri için sizden ücret alınmasa da işlem düğümleri için ücret alınır.Although you're not charged for jobs and tasks themselves, you are charged for compute nodes. Bu nedenle, havuzları yalnızca gerektiğinde ayırmanız önerilir.Thus, we recommend that you allocate pools only as needed. Havuzu sildiğinizde düğümler üzerindeki tüm görev çıkışları silinir.When you delete the pool, all task output on the nodes is deleted. Ancak, giriş ve çıkış dosyaları depolama hesabında kalır.However, the input and output files remain in the storage account.

Kaynak grubunu, Batch hesabını ve depolama hesabını artık gerekli değilse silin.When no longer needed, delete the resource group, Batch account, and storage account. Azure portalında bu işlemi yapmak için Batch hesabına ait kaynak grubunu seçin ve Kaynak Grubunu Sil’e tıklayın.To do so in the Azure portal, select the resource group for the Batch account and click Delete resource group.

Sonraki adımlarNext steps

Bu öğreticide, şunlar hakkında bilgi edindiniz:In this tutorial, you learned about how to:

  • Batch ve Depolama hesapları ile kimlik doğrulamasıAuthenticate with Batch and Storage accounts
  • Depolama hizmetine giriş dosyaları yüklemeUpload input files to Storage
  • Bir uygulamayı çalıştırmak için işlem düğümleri havuzu oluşturmaCreate a pool of compute nodes to run an application
  • Giriş dosyalarını işlemek için bir iş ve görevler oluşturmaCreate a job and tasks to process input files
  • Görev yürütmeyi izlemeMonitor task execution
  • Çıkış dosyalarını almaRetrieve output files

Batch iş yüklerini zamanlamak ve işlemek üzere Python API kullanmaya ilişkin daha fazla örnek için GitHub üzerindeki örneklere bakın.For more examples of using the Python API to schedule and process Batch workloads, see the samples on GitHub.