Tutorial: Executar uma carga de trabalho paralela com o Azure Batch através da API .NET

Artigo
10/18/2023

Utilize o Azure Batch para executar trabalhos de lote de computação de alto desempenho (HPC) e paralelos em larga escala de forma eficaz no Azure. Este tutorial guia-o por um exemplo C# de execução de uma carga de trabalho paralela com o Batch. Obteve mais informações sobre um fluxo de trabalho de aplicações do Batch comum e como interagir programaticamente com recursos do Batch e de Armazenamento.

Adicione um pacote de aplicativo à sua conta do Batch.
Autentique-se com contas de lote e armazenamento.
Carregue arquivos de entrada para o armazenamento.
Crie um pool de nós de computação para executar um aplicativo.
Crie um trabalho e tarefas para processar arquivos de entrada.
Monitore a execução da tarefa.
Recupere arquivos de saída.

Neste tutorial, você converte arquivos de mídia MP4 para o formato MP3, em paralelo, usando a ferramenta de código aberto ffmpeg .

Se não tiver uma subscrição do Azure, crie uma conta gratuita do Azure antes de começar.

Pré-requisitos

Visual Studio 2017 ou posterior, ou SDK do .NET Core para Linux, macOS ou Windows.
Uma conta do Batch e uma conta de Armazenamento do Microsoft Azure associada. Para criar essas contas, consulte os guias de início rápido em lote para o portal do Azure ou a CLI do Azure.
Faça o download da versão apropriada do ffmpeg para o seu caso de uso para o seu computador local. Este tutorial e o aplicativo de exemplo relacionado usam a versão de compilação completa do Windows de 64 bits do ffmpeg 4.3.1. Para este tutorial, você só precisa do arquivo zip. Não tem de deszipar o ficheiro ou instalá-lo localmente.

Inicie sessão no portal do Azure.

Adicionar um pacote de aplicação

Utilize o portal do Azure para adicionar o ffmpeg à sua conta do Batch como um pacote de aplicação. Os pacotes de aplicação ajudam a gerir aplicações de tarefas e a respetiva implementação em nós de computação do conjunto.

No portal do Azure, clique em Mais contas de Lote de serviços>e selecione o nome da sua conta de Lote.
Clique em Aplicações>Adicionar.
Digite ffmpeg no campo ID do aplicativo e uma versão do pacote 4.3.1 no campo Versão. Selecione o arquivo zip ffmpeg que você baixou e, em seguida, selecione Enviar. O pacote de aplicação do ffmpeg é adicionado à sua conta do Batch.

Obter credenciais da conta

Neste exemplo, tem de apresentar as credenciais para as contas do Batch e de Armazenamento. É uma forma simples de obter as credenciais necessárias no portal do Azure. (Também pode obter estas credenciais com as APIs do Azure ou as ferramentas de linha de comandos.)

Selecione Todas as contas de Lote de serviços>e, em seguida, selecione o nome da sua conta de Lote.
Para ver as credenciais do lote, selecione Chaves. Copie os valores da conta do Batch, o URL e a Chave de acesso primária para um editor de texto.
Para ver o nome e as chaves da conta de armazenamento, selecione Conta de armazenamento. Copie os valores do Nome da conta de armazenamento e Chave1 para um editor de texto.

Baixe e execute o aplicativo de exemplo

Transferir a aplicação de exemplo

Transfira ou clonar a aplicação de exemplo a partir do GitHub. Para clonar o repositório de aplicações de exemplo com um cliente Git, utilize o seguinte comando:

git clone https://github.com/Azure-Samples/batch-dotnet-ffmpeg-tutorial.git

Navegue até o diretório que contém o arquivo de solução do Visual Studio BatchDotNetFfmpegTutorial.sln.

Abra o arquivo de solução no Visual Studio e atualize as cadeias de caracteres de credenciais em Program.cs com os valores obtidos para suas contas. Por exemplo:

// Batch account credentials
private const string BatchAccountName = "yourbatchaccount";
private const string BatchAccountKey  = "xxxxxxxxxxxxxxxxE+yXrRvJAqT9BlXwwo1CwF+SwAYOxxxxxxxxxxxxxxxx43pXi/gdiATkvbpLRl3x14pcEQ==";
private const string BatchAccountUrl  = "https://yourbatchaccount.yourbatchregion.batch.azure.com";

// Storage account credentials
private const string StorageAccountName = "yourstorageaccount";
private const string StorageAccountKey  = "xxxxxxxxxxxxxxxxy4/xxxxxxxxxxxxxxxxfwpbIC5aAWA8wDu+AFXZB827Mt9lybZB1nUcQbQiUrkPtilK5BQ==";

Nota

Para simplificar o exemplo, as credenciais da Conta de armazenamento e do Batch são apresentadas em texto não encriptado. Na prática, recomendamos que restrinja o acesso às credenciais e que as mencione no seu código através de variáveis de ambiente ou de um ficheiro de configuração. Para obter exemplos, veja o repositório de exemplos de código do Azure Batch.

Além disso, certifique-se de que a referência do pacote de aplicativo ffmpeg na solução corresponda ao identificador e à versão do pacote ffmpeg que você carregou para sua conta em lote. Por exemplo, ffmpeg e 4.3.1.

const string appPackageId = "ffmpeg";
const string appPackageVersion = "4.3.1";

Compilar e executar o projeto de exemplo

Crie e execute a aplicação no Visual Studio ou na linha de comandos com os comandos dotnet build e dotnet run. Depois de executar a aplicação, reveja o código para saber o que faz cada parte da aplicação. Por exemplo, no Visual Studio:

Clique com o botão direito do mouse na solução no Gerenciador de Soluções e selecione Criar Solução.
Confirme o restauro de quaisquer pacotes NuGet, se lhe for pedido. Se precisar de transferir pacotes em falta, certifique-se de que o NuGet Package Manager está instalado.
Execute a solução. Quando executar a aplicação de exemplo, o resultado da consola é semelhante ao seguinte. Durante a execução, ocorre uma pausa em Monitoring all tasks for 'Completed' state, timeout in 00:30:00... enquanto os nós de computação do conjunto são iniciados.

Sample start: 11/19/2018 3:20:21 PM

Container [input] created.
Container [output] created.
Uploading file LowPriVMs-1.mp4 to container [input]...
Uploading file LowPriVMs-2.mp4 to container [input]...
Uploading file LowPriVMs-3.mp4 to container [input]...
Uploading file LowPriVMs-4.mp4 to container [input]...
Uploading file LowPriVMs-5.mp4 to container [input]...
Creating pool [WinFFmpegPool]...
Creating job [WinFFmpegJob]...
Adding 5 tasks to job [WinFFmpegJob]...
Monitoring all tasks for 'Completed' state, timeout in 00:30:00...
Success! All tasks completed successfully within the specified timeout period.
Deleting container [input]...

Sample end: 11/19/2018 3:29:36 PM
Elapsed time: 00:09:14.3418742

Aceda à conta do Batch no portal do Azure para monitorizar o conjunto, os nós de computação, o trabalho e as tarefas. Por exemplo, para ver um mapa érmico dos nós de computação no conjunto, clique em Conjuntos>WinFFmpegPool.

Quando as tarefas estiverem em execução, o mapa térmico é semelhante ao seguinte:

Screenshot of the pool heat map in the Azure portal.

O tempo de execução normal é de aproximadamente 10 minutos quando executa a aplicação na configuração predefinida. A criação do conjunto demora mais tempo.

Obter ficheiros de saída

Pode utilizar o portal do Azure para transferir os ficheiros MP3 de saída gerados pelas tarefas ffmpeg.

Clique em Todos os serviços>Contas de armazenamento e, em seguida, clique no nome da sua conta de armazenamento.
Clique em Blobs>saída.
Clique com o botão direito do rato em um dos ficheiros MP3 de saída e, em seguida, clique em Transferir. Siga as instruções no seu browser para abrir ou guardar o ficheiro.

Download output file

Apesar de não estar mostrado neste exemplo, também pode transferir os ficheiros programaticamente a partir dos nós de computação ou do contentor de armazenamento.

Rever o código

As secções seguintes dividem a aplicação de exemplo nos passos que executa para processar uma carga de trabalho no serviço Batch. Consulte o arquivo Program.cs na solução enquanto lê o restante deste artigo, já que nem todas as linhas de código no exemplo são discutidas.

Autenticar clientes Blob e Batch

Para interagir com a conta de armazenamento associada, a aplicação utiliza a Biblioteca de Cliente de Armazenamento do Azure para .NET. Cria uma referência para a conta com CloudStorageAccount e autentica através da autenticação de chave partilhada. Em seguida, cria um CloudBlobClient.

// Construct the Storage account connection string
string storageConnectionString = String.Format("DefaultEndpointsProtocol=https;AccountName={0};AccountKey={1}",
                                StorageAccountName, StorageAccountKey);

// Retrieve the storage account
CloudStorageAccount storageAccount = CloudStorageAccount.Parse(storageConnectionString);

CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();

A aplicação cria um objeto BatchClient para criar e gerir conjuntos, trabalhos e tarefas no serviço Batch. O cliente Batch no exemplo utiliza a autenticação de chave partilhada. O Batch também oferece suporte à autenticação por meio do Microsoft Entra ID para autenticar usuários individuais ou um aplicativo autônomo.

BatchSharedKeyCredentials sharedKeyCredentials = new BatchSharedKeyCredentials(BatchAccountUrl, BatchAccountName, BatchAccountKey);

using (BatchClient batchClient = BatchClient.Open(sharedKeyCredentials))
...

Carregar ficheiros de entrada

A aplicação transmite o objeto blobClient ao método CreateContainerIfNotExistAsync para criar um contentor de armazenamento para os ficheiros de entrada (formato MP4) e um contentor para o resultado da tarefa.

CreateContainerIfNotExistAsync(blobClient, inputContainerName);
CreateContainerIfNotExistAsync(blobClient, outputContainerName);

Em seguida, os arquivos são carregados para o contêiner de entrada da pasta InputFiles local. Os ficheiros no armazenamento estão definidos como objetos ResourceFile que o Batch pode transferir mais tarde para os nós de computação.

Dois métodos em Program.cs estão envolvidos no upload dos arquivos:

UploadFilesToContainerAsync: Retorna uma coleção de ResourceFile objetos e chamadas UploadResourceFileToContainerAsync internas para carregar cada arquivo que é passado no inputFilePaths parâmetro.
UploadResourceFileToContainerAsync: carrega cada ficheiro como um blob para o contentor de entrada. Depois de carregar o arquivo, ele obtém uma assinatura de acesso compartilhado (SAS) para o blob e retorna um ResourceFile objeto para representá-lo.

string inputPath = Path.Combine(Environment.CurrentDirectory, "InputFiles");

List<string> inputFilePaths = new List<string>(Directory.GetFileSystemEntries(inputPath, "*.mp4",
    SearchOption.TopDirectoryOnly));

List<ResourceFile> inputFiles = await UploadFilesToContainerAsync(
  blobClient,
  inputContainerName,
  inputFilePaths);

Para obter mais informações sobre como carregar ficheiros como blobs para uma conta de armazenamento com o .NET, veja Carregar, transferir e listar blobs com o .NET.

Criar um conjunto de nós de computação

Em seguida, o exemplo cria um conjunto de nós de computação na conta do Batch, com uma chamada para CreatePoolIfNotExistAsync. Este método definido utiliza o método BatchClient.PoolOperations.CreatePool para definir o número de nós, o tamanho da VM e uma configuração de conjuntos. Aqui, um objeto VirtualMachineConfiguration especifica uma ImageReference para uma imagem do Windows Server publicada no Azure Marketplace. O Batch suporta inúmeras imagens da VM no Azure Marketplace, bem como imagens da VM personalizadas.

O número de nós e o tamanho da VM são definidos através de constantes definidas. O Batch suporta nós dedicados e nós Spot, e você pode usar um ou ambos em seus pools. Os nós dedicados estão reservados para o conjunto. Os nós spot são oferecidos a um preço reduzido a partir da capacidade excedente da VM no Azure. Os nós spot ficam indisponíveis se o Azure não tiver capacidade suficiente. O exemplo por padrão cria um pool contendo apenas 5 nós Spot em tamanho Standard_A1_v2.

Nota

Certifique-se de verificar suas cotas de nó. Consulte Cotas e limites de serviço em lote para obter instruções sobre como criar uma solicitação de cota.

A aplicação ffmpeg é implementada nos nós de computação ao adicionar ApplicationPackageReference à configuração do conjunto.

O método CommitAsync submete o conjunto ao serviço Batch.

ImageReference imageReference = new ImageReference(
    publisher: "MicrosoftWindowsServer",
    offer: "WindowsServer",
    sku: "2016-Datacenter-smalldisk",
    version: "latest");

VirtualMachineConfiguration virtualMachineConfiguration =
    new VirtualMachineConfiguration(
    imageReference: imageReference,
    nodeAgentSkuId: "batch.node.windows amd64");

pool = batchClient.PoolOperations.CreatePool(
    poolId: poolId,
    targetDedicatedComputeNodes: DedicatedNodeCount,
    targetLowPriorityComputeNodes: LowPriorityNodeCount,
    virtualMachineSize: PoolVMSize,
    virtualMachineConfiguration: virtualMachineConfiguration);

pool.ApplicationPackageReferences = new List<ApplicationPackageReference>
    {
    new ApplicationPackageReference {
    ApplicationId = appPackageId,
    Version = appPackageVersion}};

await pool.CommitAsync();

Criar um trabalho

Um trabalho do Batch especifica um conjunto para executar tarefas e definições opcionais, como uma prioridade e agenda para o trabalho. O exemplo cria um trabalho com uma chamada para CreateJobAsync. Este método definido utiliza o método BatchClient.JobOperations.CreateJob para criar um trabalho no seu conjunto.

O método CommitAsync submete o conjunto ao serviço Batch. Inicialmente, os trabalhos não têm tarefas.

CloudJob job = batchClient.JobOperations.CreateJob();
job.Id = JobId;
job.PoolInformation = new PoolInformation { PoolId = PoolId };

await job.CommitAsync();

Criar tarefas

O exemplo cria tarefas no trabalho com uma chamada para o método AddTasksAsync, que cria uma lista de objetos CloudTask. Cada CloudTask executa o ffmpeg para processar um objeto de entrada ResourceFile através de uma propriedade CommandLine. O ffmpeg foi instalado anteriormente em cada nó quando o conjunto foi criado. Aqui, a linha de comandos executa o ffmpeg para converter cada ficheiro MP4 (vídeo) de entrada num ficheiro MP3 (áudio).

O exemplo cria um objeto OutputFile para o ficheiro MP3 depois de executar a linha de comandos. Os ficheiros de saída de cada tarefa (um, neste caso) são carregados para um contentor na conta de armazenamento associada através da propriedade OutputFiles da tarefa. Anteriormente, no exemplo de código, uma URL de assinatura de acesso compartilhado (outputContainerSasUrl) foi obtida para fornecer acesso de gravação ao contêiner de saída. Observe as outputFile condições definidas no objeto. Um arquivo de saída de uma tarefa só é carregado no contêiner depois que a tarefa é concluída com êxito (OutputFileUploadCondition.TaskSuccess). Consulte o exemplo de código completo no GitHub para obter mais detalhes de implementação.

Em seguida, o exemplo adiciona tarefas ao trabalho com o método AddTaskAsync, o que as coloca em fila para serem executadas nos nós de computação.

Substitua o caminho do arquivo do executável pelo nome da versão que você baixou. Este código de exemplo usa o exemplo ffmpeg-4.3.1-2020-11-08-full_build.

 // Create a collection to hold the tasks added to the job.
List<CloudTask> tasks = new List<CloudTask>();

for (int i = 0; i < inputFiles.Count; i++)
{
    string taskId = String.Format("Task{0}", i);

    // Define task command line to convert each input file.
    string appPath = String.Format("%AZ_BATCH_APP_PACKAGE_{0}#{1}%", appPackageId, appPackageVersion);
    string inputMediaFile = inputFiles[i].FilePath;
    string outputMediaFile = String.Format("{0}{1}",
        System.IO.Path.GetFileNameWithoutExtension(inputMediaFile),
        ".mp3");
    string taskCommandLine = String.Format("cmd /c {0}\\ffmpeg-4.3.1-2020-09-21-full_build\\bin\\ffmpeg.exe -i {1} {2}", appPath, inputMediaFile, outputMediaFile);

    // Create a cloud task (with the task ID and command line)
    CloudTask task = new CloudTask(taskId, taskCommandLine);
    task.ResourceFiles = new List<ResourceFile> { inputFiles[i] };

    // Task output file
    List<OutputFile> outputFileList = new List<OutputFile>();
    OutputFileBlobContainerDestination outputContainer = new OutputFileBlobContainerDestination(outputContainerSasUrl);
    OutputFile outputFile = new OutputFile(outputMediaFile,
       new OutputFileDestination(outputContainer),
       new OutputFileUploadOptions(OutputFileUploadCondition.TaskSuccess));
    outputFileList.Add(outputFile);
    task.OutputFiles = outputFileList;
    tasks.Add(task);
}

// Add tasks as a collection
await batchClient.JobOperations.AddTaskAsync(jobId, tasks);
return tasks

Monitorizar tarefas

Quando o Batch adiciona tarefas a um trabalho, o serviço coloca automaticamente em fila e agenda-as para execução nos nós de computação no conjunto associado. Com base nas definições especificadas, o Batch processa todas as tarefas de colocação em fila, agendamento, repetições e outras funções de administração de tarefas.

Existem várias abordagens à monitorização da execução de tarefas. Este exemplo define um método MonitorTasks para comunicar apenas os estados de conclusão, falha ou êxito das tarefas. O código MonitorTasks especifica um ODATADetailLevel para selecionar eficientemente apenas informações mínimas sobre as tarefas. Em seguida, cria um TaskStateMonitor, que fornece utilitários de ajuda para monitorizar os estados das tarefas. Em MonitorTasks, o exemplo aguarda que todas as tarefas atinjam TaskState.Completed dentro de um limite de tempo. Em seguida, termina o trabalho e comunica todas as tarefas concluídas, mas que podem ter tido uma falha, como um código de saída diferente de zero.

TaskStateMonitor taskStateMonitor = batchClient.Utilities.CreateTaskStateMonitor();
try
{
    await taskStateMonitor.WhenAll(addedTasks, TaskState.Completed, timeout);
}
catch (TimeoutException)
{
    batchClient.JobOperations.TerminateJob(jobId);
    Console.WriteLine(incompleteMessage);
    return false;
}
batchClient.JobOperations.TerminateJob(jobId);
 Console.WriteLine(completeMessage);
...

Clean up resources (Limpar recursos)

Depois de executar as tarefas, a aplicação elimina automaticamente o contentor de armazenamento de entrada que criou e dá-lhe a opção de eliminar o conjunto e o trabalho do Batch. As classes JobOperations e PoolOperations do BatchClient têm métodos de eliminação correspondentes, que são chamados se confirmar a eliminação. Apesar de os próprios trabalhos e tarefas não lhe serem cobrados, os nós de computação são cobrados. Assim, recomendamos que atribua conjuntos apenas conforme necessário. Quando eliminar o conjunto, todos os resultados da tarefa nos nós são eliminados. No entanto, os ficheiros de saída permanecem na conta de armazenamento.

Quando já não forem necessários, elimine o grupo de recursos, a conta do Batch e a conta de armazenamento. Para tal, no portal do Azure, selecione o grupo de recursos da conta do Batch e clique em Eliminar grupo de recursos.

Próximos passos

Neste tutorial, ficou a saber como:

Adicione um pacote de aplicativo à sua conta do Batch.
Autentique-se com contas de lote e armazenamento.
Carregue arquivos de entrada para o armazenamento.
Crie um pool de nós de computação para executar um aplicativo.
Crie um trabalho e tarefas para processar arquivos de entrada.
Monitore a execução da tarefa.
Recupere arquivos de saída.

Para obter mais exemplos de como usar a API .NET para agendar e processar cargas de trabalho em lote, consulte os exemplos de C# em lote no GitHub.