Melhores práticas para gerir assemblagens U-SQL num pipeline CI/CD

  • Artigo

Neste artigo, vai aprender a gerir o código fonte de assemblagem U-SQL com o projeto de base de dados U-SQL recentemente introduzido. Também irá aprender a configurar um pipeline de integração e implementação contínua (CI/CD) para o registo de assemblagem com o Azure DevOps.

Importante

O Azure Data Lake Analytics descontinuado a 29 de fevereiro de 2024. Saiba mais com este anúncio.

Para análise de dados, a sua organização pode utilizar o Azure Synapse Analytics ou o Microsoft Fabric.

Utilizar o projeto de base de dados U-SQL para gerir o código fonte de assemblagem

O projeto de base de dados U-SQL é um tipo de projeto no Visual Studio que ajuda os programadores a desenvolver, gerir e implementar as respetivas bases de dados U-SQL de forma rápida e fácil. Pode gerir todos os objetos de base de dados U-SQL (exceto as credenciais) com o projeto de base de dados U-SQL.

Para gerir o código fonte de assemblagem C# e os scripts DDL U-SQL de registo de assemblagem, utilize:

  • Projeto de base de dados U-SQL para gerir scripts U-SQL de registo de assemblagem.
  • Biblioteca de Classes (Para Aplicação U-SQL) para gerir o código fonte C# e as dependências para operadores, funções e agregadores definidos pelo utilizador (UDOs, UDFs e UDAGs).
  • Projeto de base de dados U-SQL para referenciar o projeto Biblioteca de Classes.

Um projeto de base de dados U-SQL pode referenciar um projeto de Biblioteca de Classes (Para Aplicação U-SQL). Pode criar assemblagens registadas na base de dados U-SQL com o código fonte C# referenciado deste projeto de Biblioteca de Classes (Para Aplicação U-SQL).

Siga estes passos para criar projetos e adicionar referências.

  1. Crie um projeto de Biblioteca de Classes (Para Aplicação U-SQL) ao selecionar Ficheiro>Novo>Projeto. O projeto encontra-se no nó U-SQL do Azure Data Lake>.

    Ferramentas do Data Lake para Visual Studio – Criar projeto de biblioteca de classes C#

  2. Adicione o código C# definido pelo utilizador no projeto Biblioteca de Classes (Para Aplicação U-SQL).

  3. Crie um projeto U-SQL ao selecionar Ficheiro>Novo>Projeto. O projetoencontra-se no nó U-SQL do Azure Data Lake>.

    Ferramentas do Data Lake para Visual Studio – Criar projeto de base de dados U-SQL

  4. Adicione uma referência ao projeto de biblioteca de classes C# para o projeto de base de dados U-SQL.

    Ferramentas do Data Lake para Visual Studio – Adicionar referência

    Ferramentas do Data Lake para Visual Studio – Adicionar referência de projeto de base de dados U-SQL

  5. Crie um script de assemblagem no projeto de base de dados U-SQL ao clicar com o botão direito do rato no projeto e selecionar Adicionar Novo Item.

    Ferramentas do Data Lake para Visual Studio – Adicionar script de assemblagem

  6. Abra o script de assemblagem na vista de estrutura da assemblagem. Selecione a assemblagem referenciada no menu pendente Criar assemblagem a partir da referência .

    Ferramentas do Data Lake para Visual Studio – criar assemblagem a partir da referência

  7. Adicione Dependências Geridas e Ficheiros Adicionais, se existirem. Quando adiciona ficheiros adicionais, a ferramenta utiliza o caminho relativo para se certificar de que consegue encontrar as assemblagens no seu computador local e no computador de compilação mais tarde.

@_DeployTempDirectory na janela do editor na parte inferior é uma variável predefinida que aponta a ferramenta para a pasta de saída da compilação. Na pasta de saída da compilação, cada assemblagem tem uma subpasta chamada com o nome da assemblagem. Todas as DLLs e ficheiros adicionais estão nessa subpasta.

Criar um projeto de base de dados U-SQL

O resultado da compilação de um projeto de base de dados U-SQL é um pacote de implementação de base de dados U-SQL. É denominado com o sufixo .usqldbpack. O .usqldbpack pacote é um ficheiro .zip que inclui todas as instruções DDL num único script U-SQL na pasta DDL. Todos os ficheiros .dll incorporados e ficheiros adicionais para assemblagens estão na pasta Temp.

Implementar uma base de dados U-SQL

O .usqldbpack pacote pode ser implementado numa conta local ou numa conta do Azure Data Lake Analytics. Utilize o Visual Studio ou o SDK de implementação.

Implementar uma base de dados U-SQL no Visual Studio

Pode implementar uma base de dados U-SQL com um projeto de base de dados U-SQL ou um .usqldbpack pacote no Visual Studio.

Implementar com um projeto de base de dados U-SQL

  1. Clique com o botão direito do rato no projeto de base de dados U-SQL e, em seguida, selecione Implementar.

  2. No assistente Implementar Base de Dados SQL U, selecione a Conta do ADLA na qual pretende implementar a base de dados. As contas locais e as contas do ADLA são suportadas.

  3. A Origem da Base de Dados é preenchida automaticamente. Aponta para o pacote .usqldbpack na pasta de saída da compilação do projeto.

  4. Introduza um nome no Nome da Base de Dados para criar uma base de dados. Se já existir uma base de dados com o mesmo nome na conta de destino do Azure Data Lake Analytics, todos os objetos definidos no projeto de base de dados são criados sem recriar a base de dados.

  5. Para implementar a base de dados U-SQL, selecione Submeter. Todos os recursos, como assemblagens e ficheiros adicionais, são carregados. É submetida uma tarefa U-SQL que inclui todas as instruções DDL.

    Ferramentas do Data Lake para Visual Studio – Implementar projeto de base de dados U-SQL

    Ferramentas do Data Lake para Visual Studio – Assistente para implementar projetos de base de dados U-SQL

Implementar uma base de dados U-SQL no Azure DevOps

PackageDeploymentTool.exe fornece a programação e as interfaces de linha de comandos que ajudam a implementar bases de dados U-SQL. O SDK está incluído no pacote NuGet do SDK U-SQL, localizado em build/runtime/PackageDeploymentTool.exe.

No Azure DevOps, pode utilizar uma tarefa de linha de comandos e este SDK para configurar um pipeline de automatização para a atualização da base de dados U-SQL. Saiba mais sobre o SDK e como configurar um pipeline CI/CD para a implementação da base de dados U-SQL.

Passos seguintes