Utilize Azure Data Lake Storage Gen1 para capturar dados dos Centros de Eventos

  • Artigo
  • 4 minutos para ler

Saiba como usar Azure Data Lake Storage Gen1 para capturar dados recebidos por Hubs de Eventos do Azure.

Pré-requisitos

Atribuir permissões aos Centros de Eventos

Nesta secção, cria-se uma pasta dentro da conta onde pretende capturar os dados dos Centros de Eventos. Também atribui permissões a Event Hubs para que possa escrever dados numa conta Data Lake Storage Gen1.

  1. Abra a conta Data Lake Storage Gen1 onde pretende capturar dados a partir de Centros de Eventos e, em seguida, clique em Data Explorer.

    Data Lake Storage Gen1 data explorer

  2. Clique em Nova Pasta e, em seguida, introduza um nome para pasta onde pretende capturar os dados.

    Create a new folder in Data Lake Storage Gen1

  3. Atribua permissões na raiz de Data Lake Storage Gen1.

    a. Clique Data Explorer, selecione a raiz da conta Data Lake Storage Gen1 e, em seguida, clique em Access.

    Screenshot of the Data explorer with the root of the account and the Access option called out.

    b. Em Acesso, clique em Adicionar, clique em Selecionar Utilizador ou Grupo e, em seguida, procure .Microsoft.EventHubs

    Screenshot of the Access page with the Add option, Select User or Group option, and Microsoft Eventhubs option called out.

    Clique em Selecionar.

    c. Sob Permissões de Atribuição, clique em Selecionar Permissões. Definir permissões para executar. Desema estapasta e a todas as crianças. Desa estade Adicionar àentrada de uma permissão de acesso e a uma entrada de permissão por defeito.

    Importante

    Ao criar uma nova hierarquia de pasta para capturar dados recebidos por Hubs de Eventos do Azure, esta é uma forma fácil de garantir o acesso à pasta de destino. No entanto, adicionar permissões a todas as crianças de uma pasta de nível superior com muitos ficheiros e pastas infantis pode demorar muito tempo. Se a sua pasta de raiz contiver um grande número de ficheiros e pastas, poderá ser mais rápido adicionar permissões de execução individualmente Microsoft.EventHubs a cada pasta no caminho para a sua pasta de destino final.

    Screenshot of the Assign Permissions section with the Select Permissions option called out. The Select Permissions section is next to it with the Execute option, Add to option, and Add as option called out.

    Clique em OK.

  4. Atribua permissões para a pasta sob a conta Data Lake Storage Gen1 onde pretende capturar dados.

    a. Clique Data Explorer, selecione a pasta na conta Data Lake Storage Gen1 e, em seguida, clique em Access.

    Screenshot of the Data explorer with a folder in the account and the Access option called out.

    b. Em Acesso, clique em Adicionar, clique em Selecionar Utilizador ou Grupo e, em seguida, procure .Microsoft.EventHubs

    Screenshot of the Data explorer Access page with the Add option, Select User or Group option, and Microsoft Eventhubs option called out.

    Clique em Selecionar.

    c. Sob Permissões de Atribuição, clique em Selecionar Permissões. Definir permissões para ler, escrever e executar. Desema estapasta e a todas as crianças. Por fim, desa um ponto de fixação dedados sobre uma entrada de permissão de acesso e uma entrada de permissão por defeito.

    Screenshot of the Assign Permissions section with the Select Permissions option called out. The Select Permissions section is next to it with the Read, Write, and Execute options, the Add to option, and the Add as option called out.

    Clique em OK.

Configurar centros de eventos para capturar dados para Data Lake Storage Gen1

Nesta secção, você cria um Centro de Eventos dentro de um espaço de nomes de Event Hubs. Também configura o Centro de Eventos para capturar dados numa conta Azure Data Lake Storage Gen1. Esta secção pressupõe que já criou um espaço de nomes de Event Hubs.

  1. A partir do painel de visão geral do espaço de nomes dos Centros de Eventos, clique em + Centro de Eventos.

    Screenshot of the Overview pane with the Event Hub option called out.

  2. Forneça os seguintes valores para configurar os Centros de Eventos para capturar dados para Data Lake Storage Gen1.

    Screenshot of the Create Event Hub dialog box with the Name text box, the Capture option, the Capture Provider option, the Select Data Lake Store option, and the Data Lake Path option called out.

    a. Forneça um nome para o Centro de Eventos.

    b. Para este tutorial, desajei a contagem de partição e a retenção de mensagens para os valores predefinidos.

    c. Definir captura para on. Desa ajuste a janela de tempo (com que frequência a capturar) e janela de tamanho (tamanho de dados para capturar).

    d. Para o Fornecedor de Captura, selecione Azure Data Lake Store e, em seguida, selecione a conta Data Lake Storage Gen1 que criou anteriormente. Para Data Lake Path, insira o nome da pasta que criou na conta Data Lake Storage Gen1. Só precisa de fornecer o caminho relativo para a pasta.

    e. Deixe os formatos de nome do ficheiro de captura de amostra para o valor predefinido. Esta opção rege a estrutura da pasta que é criada sob a pasta de captura.

    f. Clique em Criar.

Testar a configuração

Agora pode testar a solução enviando dados para o Azure Event Hub. Siga as instruções no Enviar os Hubs de Eventos do Azure. Assim que começar a enviar os dados, vê os dados refletidos em Data Lake Storage Gen1 utilizando a estrutura da pasta especificada. Por exemplo, vê uma estrutura de pasta, como mostra a seguinte imagem, na sua conta Data Lake Storage Gen1.

Sample EventHub data in Data Lake Storage Gen1

Nota

Mesmo que não tenha mensagens a chegar aos Centros de Eventos, o Event Hubs escreve ficheiros vazios apenas com os cabeçalhos na conta Data Lake Storage Gen1. Os ficheiros são escritos ao mesmo tempo que forneceu enquanto criava os Centros de Eventos.

Analisar dados em Data Lake Storage Gen1

Uma vez que os dados estão em Data Lake Storage Gen1, você pode executar trabalhos analíticos para processar e recolher os dados. Consulte o USQL Avro Exemplo sobre como fazê-lo usando Azure Data Lake Analytics.

Ver também