Azure Data Lake Storage Gen1 gebruiken om gegevens uit Event Hubs vast te leggen

  • Artikel

Meer informatie over het gebruik van Azure Data Lake Storage Gen1 om gegevens vast te leggen die door Azure Event Hubs zijn ontvangen.

Vereisten

Machtigingen toewijzen aan Event Hubs

In deze sectie maakt u een map in het account waarin u de gegevens van Event Hubs wilt vastleggen. U wijst ook machtigingen toe aan Event Hubs, zodat deze gegevens naar een Data Lake Storage Gen1-account kan schrijven.

  1. Open het Data Lake Storage Gen1-account waarin u gegevens uit Event Hubs wilt vastleggen en klik vervolgens op Data Explorer.

    Data Lake Storage Gen1 Data Explorer

  2. Klik op Nieuwe map en voer een naam in voor de map waarin u de gegevens wilt vastleggen.

    Een nieuwe map maken in Data Lake Storage Gen1

  3. Wijs machtigingen toe in de hoofdmap van Data Lake Storage Gen1.

    a. Klik op Data Explorer, selecteer de hoofdmap van het Data Lake Storage Gen1-account en klik vervolgens op Access.

    Schermopname van Data Explorer met de hoofdmap van het account en de optie Access gemarkeerd.

    b. Klik onder Access op Toevoegen, klik op Gebruiker of groep selecteren en zoek Microsoft.EventHubsvervolgens naar .

    Schermopname van de access-pagina met de optie Toevoegen, de optie Gebruiker of groep selecteren en de optie Microsoft Eventhubs gemarkeerd.

    Klik op Selecteren.

    c. Klik onder Machtigingen toewijzen op Machtigingen selecteren. Stel Machtigingen in op Uitvoeren. Stel Toevoegen aan inDeze map en alle onderliggende items. Stel Toevoegen als in op Een vermelding van een toegangsmachtiging en een standaardmachtigingsvermelding.

    Belangrijk

    Bij het maken van een nieuwe maphiërarchie voor het vastleggen van gegevens die Azure Event Hubs ontvangen, is dit een eenvoudige manier om toegang tot de doelmap te garanderen. Het toevoegen van machtigingen aan alle onderliggende items van een map op het hoogste niveau met veel onderliggende bestanden en mappen kan echter lang duren. Als uw hoofdmap een groot aantal bestanden en mappen bevat, is het mogelijk sneller om machtigingen voor uitvoeren afzonderlijk Microsoft.EventHubs toe te voegen aan elke map in het pad naar de uiteindelijke doelmap.

    Schermopname van de sectie Machtigingen toewijzen met de optie Machtigingen selecteren gemarkeerd. De sectie Machtigingen selecteren staat ernaast met de optie Uitvoeren, Toevoegen aan en Toevoegen als gemarkeerd.

    Klik op OK.

  4. Wijs machtigingen toe voor de map onder het Data Lake Storage Gen1-account waarin u gegevens wilt vastleggen.

    a. Klik op Data Explorer, selecteer de map in het Data Lake Storage Gen1-account en klik vervolgens op Access.

    Schermopname van Data Explorer met een map in het account en de optie Access gemarkeerd.

    b. Klik onder Access op Toevoegen, klik op Gebruiker of groep selecteren en zoek Microsoft.EventHubsvervolgens naar .

    Schermopname van de Data Explorer Access-pagina met de optie Toevoegen, de optie Gebruiker of groep selecteren en de optie Microsoft Eventhubs gemarkeerd.

    Klik op Selecteren.

    c. Klik onder Machtigingen toewijzen op Machtigingen selecteren. Stel Machtigingen in op Lezen, Schrijven en Uitvoeren. Stel Toevoegen aan inDeze map en alle onderliggende items. Stel ten slotte Toevoegen als in op Een vermelding van een toegangsmachtiging en een standaardmachtigingsvermelding.

    Schermopname van de sectie Machtigingen toewijzen met de optie Machtigingen selecteren gemarkeerd. De sectie Machtigingen selecteren bevindt zich ernaast met de opties Lezen, Schrijven en Uitvoeren, de optie Toevoegen aan en de optie Toevoegen als gemarkeerd.

    Klik op OK.

Event Hubs configureren om gegevens vast te leggen voor Data Lake Storage Gen1

In deze sectie maakt u een Event Hub binnen een Event Hubs-naamruimte. U configureert de Event Hub ook om gegevens vast te leggen in een Azure Data Lake Storage Gen1-account. In deze sectie wordt ervan uitgegaan dat u al een Event Hubs-naamruimte hebt gemaakt.

  1. Klik in het deelvenster Overzicht van de Event Hubs-naamruimte op + Event Hub.

    Schermopname van het deelvenster Overzicht met de optie Event Hub gemarkeerd.

  2. Geef de volgende waarden op om Event Hubs te configureren om gegevens vast te leggen voor Data Lake Storage Gen1.

    Schermopname van het dialoogvenster Event Hub maken met het tekstvak Naam, de optie Vastleggen, de optie Capture Provider, de optie Data Lake Store selecteren en de optie Data Lake Path gemarkeerd.

    a. Geef een naam op voor de Event Hub.

    b. Voor deze zelfstudie stelt u Het aantal partities en het bewaren van berichten in op de standaardwaarden.

    c. Stel Vastleggen in op Aan. Stel het tijdvenster in (hoe vaak moet worden vastgelegd) en het venster Grootte (gegevensgrootte om vast te leggen).

    d. Bij Capture Provider selecteert u Azure Data Lake Store en selecteert u vervolgens het Data Lake Storage Gen1-account dat u eerder hebt gemaakt. Voer bij Data Lake Path de naam in van de map die u hebt gemaakt in het Data Lake Storage Gen1-account. U hoeft alleen het relatieve pad naar de map op te geven.

    e. Laat de indelingen voor de bestandsnaam van voorbeeldopname op de standaardwaarde staan. Deze optie bepaalt de mapstructuur die wordt gemaakt onder de map Capture.

    f. Klik op Create.

De installatie testen

U kunt de oplossing nu testen door gegevens naar de Azure Event Hub te verzenden. Volg de instructies in Gebeurtenissen verzenden naar Azure Event Hubs. Zodra u begint met het verzenden van de gegevens, worden de gegevens weergegeven in Data Lake Storage Gen1 met behulp van de mappenstructuur die u hebt opgegeven. U ziet bijvoorbeeld een mapstructuur, zoals wordt weergegeven in de volgende schermopname, in uw Data Lake Storage Gen1-account.

Voorbeeld van EventHub-gegevens in Data Lake Storage Gen1

Notitie

Zelfs als er geen berichten binnenkomen in Event Hubs, schrijft Event Hubs lege bestanden met alleen de headers naar het Data Lake Storage Gen1-account. De bestanden worden geschreven met hetzelfde tijdsinterval dat u hebt opgegeven tijdens het maken van de Event Hubs.

Gegevens analyseren in Data Lake Storage Gen1

Zodra de gegevens in Data Lake Storage Gen1 zijn, kunt u analytische taken uitvoeren om de gegevens te verwerken en te verwerken. Zie USQL Avro-voorbeeld over hoe u dit doet met behulp van Azure Data Lake Analytics.

Zie ook