gegevens uit Azure Storage Blob Stream in Azure Data Lake Storage Gen1 met behulp van Azure Stream Analytics
In dit artikel leert u hoe u Azure Data Lake Storage Gen1 kunt gebruiken als uitvoer voor een Azure Stream Analytics-taak. In dit artikel wordt een eenvoudig scenario beschreven waarbij gegevens uit een Azure Storage-blob (invoer) worden gelezen en de gegevens naar Data Lake Storage Gen1 (uitvoer) worden geschreven.
Vereisten
Voordat u met deze zelfstudie begint, moet u het volgende hebben of hebben gedaan:
Een Azure-abonnement. Zie Gratis proefversie van Azure ophalen.
Een Azure Storage-account. U gebruikt een blobcontainer van dit account om gegevens in te voeren voor een Stream Analytics-taak. Voor deze zelfstudie wordt ervan uitgegaan dat u een opslagaccount hebt met de naam storageforasa en een container in het account met de naam storageforasacontainer. Nadat u de container hebt gemaakt, uploadt u er een voorbeeldgegevensbestand naar.
Een Data Lake Storage Gen1-account. Volg de instructies in Aan de slag met Azure Data Lake Storage Gen1 met behulp van de Azure Portal. Stel dat u een Data Lake Storage Gen1-account hebt met de naam myadlsg1.
Een Stream Analytics-taak maken
U begint met het maken van een Stream Analytics-taak die een invoerbron en een uitvoerbestemming bevat. Voor deze zelfstudie is de bron een Azure-blobcontainer en is de bestemming Data Lake Storage Gen1.
Meld u aan bij Azure Portal.
Klik in het linkerdeelvenster op Stream Analytics-taken en klik vervolgens op Toevoegen.
Notitie
Zorg ervoor dat u een taak maakt in dezelfde regio als het opslagaccount, anders worden er extra kosten in rekening gebracht voor het verplaatsen van gegevens tussen regio's.
Een blob-invoer voor de taak maken
Open de pagina voor de Stream Analytics-taak, klik in het linkerdeelvenster op het tabblad Invoer en klik vervolgens op Toevoegen.
Geef op de blade Nieuwe invoer de volgende waarden op.
Voer bij Invoeralias een unieke naam in voor de taakinvoer.
Bij Brontype selecteert u Gegevensstroom.
Selecteer blobopslag bij Bron.
Selecteer bij Abonnementde optie Blob-opslag gebruiken vanuit het huidige abonnement.
Selecteer bij Opslagaccount het opslagaccount dat u hebt gemaakt als onderdeel van de vereisten.
Selecteer bij Container de container die u hebt gemaakt in het geselecteerde opslagaccount.
Selecteer CSV bij Serialisatie-indeling van gebeurtenissen.
Selecteer tabblad bij Scheidingsteken.
Selecteer UTF-8 voor Codering.
Klik op Create. De portal voegt nu de invoer toe en test de verbinding ermee.
Een Data Lake Storage Gen1 uitvoer voor de taak maken
Open de pagina voor de Stream Analytics-taak, klik op het tabblad Uitvoer, klik op Toevoegen en selecteer Data Lake Storage Gen1.
Geef op de blade Nieuwe uitvoer de volgende waarden op.
- Voer bij Uitvoeralias een unieke naam in voor de taakuitvoer. Dit is een beschrijvende naam die in query's wordt gebruikt om de query-uitvoer naar dit Data Lake Storage Gen1-account te leiden.
- U wordt gevraagd toegang tot het Data Lake Storage Gen1-account te autoriseren. Klik op Autoriseren.
Geef op de blade Nieuwe uitvoer de volgende waarden op.
Selecteer bij Accountnaam het Data Lake Storage Gen1 account dat u al hebt gemaakt waarnaar u de taakuitvoer wilt verzenden.
Voer bij Padvoorvoegselpatroon een bestandspad in dat wordt gebruikt om uw bestanden binnen het opgegeven Data Lake Storage Gen1-account te schrijven.
Als u voor Datumnotatie een datumtoken hebt gebruikt in het pad naar het voorvoegsel, kunt u de datumnotatie selecteren waarin uw bestanden zijn ingedeeld.
Als u bij Tijdnotatie een tijdtoken hebt gebruikt in het pad naar het voorvoegsel, geeft u de tijdnotatie op waarin uw bestanden zijn ingedeeld.
Selecteer CSV bij Serialisatie-indeling van gebeurtenissen.
Selecteer tabblad bij Scheidingsteken.
Selecteer UTF-8 voor Codering.
Klik op Create. De portal voegt nu de uitvoer toe en test de verbinding ermee.
De Stream Analytics-taak uitvoeren
Als u een Stream Analytics-taak wilt uitvoeren, moet u een query uitvoeren vanaf het tabblad Query. Voor deze zelfstudie kunt u de voorbeeldquery uitvoeren door de tijdelijke aanduidingen te vervangen door de taakinvoer- en uitvoeraliassen, zoals wordt weergegeven in de onderstaande schermopname.
Klik boven aan het scherm op Opslaan en klik vervolgens op het tabblad Overzicht op Start. Selecteer in het dialoogvenster Aangepaste tijd en stel de huidige datum en tijd in.
Klik op Start om de taak te starten. Het kan een paar minuten duren voordat de taak is gestart.
Als u de taak wilt activeren om de gegevens uit de blob te kiezen, kopieert u een voorbeeldgegevensbestand naar de blobcontainer. U kunt een voorbeeldgegevensbestand ophalen uit de Git-opslagplaats van Azure Data Lake. Voor deze zelfstudie gaan we het bestand kopiëren vehicle1_09142014.csv. U kunt verschillende clients, zoals Azure Storage Explorer, gebruiken om gegevens te uploaden naar een blobcontainer.
Op het tabblad Overzicht , onder Bewaking, kunt u zien hoe de gegevens zijn verwerkt.
Ten slotte kunt u controleren of de taakuitvoergegevens beschikbaar zijn in het Data Lake Storage Gen1-account.
In het deelvenster Data Explorer ziet u dat de uitvoer wordt geschreven naar een mappad dat is opgegeven in de Data Lake Storage Gen1 uitvoerinstellingen (
streamanalytics/job/output/{date}/{time}).