Streaminggegevensstromen (preview)

Organisaties willen werken met gegevens zoals deze binnenkomen, niet dagen of weken later. De visie van Power BI is eenvoudig: het onderscheid tussen batch, realtime en streaming moet verdwijnen. Gebruikers moeten met alle gegevens kunnen werken zodra deze beschikbaar zijn.

Belangrijk

Streaminggegevensstromen zijn buiten gebruik gesteld en zijn niet meer beschikbaar. Azure Stream Analytics heeft de functionaliteit van streaminggegevensstromen samengevoegd. Zie de aankondiging van buitengebruikstelling voor meer informatie over het buiten gebruik stellen van streaminggegevensstromen.

Analisten hebben meestal technische hulp nodig bij het verwerken van streaminggegevensbronnen, gegevensvoorbereiding, complexe op tijd gebaseerde bewerkingen en realtime gegevensvisualisatie. IT-afdelingen zijn vaak afhankelijk van op maat gebouwde systemen en een combinatie van technologieën van verschillende leveranciers om tijdige analyses uit te voeren op de gegevens. Zonder deze complexiteit kunnen ze beslissers in bijna realtime geen informatie geven.

Met streaminggegevensstromen kunnen auteurs rechtstreeks in de Power BI-service verbinding maken met rapporten, opnemen, combineren, modelleren en bouwen op basis van streaming in bijna realtime gegevens. De service maakt slepen-en-neerzetten, geen code-ervaringen mogelijk.

U kunt streaminggegevens combineren en vergelijken met batchgegevens als dat nodig is via een gebruikersinterface (UI) die een diagramweergave bevat voor eenvoudige gegevens-mashup. Het uiteindelijke item dat wordt geproduceerd, is een gegevensstroom die in realtime kan worden gebruikt om zeer interactieve, bijna realtime rapportage te maken. Alle mogelijkheden voor gegevensvisualisatie in Power BI werken met streaminggegevens, net zoals bij batchgegevens.

Gebruikers kunnen bewerkingen voor gegevensvoorbereiding uitvoeren, zoals joins en filters. Ze kunnen ook tijdvensteraggregaties uitvoeren (zoals tumbling, hopping en sessievensters) voor groepsbewerkingen.

Met streaminggegevensstromen in Power BI kunnen organisaties het volgende doen:

• Neem betrouwbare beslissingen in bijna realtime. Organisaties kunnen flexibeler zijn en zinvolle acties ondernemen op basis van de meest recente inzichten.
• Democratiseer streaminggegevens. Organisaties kunnen gegevens toegankelijker en eenvoudiger interpreteren met een oplossing zonder code, en deze toegankelijkheid vermindert IT-resources.
• Versnel inzicht door gebruik te maken van een end-to-end oplossing voor streaminganalyse met geïntegreerde gegevensopslag en business intelligence.

Streaminggegevensstromen ondersteunen DirectQuery en het automatisch vernieuwen/wijzigen van pagina's. Met deze ondersteuning kunnen gebruikers rapporten maken die bijna in realtime worden bijgewerkt, tot elke seconde, met behulp van elke visual die beschikbaar is in Power BI.

Vereisten

Voordat u uw eerste streaminggegevensstroom maakt, moet u ervoor zorgen dat u aan alle volgende vereisten voldoet:

• Als u een streaminggegevensstroom wilt maken en uitvoeren, hebt u een werkruimte nodig die deel uitmaakt van een Premium-capaciteit of PPU-licentie (Premium Per User).

  Belangrijk

  Als u een PPU-licentie gebruikt en andere gebruikers rapporten willen gebruiken die zijn gemaakt met streaminggegevensstromen die in realtime worden bijgewerkt, hebben ze ook een PPU-licentie nodig. Ze kunnen vervolgens de rapporten gebruiken met dezelfde vernieuwingsfrequentie die u hebt ingesteld, als deze vernieuwing sneller is dan elke 30 minuten.

• Schakel gegevensstromen in voor uw tenant. Zie Gegevensstromen inschakelen in Power BI Premium voor meer informatie.

• Om ervoor te zorgen dat streaminggegevensstromen werken in uw Premium-capaciteit, moet de verbeterde berekeningsengine zijn ingeschakeld. De engine is standaard ingeschakeld, maar Power BI-capaciteitsbeheerders kunnen deze uitschakelen. Zo ja, neem dan contact op met uw beheerder om deze in te schakelen.

  De verbeterde berekeningsengine is alleen beschikbaar in Premium P of Embedded A3 en grotere capaciteiten. Als u streaminggegevensstromen wilt gebruiken, hebt u PPU, een Premium P-capaciteit van elke grootte of een Embedded A3 of een grotere capaciteit nodig. Zie Capaciteit en SKU's in ingesloten analyses van Power BI voor meer informatie over Premium-SKU's en hun specificaties.

• Als u rapporten wilt maken die in realtime worden bijgewerkt, moet u ervoor zorgen dat uw beheerder (capaciteit of Power BI voor PPU) automatische paginavernieuwing heeft ingeschakeld. Zorg er ook voor dat de beheerder een minimaal vernieuwingsinterval heeft toegestaan dat aan uw behoeften voldoet. Zie Pagina automatisch vernieuwen in Power BI voor meer informatie.

Een streaminggegevensstroom maken

Een streaminggegevensstroom, zoals de relatieve gegevensstroom, is een verzameling entiteiten (tabellen) die zijn gemaakt en beheerd in werkruimten in de Power BI-service. Een tabel is een set velden die worden gebruikt voor het opslaan van gegevens, net zoals een tabel in een database.

U kunt tabellen in uw streaminggegevensstroom rechtstreeks vanuit de werkruimte waarin uw gegevensstroom is gemaakt, toevoegen en bewerken. Het belangrijkste verschil met normale gegevensstromen is dat u zich geen zorgen hoeft te maken over vernieuwingen of frequentie. Vanwege de aard van streaminggegevens komt er een continue stroom binnen. De vernieuwing is constant of oneindig, tenzij u het stopt.

Notitie

U kunt slechts één type gegevensstroom per werkruimte hebben. Als u al een normale gegevensstroom in uw Premium-werkruimte hebt, kunt u geen streaminggegevensstroom maken (en omgekeerd).

Een streaminggegevensstroom maken:

1. Open de Power BI-service in een browser en selecteer vervolgens een werkruimte met Premium-functionaliteit. (Streaminggegevensstromen, zoals normale gegevensstromen, zijn niet beschikbaar in Mijn werkruimte.)

2. Selecteer het vervolgkeuzemenu Nieuw en kies vervolgens Streaminggegevensstroom.

   

3. In het zijvenster dat wordt geopend, moet u uw streaminggegevensstroom een naam geven. Voer een naam in het vak Naam (1) in en selecteer vervolgens Maken (2).

   

   De lege diagramweergave voor streaminggegevensstromen wordt weergegeven.

In de volgende schermopname ziet u een voltooide gegevensstroom. Hierin worden alle secties gemarkeerd die voor u beschikbaar zijn voor het ontwerpen in de gebruikersinterface van de streaminggegevensstroom.

1. Lint: op het lint volgen secties de volgorde van een 'klassiek' analyseproces: invoer (ook wel gegevensbronnen genoemd), transformaties (streaming ETL-bewerkingen), uitvoer en een knop om uw voortgang op te slaan.

2. Diagramweergave: Deze weergave is een grafische weergave van uw gegevensstroom, van invoer tot bewerkingen tot uitvoer.

3. Zijvenster: Afhankelijk van welk onderdeel u selecteert in de diagramweergave, hebt u instellingen om elke invoer, transformatie of uitvoer te wijzigen.

4. Tabbladen voor gegevensvoorbeelden, ontwerpfouten en runtimefouten: voor elke kaart die wordt weergegeven, ziet u in het gegevensvoorbeeld de resultaten voor die stap (live voor invoer en op aanvraag voor transformaties en uitvoer).

   In deze sectie vindt u ook een overzicht van eventuele ontwerpfouten of waarschuwingen die u mogelijk in uw gegevensstromen hebt. Als u elke fout of waarschuwing selecteert, wordt die transformatie geselecteerd. Bovendien hebt u toegang tot runtimefouten nadat de gegevensstroom wordt uitgevoerd, zoals verwijderde berichten.

   U kunt deze sectie met streaminggegevensstromen altijd minimaliseren door de pijl in de rechterbovenhoek te selecteren.

Een streaminggegevensstroom is gebaseerd op drie hoofdonderdelen: streaming-invoer, transformaties en uitvoer. U kunt zoveel onderdelen hebben als u wilt, inclusief meerdere invoer, parallelle vertakkingen met meerdere transformaties en meerdere uitvoer.

Een streaming-invoer toevoegen

Als u een streaming-invoer wilt toevoegen, selecteert u het pictogram op het lint en geeft u de informatie op die nodig is in het zijvenster om deze in te stellen. Vanaf juli 2021 ondersteunt de preview van streaminggegevensstromen Azure Event Hubs en Azure IoT Hub als invoer.

De Azure Event Hubs- en Azure IoT Hub-services zijn gebaseerd op een algemene architectuur om de snelle en schaalbare opname en het verbruik van gebeurtenissen te vergemakkelijken. IoT Hub is met name aangepast als een centrale berichtenhub voor communicatie in beide richtingen tussen een IoT-toepassing en de gekoppelde apparaten.

Azure Event Hubs

Azure Event Hubs is een streamingplatform en service voor het opnemen van big data. Het kan miljoenen gebeurtenissen per seconde ontvangen en verwerken. Gegevens die naar een Event Hub worden verzonden, kunnen worden getransformeerd en opgeslagen met behulp van elke realtime analyseprovider, of u kunt batchverwerkings- of opslagadapters gebruiken.

Als u een Event Hub wilt configureren als invoer voor streaminggegevensstromen, selecteert u het pictogram van Event Hub . Er wordt een kaart weergegeven in de diagramweergave, inclusief een zijvenster voor de configuratie.

U kunt de Event Hubs-verbindingsreeks plakken. Streaminggegevensstromen vullen alle benodigde informatie in, inclusief de optionele consumentengroep (die standaard is $Default). Als u alle velden handmatig wilt invoeren, kunt u de wisselknop voor handmatig invoeren inschakelen om deze weer te geven. Zie Een Event Hubs-verbindingsreeks ophalen voor meer informatie.

Nadat u uw Event Hubs-referenties hebt ingesteld en Verbinding maken hebt geselecteerd, kunt u handmatig velden toevoegen met behulp van + Veld toevoegen als u de veldnamen kent. U kunt velden en gegevenstypen ook automatisch detecteren op basis van een voorbeeld van de binnenkomende berichten, en autodetectievelden selecteren. Als u het tandwielpictogram selecteert, kunt u de referenties zo nodig bewerken.

Wanneer streaminggegevensstromen de velden detecteren, kunt u deze in de lijst zien. Er is ook een livevoorbeeld van de binnenkomende berichten in de tabel Gegevensvoorbeeld onder de diagramweergave.

U kunt altijd de veldnamen bewerken of het gegevenstype verwijderen of wijzigen door naast elk veld meer opties (...) te selecteren. U kunt ook geneste velden uit de binnenkomende berichten uitvouwen, selecteren en bewerken, zoals wordt weergegeven in de volgende afbeelding.

Azure IoT Hub

IoT Hub is een beheerde service die wordt gehost in de cloud. Het fungeert als een centrale berichtenhub voor communicatie in beide richtingen tussen een IoT-toepassing en de bijbehorende apparaten. U kunt miljoenen apparaten en hun back-endoplossingen betrouwbaar en veilig verbinden. Bijna elk apparaat kan worden verbonden met een IoT-hub.

IoT Hub-configuratie is vergelijkbaar met de Configuratie van Event Hubs vanwege hun algemene architectuur. Er zijn echter enkele verschillen, waaronder waar u de Event Hubs-compatibele verbindingsreeks voor het ingebouwde eindpunt kunt vinden. Zie Apparaat-naar-cloud-berichten lezen van het ingebouwde eindpunt voor meer informatie.

Nadat u de verbindingsreeks voor het ingebouwde eindpunt hebt geplakt, is alle functionaliteit voor het selecteren, toevoegen, automatisch detecteren en bewerken van velden die afkomstig zijn van IoT Hub hetzelfde als in Event Hubs. U kunt de referenties ook bewerken door het tandwielpictogram te selecteren.

Tip

Als u toegang hebt tot Event Hubs of IoT Hub in de Azure-portal van uw organisatie en u deze wilt gebruiken als invoer voor uw streaminggegevensstroom, vindt u de verbindingsreeks s op de volgende locaties:

Voor Event Hubs:

1. Selecteer In de sectie Analyse alle Services>Event Hubs.
2. Selecteer Event Hubs-naamruimteentiteiten>/Event Hubs en selecteer vervolgens de naam van de Event Hub.
3. Selecteer een beleid in de lijst Beleid voor gedeelde toegang .
4. Selecteer Kopiëren naar klembord naast het veld Verbinding maken ion-primaire sleutel.

Voor IoT Hub:

1. Selecteer In de sectie Internet of Things alle Services>IoT Hubs.
2. Selecteer de IoT-hub waarmee u verbinding wilt maken en selecteer vervolgens ingebouwde eindpunten.
3. Selecteer Kopiëren naar klembord naast het eindpunt dat compatibel is met Event Hubs.

Wanneer u streamgegevens uit Event Hubs of IoT Hub gebruikt, hebt u toegang tot de volgende velden voor metagegevenstijd in uw streaminggegevensstroom:

• EventProcessedUtcTime: de datum en tijd waarop de gebeurtenis is verwerkt.
• EventEnqueuedUtcTime: de datum en tijd waarop de gebeurtenis is ontvangen.

Geen van deze velden wordt weergegeven in het invoervoorbeeld. U moet ze handmatig toevoegen.

Blob-opslag

Azure Blob Storage is Microsoft's oplossing voor de opslag van objecten in de cloud. Blob Storage is geoptimaliseerd voor het opslaan van enorme hoeveelheden niet-structureerde gegevens. Ongestructureerde gegevens zijn gegevens die niet voldoen aan een bepaald gegevensmodel of bepaalde definitie, zoals tekst of binaire gegevens.

U kunt Azure Blobs gebruiken als streaming- of referentie-invoer. Streaming-blobs worden elke seconde gecontroleerd op updates. In tegenstelling tot een streaming-blob wordt een referentie-blob alleen aan het begin van de vernieuwing geladen. Het zijn statische gegevens die niet worden verwacht te veranderen en de aanbevolen limiet voor statische gegevens is 50 MB of minder.

Power BI verwacht dat referentie-blobs naast streamingbronnen worden gebruikt, bijvoorbeeld via een JOIN. Daarom moet een streaminggegevensstroom met een referentie-blob ook een streamingbron hebben.

De configuratie voor Azure Blobs verschilt enigszins van die van een Azure Event Hubs-knooppunt. Zie Accounttoegangssleutels weergeven om uw Azure Blob-verbindingsreeks te vinden.

Nadat u de Blob-verbindingsreeks hebt ingevoerd, moet u de naam van uw container opgeven. U moet ook het padpatroon in uw map invoeren om toegang te krijgen tot de bestanden die u wilt instellen als de bron voor uw gegevensstroom.

Voor streaming-blobs is het padpatroon van de map naar verwachting een dynamische waarde. De datum moet deel uitmaken van het bestandspad voor de blob, waarnaar wordt verwezen als {date}. Bovendien wordt een sterretje (*) in het padpatroon, zoals {date}/{time}/*.json, niet ondersteund.

Als u bijvoorbeeld een blob hebt met de naam ExampleContainer waarin u geneste .json-bestanden opslaat, waarbij het eerste niveau de aanmaakdatum is en het tweede niveau het uur van het maken is (jjjj-mm-dd/uu), is uw containerinvoer 'ExampleContainer'. Het padpatroon map is {date}/{time}, waar u het datum- en tijdpatroon kunt wijzigen.

Nadat uw blob is verbonden met het eindpunt, is alle functionaliteit voor het selecteren, toevoegen, automatisch detecteren en bewerken van velden die afkomstig zijn van Azure Blob hetzelfde als in Event Hubs. U kunt de referenties ook bewerken door het tandwielpictogram te selecteren.

Bij het werken met realtimegegevens worden gegevens vaak verkort en worden id's gebruikt om het object weer te geven. Een mogelijke use case voor blobs kan ook zijn als referentiegegevens voor uw streamingbronnen. Met referentiegegevens kunt u statische gegevens toevoegen aan streaminggegevens om uw streams te verrijken voor analyse. Een snel voorbeeld van wanneer deze functie nuttig zou zijn, zou zijn als u sensoren in verschillende warenhuizen installeert om te meten hoeveel mensen op een bepaald moment de winkel binnenkomen. Normaal gesproken moet de sensor-id worden gekoppeld aan een statische tabel om aan te geven op welk afdelingsarchief en op welke locatie de sensor zich bevindt. Met referentiegegevens is het nu mogelijk om deze gegevens te koppelen tijdens de opnamefase, zodat u gemakkelijk kunt zien welke opslag de hoogste uitvoer van gebruikers heeft.

Notitie

Een streaminggegevensstroomtaak haalt elke seconde gegevens op uit Azure Blob Storage of ADLS Gen2 als het blobbestand beschikbaar is. Als het blobbestand niet beschikbaar is, is er een exponentieel uitstel met een maximale tijdsvertraging van 90 seconden.

Data types

De beschikbare gegevenstypen voor het streamen van gegevensstromen zijn onder andere:

• Datum/tijd: datum- en tijdveld in ISO-indeling
• Float: Decimaal getal
• Int: Geheel getal
• Record: Genest object met meerdere records
• Tekenreeks: Tekst

Belangrijk

De gegevenstypen die zijn geselecteerd voor een streaming-invoer, hebben belangrijke gevolgen downstream voor uw streaminggegevensstroom. Selecteer het gegevenstype zo vroeg mogelijk in uw gegevensstroom om te voorkomen dat u het later moet stoppen voor bewerkingen.

Een streaminggegevenstransformatie toevoegen

Streaminggegevenstransformaties verschillen inherent van batchgegevenstransformaties. Bijna alle streaminggegevens hebben een tijdonderdeel dat van invloed is op alle betrokken gegevensvoorbereidingstaken.

Als u een streaminggegevenstransformatie wilt toevoegen aan uw gegevensstroom, selecteert u het transformatiepictogram op het lint voor die transformatie. De respectieve kaart wordt weergegeven in de diagramweergave. Nadat u deze hebt geselecteerd, ziet u het zijvenster voor die transformatie om deze te configureren.

Vanaf juli 2021 ondersteunen streaminggegevensstromen de volgende streamingtransformaties.

Filteren

Gebruik de filtertransformatie om gebeurtenissen te filteren op basis van de waarde van een veld in de invoer. Afhankelijk van het gegevenstype (getal of tekst) behoudt de transformatie de waarden die overeenkomen met de geselecteerde voorwaarde.

Notitie

In elke kaart ziet u informatie over wat er nog meer nodig is om de transformatie gereed te maken. Wanneer u bijvoorbeeld een nieuwe kaart toevoegt, ziet u het bericht 'Instellen vereist'. Als u een knooppuntconnector mist, ziet u het bericht 'Fout' of 'Waarschuwing'.

Velden beheren

Met de transformatie Velden beheren kunt u velden toevoegen, verwijderen of de naam ervan wijzigen die afkomstig zijn van een invoer of een andere transformatie. Met de instellingen in het zijvenster kunt u een nieuwe toevoegen door veld toevoegen te selecteren of alle velden tegelijk toe te voegen.

Tip

Nadat u een kaart hebt geconfigureerd, krijgt u in de diagramweergave een glimp van de instellingen in de kaart zelf. In het gebied Velden beheren van de voorgaande afbeelding ziet u bijvoorbeeld de eerste drie velden die worden beheerd en de nieuwe namen die eraan zijn toegewezen. Elke kaart heeft informatie die relevant is voor deze kaart.

Samenvoegen

U kunt de aggregatietransformatie gebruiken om een aggregatie (Som, Minimum, Maximum of Gemiddelde) te berekenen telkens wanneer een nieuwe gebeurtenis plaatsvindt gedurende een bepaalde periode. Met deze bewerking kunt u de aggregatie ook filteren of segmenteren op basis van andere dimensies in uw gegevens. U kunt een of meer aggregaties in dezelfde transformatie hebben.

Als u een aggregatie wilt toevoegen, selecteert u het transformatiepictogram. Verbind vervolgens een invoer, selecteer de aggregatie, voeg een filter- of segmentdimensies toe en kies de periode waarop u de aggregatie wilt berekenen. In dit voorbeeld wordt de som van de betaalde waarde berekend op basis van de staat van waaruit het voertuig afkomstig is in de afgelopen 10 seconden.

Als u een andere aggregatie wilt toevoegen aan dezelfde transformatie, selecteert u de functie Aggregatie toevoegen. Houd er rekening mee dat het filter of segment van toepassing is op alle aggregaties in de transformatie.

Deelnemen

Gebruik de jointransformatie om gebeurtenissen van twee invoer te combineren op basis van de veldparen die u selecteert. Als u geen veldpaar selecteert, is de join standaard gebaseerd op tijd. De standaardinstelling is wat deze transformatie anders maakt dan een batch.

Net als bij gewone joins hebt u verschillende opties voor uw joinlogica:

• Inner join: Neem alleen records op uit beide tabellen waarin het paar overeenkomt. In dit voorbeeld komt het nummerplaat overeen met beide invoerwaarden.
• Left outer join: neem alle records uit de linkertabel (eerste) op en alleen de records uit de tweede die overeenkomen met het paar velden. Als er geen overeenkomst is, worden de velden uit de tweede invoer leeg ingesteld.

Als u het type join wilt selecteren, selecteert u het pictogram voor het gewenste type in het zijvenster.

Selecteer ten slotte over welke periode de join moet worden berekend. In dit voorbeeld kijkt de join naar de laatste 10 seconden. Houd er rekening mee dat hoe langer de periode is, hoe minder vaak de uitvoer is en hoe meer verwerkingsresources u voor de transformatie gebruikt.

Standaard worden alle velden uit beide tabellen opgenomen. Voorvoegsels links (eerste knooppunt) en rechts (tweede knooppunt) in de uitvoer helpen u de bron te onderscheiden.

Groeperen op

Gebruik de transformatie Groeperen op om aggregaties te berekenen voor alle gebeurtenissen binnen een bepaald tijdvenster. U kunt groeperen op de waarden in een of meer velden. Het is vergelijkbaar met de aggregatietransformatie , maar biedt meer opties voor aggregaties. Het bevat ook complexere opties voor tijdvensters. U kunt ook meer dan één aggregatie per transformatie toevoegen.

De aggregaties die beschikbaar zijn in deze transformatie zijn: Gemiddelde, Aantal, Maximum, Minimum, Percentiel (doorlopend en discreet), Standaarddeviatie, Som en Variantie.

Ga als volgt te werk om deze transformatie te configureren:

1. Selecteer de gewenste aggregatie.
2. Kies het veld waarop u wilt aggregeren.
3. Selecteer een optioneel group-by-veld als u de cumulatieve berekening wilt ophalen voor een andere dimensie of categorie (bijvoorbeeld State).
4. Kies uw functie voor tijdvensters.

Als u een andere aggregatie wilt toevoegen aan dezelfde transformatie, selecteert u de functie Aggregatie toevoegen. Houd er rekening mee dat het veld Groeperen op en de vensterfunctie van toepassing is op alle aggregaties in de transformatie.

Er wordt een tijdstempel opgegeven voor het einde van het tijdvenster als onderdeel van de transformatie-uitvoer ter referentie.

In een sectie verderop in dit artikel wordt elk type tijdvenster uitgelegd dat beschikbaar is voor deze transformatie.

Vakbond

Gebruik de samenvoegingstransformatie om twee of meer invoergegevens te verbinden om gebeurtenissen toe te voegen met gedeelde velden (met dezelfde naam en hetzelfde gegevenstype) in één tabel. Velden die niet overeenkomen, worden verwijderd en niet opgenomen in de uitvoer.

Tijdvensterfuncties instellen

Tijdvensters zijn een van de meest complexe concepten in streaminggegevens. Dit concept bevindt zich in de kern van streaming-analyses.

Met streaminggegevensstromen kunt u tijdvensters instellen wanneer u gegevens samenvoegt als optie voor de groeperen op transformatie.

Notitie

Houd er rekening mee dat alle uitvoerresultaten voor vensterbewerkingen aan het einde van het tijdvenster worden berekend. De uitvoer van het venster is één gebeurtenis die is gebaseerd op de statistische functie. Deze gebeurtenis heeft het tijdstempel van het einde van het venster en alle vensterfuncties worden gedefinieerd met een vaste lengte.

Er zijn vijf soorten tijdvensters waaruit u kunt kiezen: tumbling, hopping, sliding, session en snapshot.

Tumblingvenster

Tumbling is het meest voorkomende type tijdvenster. De belangrijkste kenmerken van tumblingvensters zijn dat ze herhalen, dezelfde tijdsduur hebben en elkaar niet overlappen. Een gebeurtenis kan niet tot meer dan één tumblingvenster behoren.

Wanneer u een tumblingvenster instelt in streaminggegevensstromen, moet u de duur van het venster opgeven (hetzelfde voor alle vensters in dit geval). U kunt ook een optionele offset opgeven. Standaard bevatten tumblingvensters het einde van het venster en sluiten het begin uit. U kunt deze parameter gebruiken om dit gedrag te wijzigen en de gebeurtenissen in het begin van het venster op te nemen en de gebeurtenissen aan het einde uit te sluiten.

Hopping-venster

Hopping windows 'hop' vooruit in de tijd door een vaste periode. U kunt deze zien als tumblingvensters die elkaar kunnen overlappen en vaker kunnen worden verzonden dan de venstergrootte. Gebeurtenissen kunnen deel uitmaken van meer dan één resultatenset voor een hoppingvenster. Als u een hoppingvenster hetzelfde wilt maken als een tumblingvenster, kunt u de hopgrootte opgeven die gelijk is aan de venstergrootte.

Wanneer u een hoppingvenster instelt in streaminggegevensstromen, moet u de duur van het venster opgeven (hetzelfde als bij tumblingvensters). U moet ook de hopgrootte opgeven, waarmee streaminggegevensstromen worden aangegeven hoe vaak u de aggregatie wilt berekenen voor de gedefinieerde duur.

De offsetparameter is ook beschikbaar in hoppingvensters om dezelfde reden als in tumblingvensters. Hiermee definieert u de logica voor het opnemen en uitsluiten van gebeurtenissen voor het begin en einde van het hoppingvenster.

Schuifvenster

Schuifvensters, in tegenstelling tot tumbling- of hoppingvensters, berekenen de aggregatie alleen voor tijdstippen waarop de inhoud van het venster daadwerkelijk verandert. Wanneer een gebeurtenis het venster binnenkomt of verlaat, wordt de aggregatie berekend. Elk venster heeft dus ten minste één gebeurtenis. Net als bij hoppingvensters kunnen gebeurtenissen tot meer dan één schuifvenster behoren.

De enige parameter die u nodig hebt voor een schuifvenster is de duur, omdat gebeurtenissen zelf definiëren wanneer het venster wordt gestart. Er is geen offsetlogica nodig.

Sessievenster

Sessievensters zijn het meest complexe type. Ze groeperen gebeurtenissen die op vergelijkbare tijdstippen binnenkomen, waarbij er perioden worden uitgefilterd waarin er geen gegevens zijn. Voor dit venster moet u het volgende opgeven:

• Een time-out: hoe lang moet worden gewacht als er geen nieuwe gegevens zijn.
• Een maximale duur: de langste tijd die door de aggregatie wordt berekend als gegevens binnenkomen.

U kunt desgewenst ook een partitie definiëren.

U stelt een sessievenster rechtstreeks in het zijvenster in voor de transformatie. Als u een partitie opgeeft, groepeert de aggregatie alleen gebeurtenissen voor dezelfde sleutel.

Venster Momentopname

Momentopnamevensters groeperen gebeurtenissen met hetzelfde tijdstempel. In tegenstelling tot andere vensters heeft een momentopname geen parameters nodig, omdat deze gebruikmaakt van de tijd van het systeem.

Uitvoer definiëren

Nadat u invoer en transformaties hebt ingesteld, is het tijd om een of meer uitvoer te definiëren. Vanaf juli 2021 ondersteunen streaminggegevensstromen Power BI-tabellen als het enige type uitvoer.

Deze uitvoer is een gegevensstroomtabel (dat wil gezegd een entiteit) die u kunt gebruiken om rapporten te maken in Power BI Desktop. U moet de knooppunten van de vorige stap samenvoegen met de uitvoer die u maakt om deze te laten werken. Geef daarna de tabel een naam.

Nadat u verbinding hebt gemaakt met uw gegevensstroom, is deze tabel beschikbaar om visuals te maken die in realtime voor uw rapporten worden bijgewerkt.

Voorbeeld van gegevens en fouten

Streaminggegevensstromen bieden hulpprogramma's waarmee u de prestaties van uw analysepijplijn voor streaminggegevens kunt ontwerpen, oplossen en evalueren.

Voorbeeld van livegegevens voor invoer

Wanneer u verbinding maakt met een Event Hub of IoT-hub en de kaart selecteert in de diagramweergave (het tabblad Gegevensvoorbeeld ), krijgt u een livevoorbeeld van de gegevens die binnenkomen als alle volgende waar zijn:

• Er worden gegevens gepusht.
• De invoer is correct geconfigureerd.
• Er zijn velden toegevoegd.

Zoals u in de volgende schermopname kunt zien of inzoomen op iets specifieks, kunt u het voorbeeld onderbreken (1). Of u kunt het opnieuw starten als u klaar bent.

U kunt ook de details van een specifieke record (een 'cel' in de tabel) zien door deze te selecteren en vervolgens Details weergeven of Details verbergen (2) te selecteren. In de schermopname ziet u de gedetailleerde weergave van een genest object in een record.

Statische preview voor transformaties en uitvoer

Nadat u stappen in de diagramweergave hebt toegevoegd en ingesteld, kunt u hun gedrag testen door de knop statische gegevens te selecteren.

Nadat u dit hebt gedaan, evalueren streaminggegevensstromen alle transformaties en uitvoer die correct zijn geconfigureerd. Streaminggegevensstromen geven vervolgens de resultaten weer in de voorbeeldweergave van statische gegevens, zoals wordt weergegeven in de volgende afbeelding.

U kunt het voorbeeld vernieuwen door Statische preview vernieuwen (1) te selecteren. Wanneer u dit doet, nemen streaminggegevensstromen nieuwe gegevens uit de invoer en evalueren ze alle transformaties en uitvoer opnieuw met eventuele updates die u mogelijk hebt uitgevoerd. De optie Details weergeven of verbergen is ook beschikbaar (2).

Ontwerpfouten

Als u ontwerpfouten of waarschuwingen hebt, worden deze weergegeven op het tabblad Ontwerpfouten (1), zoals wordt weergegeven in de volgende schermopname. De lijst bevat details van de fout of waarschuwing, het type kaart (invoer, transformatie of uitvoer), het foutniveau en een beschrijving van de fout of waarschuwing (2). Wanneer u een van de fouten of waarschuwingen selecteert, wordt de betreffende kaart geselecteerd en wordt het deelvenster aan de configuratiezijde geopend om de benodigde wijzigingen aan te brengen.

Runtimefouten

Het laatst beschikbare tabblad in de preview is Runtime-fouten (1), zoals wordt weergegeven in de volgende schermopname. Dit tabblad bevat eventuele fouten tijdens het opnemen en analyseren van de streaminggegevensstroom nadat u deze hebt gestart. U krijgt bijvoorbeeld een runtimefout als er een bericht is beschadigd en de gegevensstroom kan deze niet opnemen en de gedefinieerde transformaties uitvoeren.

Omdat gegevensstromen gedurende een lange periode kunnen worden uitgevoerd, biedt dit tabblad de mogelijkheid om te filteren op tijdsduur en om de lijst met fouten te downloaden en deze indien nodig te vernieuwen (2).

Instellingen voor streaminggegevensstromen wijzigen

Net als bij reguliere gegevensstromen kunnen instellingen voor streaminggegevensstromen worden gewijzigd, afhankelijk van de behoeften van eigenaren en auteurs. De volgende instellingen zijn uniek voor streaminggegevensstromen. Voor de rest van de instellingen, vanwege de gedeelde infrastructuur tussen de twee typen gegevensstromen, kunt u ervan uitgaan dat het gebruik hetzelfde is.

• Vernieuwingsgeschiedenis: omdat streaminggegevensstromen continu worden uitgevoerd, geeft de vernieuwingsgeschiedenis alleen informatie weer over wanneer de gegevensstroom wordt gestart, wanneer deze wordt geannuleerd of wanneer deze mislukt (met details en foutcodes indien van toepassing). Deze informatie is vergelijkbaar met wat er wordt weergegeven voor reguliere gegevensstromen. U kunt deze informatie gebruiken om problemen op te lossen of power BI-ondersteuning te bieden met aangevraagde details.

• Referenties voor gegevensbron: deze instelling toont de invoer die is geconfigureerd voor de specifieke streaminggegevensstroom.

• Verbeterde instellingen voor de berekeningsengine: streaminggegevensstromen hebben de verbeterde berekeningsengine nodig om realtime-visuals te bieden, dus deze instelling is standaard ingeschakeld en kan niet worden gewijzigd.

• Bewaarduur: deze instelling is specifiek voor streaminggegevensstromen. Hier kunt u definiëren hoe lang u realtime gegevens wilt bewaren om in rapporten te visualiseren. Historische gegevens worden standaard opgeslagen in Azure Blob Storage. Deze instelling is specifiek voor de realtime kant van uw gegevens (hot storage). De minimumwaarde is 1 dag of 24 uur.

  Belangrijk

  De hoeveelheid dynamische gegevens die door deze retentieduur zijn opgeslagen, is rechtstreeks van invloed op de prestaties van uw realtime-visuals wanneer u rapporten maakt boven op deze gegevens. Hoe meer retentie u hier hebt, hoe meer uw realtime visuals in rapporten kunnen worden beïnvloed door lage prestaties. Als u historische analyses moet uitvoeren, moet u de koude opslag gebruiken die is opgegeven voor streaminggegevensstromen.

Een streaminggegevensstroom uitvoeren en bewerken

Nadat u uw streaminggegevensstroom hebt opgeslagen en geconfigureerd, is alles gereed om deze uit te voeren. Vervolgens kunt u gegevens opnemen in Power BI met de logica voor streaminganalyse die u hebt gedefinieerd.

Uw streaminggegevensstroom uitvoeren

Als u de streaminggegevensstroom wilt starten, slaat u eerst uw gegevensstroom op en gaat u naar de werkruimte waarin u deze hebt gemaakt. Beweeg de muisaanwijzer over de streaminggegevensstroom en selecteer de afspeelknop die wordt weergegeven. Een pop-upbericht geeft aan dat de streaminggegevensstroom wordt gestart.

Notitie

Het kan vijf minuten duren voordat gegevens worden opgenomen en u ziet dat er gegevens binnenkomen om rapporten en dashboards te maken in Power BI Desktop.

Uw streaminggegevensstroom bewerken

Terwijl een streaminggegevensstroom wordt uitgevoerd, kan deze niet worden bewerkt. Maar u kunt naar een streaminggegevensstroom gaan die zich in een actieve status bevindt en de analyselogica bekijken waarop de gegevensstroom is gebouwd.

Wanneer u naar een actieve streaminggegevensstroom gaat, worden alle bewerkingsopties uitgeschakeld en wordt er een bericht weergegeven: 'De gegevensstroom kan niet worden bewerkt terwijl deze wordt uitgevoerd. Stop de gegevensstroom als u wilt doorgaan. De voorbeeldweergave van gegevens is ook uitgeschakeld.

Als u de streaminggegevensstroom wilt bewerken, moet u deze stoppen. Een gestopte gegevensstroom resulteert in ontbrekende gegevens.

De enige ervaring die beschikbaar is terwijl een streaminggegevensstroom wordt uitgevoerd, is het tabblad Runtime-fouten , waar u het gedrag van uw gegevensstroom kunt controleren op verwijderde berichten en vergelijkbare situaties.

Overweeg gegevensopslag bij het bewerken van uw gegevensstroom

Wanneer u een gegevensstroom bewerkt, moet u rekening houden met andere overwegingen. Net als bij wijzigingen in een schema voor normale gegevensstromen, gaat u, als u wijzigingen aanbrengt in een uitvoertabel, gegevens kwijt die al zijn gepusht en opgeslagen in Power BI. De interface biedt duidelijke informatie over de gevolgen van deze wijzigingen in uw streaminggegevensstroom, samen met keuzes voor wijzigingen die u aanbrengt voordat u opslaat.

Deze ervaring wordt beter weergegeven met een voorbeeld. In de volgende schermopname ziet u het bericht dat u krijgt wanneer u een kolom aan één tabel toevoegt, de naam voor een tweede tabel wijzigt en een derde tabel hetzelfde laat als voorheen.

In dit voorbeeld worden de gegevens die al zijn opgeslagen in beide tabellen met schema- en naamwijzigingen verwijderd als u de wijzigingen opslaat. Voor de tabel die hetzelfde bleef, krijgt u de mogelijkheid om oude gegevens te verwijderen en helemaal opnieuw te beginnen, of deze op te slaan voor latere analyse, samen met nieuwe gegevens die binnenkomen.

Houd rekening met deze nuances bij het bewerken van uw streaminggegevensstroom, met name als u historische gegevens later nodig hebt voor verdere analyse.

Een streaminggegevensstroom gebruiken

Nadat uw streaminggegevensstroom wordt uitgevoerd, kunt u inhoud gaan maken boven op uw streaminggegevens. Er zijn geen structurele wijzigingen in vergelijking met wat u moet doen om rapporten te maken die in realtime worden bijgewerkt. Er zijn enkele nuances en updates waarmee u rekening moet houden, zodat u kunt profiteren van dit nieuwe type gegevensvoorbereiding voor streaminggegevens.

Gegevensopslag instellen

Zoals we eerder hebben vermeld, slaan streaminggegevensstromen gegevens op de volgende twee locaties op. Het gebruik van deze bronnen is afhankelijk van het type analyse dat u probeert te doen.

• Dynamische opslag (realtime-analyse):naarmate gegevens in Power BI afkomstig zijn van streaminggegevensstromen, worden gegevens opgeslagen op een dynamische locatie voor toegang tot realtime visuals. Hoeveel gegevens in deze opslag worden opgeslagen, is afhankelijk van de waarde die u hebt gedefinieerd voor de retentieduur in de instellingen voor de streaminggegevensstroom. De standaardwaarde (en minimaal) is 24 uur.
• Koude opslag (historische analyse): elke periode die niet valt in de periode die u hebt gedefinieerd voor retentieduur , wordt opgeslagen in koude opslag (blobs) in Power BI, zodat u deze indien nodig kunt gebruiken.

Notitie

Er is sprake van overlapping tussen deze twee locaties voor gegevensopslag. Als u beide locaties in combinatie moet gebruiken (bijvoorbeeld een wijziging van het percentage dag tot dag), moet u uw records mogelijk ontdubbelen. Dit is afhankelijk van de time intelligence-berekeningen die u maakt en het bewaarbeleid.

Verbinding maken naar streaminggegevensstromen vanuit Power BI Desktop

Power BI Desktop biedt een connector met de naam Gegevensstromen die u kunt gebruiken. Als onderdeel van deze connector voor streaminggegevensstromen ziet u twee tabellen die overeenkomen met de eerder beschreven gegevensopslag.

Verbinding maken met uw gegevens voor streaminggegevensstromen:

1. Ga naar Gegevens ophalen, selecteer Power Platform en kies vervolgens de connector Gegevensstromen .

   

2. Meld u aan met uw Power BI-referenties.

3. Werkruimten selecteren. Zoek naar de gegevensstroom die uw streaminggegevensstroom bevat en selecteer die gegevensstroom. (In dit voorbeeld wordt de streaminggegevensstroom aangeroepen Tol.)

4. U ziet dat al uw uitvoertabellen twee keer worden weergegeven: één voor streaminggegevens (dynamisch) en één voor gearchiveerde gegevens (koud). U kunt deze onderscheiden door de labels die zijn toegevoegd na de tabelnamen en door de pictogrammen.

   

5. Verbinding maken naar de streaminggegevens. De gearchiveerde gegevenscase is hetzelfde, alleen beschikbaar in de importmodus. Selecteer de tabellen met de labels Streaming en Hot en selecteer Vervolgens Laden.

   

6. Wanneer u wordt gevraagd om een opslagmodus te kiezen, selecteert u DirectQuery als u realtime visuals wilt maken.

   

U kunt nu visuals, metingen en meer maken met behulp van de functies die beschikbaar zijn in Power BI Desktop.

Notitie

De reguliere Power BI-gegevensstroomconnector is nog steeds beschikbaar en werkt met streaminggegevensstromen met twee opmerkingen:

• Hiermee kunt u alleen verbinding maken met hot storage.
• De voorbeeldweergave van gegevens in de connector werkt niet met streaminggegevensstromen.

Automatisch vernieuwen van pagina's inschakelen voor realtime visuals

Nadat uw rapport klaar is en u alle inhoud hebt toegevoegd die u wilt delen, is de enige stap links om ervoor te zorgen dat uw visuals in realtime worden bijgewerkt. U kunt een functie gebruiken met de naam Automatische paginavernieuwing. Met deze functie kunt u visuals van een DirectQuery-bron zo vaak als één seconde vernieuwen.

Zie Pagina automatisch vernieuwen in Power BI voor meer informatie over de functie. Dit artikel bevat informatie over het gebruik ervan, het instellen ervan en hoe u contact kunt opnemen met uw beheerder als u problemen ondervindt. Hieronder vindt u de basisbeginselen voor het instellen ervan:

1. Ga naar de rapportpagina waar u de visuals in realtime wilt bijwerken.

2. Wis alle visuals op de pagina. Selecteer indien mogelijk de achtergrond van de pagina.

3. Ga naar het opmaakvenster (1) en schakel Paginavernieuwing (2) in.

   

4. Stel de gewenste frequentie in (tot elke seconde als uw beheerder dit heeft toegestaan).

   

5. Als u een realtime rapport wilt delen, publiceert u eerst terug naar de Power BI-service. Vervolgens kunt u uw gegevensstroomreferenties instellen voor het semantische model en delen.

Tip

Als uw rapport niet zo snel wordt bijgewerkt als nodig is of in realtime, raadpleegt u de documentatie voor het automatisch vernieuwen van pagina's. Volg de veelgestelde vragen en instructies voor probleemoplossing om erachter te komen waarom dit probleem zich kan voordoen.

Overwegingen en beperkingen

Algemene beperkingen

• Een Power BI Premium-abonnement (capaciteit of PPU) is vereist voor het maken en uitvoeren van streaminggegevensstromen.
• Er is slechts één type gegevensstroom per werkruimte toegestaan.
• Het koppelen van reguliere en streaminggegevensstromen is niet mogelijk.
• Capaciteiten die kleiner zijn dan A3, staan het gebruik van streaminggegevensstromen niet toe.
• Als gegevensstromen of de verbeterde berekeningsengine niet is ingeschakeld in een tenant, kunt u geen streaminggegevensstromen maken of uitvoeren.
• Werkruimten die zijn verbonden met een opslagaccount, worden niet ondersteund.
• Elke streaminggegevensstroom kan maximaal 1 MB per seconde doorvoer bieden.

Beschikbaarheid

De preview van streaminggegevensstromen is niet beschikbaar in de volgende regio's:

• India - centraal
• Duitsland - noord
• Noorwegen - oost
• Noorwegen - west
• UAE - centraal
• Zuid-Afrika - noord
• Zuid-Afrika - west
• Zwitserland - noord
• Zwitserland - west
• Brazilië - zuidoost

Licenties

Het aantal toegestane streaminggegevensstromen per tenant is afhankelijk van de licentie die wordt gebruikt:

• Gebruik voor normale capaciteiten de volgende formule om het maximum aantal streaminggegevensstromen te berekenen dat is toegestaan in een capaciteit:

  Maximum aantal streaminggegevensstromen per capaciteit = vCores in de capaciteit x 5

  P1 heeft bijvoorbeeld 8 vCores: 8 * 5 = 40 streaminggegevensstromen.

• Voor Premium per gebruiker is één streaminggegevensstroom per gebruiker toegestaan. Als een andere gebruiker een streaminggegevensstroom wil gebruiken in een PPU-werkruimte, hebben ze ook een PPU-licentie nodig.

Ontwerpen van gegevensstromen

Wanneer u streaminggegevensstromen ontwerpt, moet u rekening houden met de volgende overwegingen:

• De eigenaar van een streaminggegevensstroom kan alleen wijzigingen aanbrengen en ze kunnen alleen wijzigingen aanbrengen als de gegevensstroom niet wordt uitgevoerd.
• Streaminggegevensstromen zijn niet beschikbaar in Mijn werkruimte.

Verbinding maken vanuit Power BI Desktop

U hebt alleen toegang tot koude opslag met behulp van de gegevensstroomconnector die beschikbaar is vanaf de power BI Desktop-update van juli 2021. De vorige Power BI-gegevensstroomconnector staat alleen verbindingen toe met streaminggegevens (dynamische) opslag. De voorbeeldweergave van de gegevens van de connector werkt niet.

Gerelateerde inhoud

Dit artikel biedt een overzicht van selfservice voor het voorbereiden van streaminggegevens met behulp van streaminggegevensstromen. De volgende artikelen bevatten informatie over het testen van deze mogelijkheid en het gebruik van andere functies voor streaminggegevens in Power BI:

• Een IoT-oplossing bouwen met behulp van Stream Analytics
• Verbinding maken Raspberry Pi online simulator naar Azure IoT Hub (Node.js)
• Realtime streaming in Power BI
• Pagina automatisch vernieuwen in Power BI