Streaminggegevensstromen (preview)

Organisaties willen werken met gegevens wanneer deze binnenkomt, niet dagen of weken later. De visie van Power BI is eenvoudig: het verschil tussen batch-, realtime- en streaminggegevens verdwijnt. Gebruikers moeten met alle gegevens kunnen werken zodra deze beschikbaar zijn.

Analisten hebben doorgaans technische hulp nodig bij het verwerken van streaminggegevensbronnen, gegevensvoorbereiding, complexe op tijd gebaseerde bewerkingen en realtime gegevensvisualisatie. IT-afdelingen vertrouwen vaak op op maat gebouwde systemen en een combinatie van technologieën van verschillende leveranciers om tijdig analyses op de gegevens uit te voeren. Zonder deze complexiteit kunnen ze besluitvormers niet vrijwel in realtime van informatie voorzien.

Met streaminggegevensstromen kunnen auteurs rechtstreeks in de Power BI service verbinding maken met, opnemen, mash upen, modelleren en rapporten maken op basis van streaming, bijna realtime gegevens. De service maakt slepen en neerzetten zonder code mogelijk.

Gebruikers kunnen streaminggegevens indien nodig combineren en matchen met batchgegevens. Dit wordt gedaan via een gebruikersinterface met een diagramweergave voor eenvoudige gegevens mashup. Het uiteindelijke artefact dat wordt geproduceerd, is een gegevensstroom die in realtime kan worden gebruikt om zeer interactieve, bijna realtime rapportage te maken. Alle mogelijkheden voor gegevensvisualisatie in Power BI werken met streaminggegevens, net zoals bij batchgegevens.

Gebruikers kunnen gegevensvoorbereidingsbewerkingen uitvoeren, zoals joins en filters. Ze kunnen ook tijdvensteraggregaties (zoals tumbling-, hopping- en sessievensters) uitvoeren voor group by-bewerkingen.

Streaminggegevensstromen in Power BI organisaties in staat stellen het volgende te doen:

• Maak in bijna realtime vertrouwensbeslissingen. Organisaties kunnen flexibeler zijn en zinvolle acties ondernemen op basis van de meest actuele inzichten.
• Streaminggegevens democratiseren. Organisaties kunnen gegevens toegankelijker en gemakkelijker te interpreteren maken met een oplossing zonder code en IT-resources verminderen.
• Sneller inzicht krijgen met behulp van een end-to-end oplossing voor streaminganalyse met geïntegreerde gegevensopslag en BI.

Streaminggegevensstromen bieden ondersteuning voor DirectQuery en automatische detectie van paginavernieuwing/-wijziging. Met deze ondersteuning kunnen gebruikers rapporten maken die in bijna realtime worden bijgewerkt, tot elke seconde, met behulp van elke visual die beschikbaar is in Power BI.

Vereisten

Voordat u uw eerste streaminggegevensstroom maakt, moet u aan de volgende vereisten voldoen:

• Als u een streaminggegevensstroom wilt maken en uitvoeren, hebt u een werkruimte nodig die deel uitmaakt van een Premium-capaciteit of Premium PPU-licentie (PPU).

  Belangrijk

  Als u een PPU-licentie gebruikt en u wilt dat andere gebruikers rapporten gebruiken die zijn gemaakt met streaminggegevensstromen die in realtime worden bijgewerkt, hebben ze ook een PPU-licentie nodig. Ze kunnen vervolgens de rapporten gebruiken met dezelfde vernieuwingsfrequentie die u hebt ingesteld, als die vernieuwing sneller is dan elke 30 minuten.

• Schakel gegevensstromen in voor uw tenant. Zie Enabling dataflows in Power BI Premium (Gegevensstromen inschakelen in Power BI Premium).

• Om ervoor te zorgen dat streaminggegevensstromen in uw Premium werken, moet de verbeterde berekeningsen engine worden ingeschakeld. De engine is standaard ingeschakeld, maar Power BI capaciteitsbeheerders kunnen deze uitschakelen. Als dit het geval is, neem dan contact op met uw beheerder om dit in te zetten.

  De verbeterde berekeningsen engine is alleen beschikbaar in Premium P of Embedded A3 en grotere capaciteiten. Als u streaminggegevensstromen wilt gebruiken, hebt u PPU, een Premium P-capaciteit van elke grootte of een Embedded A3- of grotere capaciteit nodig. Zie Capaciteit en SKU's in Premium ingesloten analyse voor meer informatie over de SKU Power BI en de specificaties.

• Als u rapporten wilt maken die in realtime worden bijgewerkt, moet u ervoor zorgen dat uw beheerder (capaciteit en/of Power BI voor PPU) automatische paginavernieuwing heeft ingeschakeld. Zorg er ook voor dat de beheerder een minimaal vernieuwingsinterval heeft toegestaan dat overeenkomt met uw behoeften. Zie Pagina automatisch vernieuwen in Power BI voor meer informatie.

Een streaminggegevensstroom maken

Een streaminggegevensstroom is, net als de relatieve gegevensstroom, een verzameling entiteiten (tabellen) die worden gemaakt en beheerd in werkruimten in de Power BI service. Een tabel is een set velden die worden gebruikt voor het opslaan van gegevens, net als een tabel in een database.

U kunt tabellen in uw streaminggegevensstroom toevoegen en bewerken vanuit de werkruimte waarin uw gegevensstroom is gemaakt. Het belangrijkste verschil met reguliere gegevensstromen is dat u zich geen zorgen hoeft te maken over vernieuwingen of frequentie. Vanwege de aard van het streamen van gegevens, komt er een continue stroom binnen. De vernieuwing is constant of oneindig, tenzij u deze stopt.

Een streaminggegevensstroom maken:

1. Open de Power BI service in een browser en selecteer een werkruimte Premium ingeschakeld. (Streaminggegevensstromen, zoals gewone gegevensstromen, zijn niet beschikbaar in Mijn werkruimte.)

2. Selecteer de vervolgkeuzelijst Nieuw en selecteer Streaminggegevensstroom.

   

3. In het zijdeelvenster dat wordt geopend, moet u de streaminggegevensstroom een naam geven. Voer een naam in het vak Naam (1) in en selecteer vervolgens Maken (2).

   

   De lege diagramweergave voor streaminggegevensstromen wordt weergegeven.

In de volgende schermopname ziet u een voltooide gegevensstroom. Het markeert alle secties die voor u beschikbaar zijn voor ontwerp in de gebruikersinterface voor streaminggegevensstromen.

1. Lint: op het lint volgen secties de volgorde van een 'klassiek' analyseproces: invoer (ook wel gegevensbronnen genoemd), transformaties (STREAMING ETL-bewerkingen), uitvoer en een knop om uw voortgang op te slaan.

2. Diagramweergave: dit is een grafische weergave van uw gegevensstroom, van invoer tot bewerkingen tot uitvoer.

3. Zijdeelvenster: afhankelijk van het onderdeel dat u hebt geselecteerd in de diagramweergave, hebt u instellingen voor het wijzigen van elke invoer, transformatie of uitvoer.

4. Tabbladen voor voorbeeld van gegevens, ontwerpfouten en runtimefouten: voor elke kaart die wordt weergegeven, worden de resultaten voor die stap weergegeven (live voor invoer en on-demand voor transformaties en uitvoer).

   Deze sectie bevat ook een overzicht van eventuele ontwerpfouten of waarschuwingen in uw gegevensstromen. Als u elke fout of waarschuwing selecteert, wordt die transformatie geselecteerd. Daarnaast hebt u toegang tot runtimefouten nadat de gegevensstroom wordt uitgevoerd, zoals uitgevallen berichten.

   U kunt deze sectie van streaminggegevensstromen altijd minimaliseren door de pijl in de rechterbovenhoek te selecteren.

Een streaminggegevensstroom is gebouwd op drie hoofdonderdelen: streaming-invoer, transformaties en uitvoer. U kunt zoveel onderdelen hebben als u wilt, waaronder meerdere invoer, parallelle vertakkingen met meerdere transformaties en meerdere uitvoer.

Een streaming-invoer toevoegen

Als u streaming-invoer wilt toevoegen, selecteert u het pictogram op het lint en geeft u de benodigde informatie op in het zijdeelvenster om deze in te stellen. Vanaf juli 2021 biedt de preview-versie van streaminggegevensstromen ondersteuning Azure Event Hubs en Azure IoT Hub invoer.

De Azure Event Hubs en Azure IoT Hub zijn gebouwd op een gemeenschappelijke architectuur om de snelle en schaalbare opname en het verbruik van gebeurtenissen te vergemakkelijken. IoT Hub is met name afgestemd als een centrale berichtenhub voor communicatie in beide richtingen tussen een IoT-toepassing en de gekoppelde apparaten.

Azure Event Hubs

Azure Event Hubs is een platform voor het streamen van big data en een service voor het opnemen van gebeurtenissen. Het kan miljoenen gebeurtenissen per seconde ontvangen en verwerken. Gegevens die naar een Event Hub worden verzonden, kunnen worden omgezet en opgeslagen door gebruik te maken van een provider voor realtime analytische gegevens of batchverwerking/opslagadapters.

Als u een Event Hub wilt configureren als invoer voor streaminggegevensstromen, selecteert u het pictogram Event Hub. Er wordt een kaart weergegeven in de diagramweergave, met inbegrip van een zijdeelvenster voor de configuratie.

U kunt de Event Hubs connection string. Streaminggegevensstromen vullen alle benodigde gegevens in, met inbegrip van de optionele consumentengroep (standaard $Default). Als u alle velden handmatig wilt invoeren, kunt u de schakelknop voor handmatige invoer in- of uitschakelen om ze weer te geven. Meer informatie over verbindingsreeksen Event Hubs vindt u in Een Event Hubs connection string.

Nadat u uw referenties voor Event Hubs hebt ingesteld en Verbinding maken, kunt u handmatig velden toevoegen met behulp van + Veld toevoegen als u de veldnamen kent. Als u in plaats daarvan velden en gegevenstypen automatisch wilt detecteren op basis van een voorbeeld van de binnenkomende berichten, selecteert u Autodetect-velden. Als u het tandwielpictogram selecteert, kunt u de referenties bewerken, indien nodig.

Wanneer streaminggegevensstromen de velden detecteren, ziet u deze in de lijst. U ziet ook een livevoorbeeld van de inkomende berichten in de tabel Gegevensvoorbeeld onder de diagramweergave.

U kunt de veldnamen altijd bewerken of het gegevenstype verwijderen of wijzigen door de drie puntjes (...) naast elk veld te selecteren. U kunt ook geneste velden uit de inkomende berichten uitv vouwen, selecteren en bewerken, zoals wordt weergegeven in de volgende afbeelding.

Azure IoT Hub

IoT Hub is een beheerde service die wordt gehost in de cloud. Het fungeert als een centrale berichtenhub voor communicatie in beide richtingen tussen een IoT-toepassing en de gekoppelde apparaten. U kunt miljoenen apparaten en hun back-endoplossingen betrouwbaar en veilig verbinden. Bijna elk apparaat kan worden verbonden met een IoT-hub.

IoT Hub configuratie is vergelijkbaar met Event Hubs configuratie vanwege hun algemene architectuur. Er zijn echter enkele verschillen, waaronder waar u de Event Hubs compatibele connection string voor het ingebouwde eindpunt kunt vinden. Meer informatie over het IoT Hub ingebouwde eindpunt vindt u in Apparaat-naar-cloud-berichtenlezen vanaf het ingebouwde eindpunt .

Nadat u de connection string voor het ingebouwde eindpunt hebt plakken, is alle functionaliteit voor het selecteren, toevoegen, automatisch detecteren en bewerken van velden die afkomstig zijn van IoT Hub hetzelfde als in Event Hubs. U kunt de referenties ook bewerken door het tandwielpictogram te selecteren.

Wanneer u streamgegevens van een Event Hubs of IoT Hub, hebt u toegang tot de volgende tijdvelden voor metagegevens in uw streaminggegevensstroom:

• EventProcessedUtcTime: de datum en tijd waarop de gebeurtenis is verwerkt.
• EventEnqueuedUtcTime: de datum en tijd waarop de gebeurtenis is ontvangen.

Geen van deze velden wordt weergegeven in de preview-versie van de invoer. U moet ze handmatig toevoegen.

Blob Storage

Azure Blob Storage is Microsoft's oplossing voor de opslag van objecten in de cloud. Blob Storage is geoptimaliseerd voor het opslaan van enorme hoeveelheden niet-structureerde gegevens. Ongestructureerde gegevens zijn gegevens die niet voldoen aan een bepaald gegevensmodel of bepaalde definitie, zoals tekst of binaire gegevens.

We kunnen Azure Blobs gebruiken als streaming-/referentie-invoer. Streaming-blobs worden over het algemeen elke seconde gecontroleerd op updates. In tegenstelling tot een streaming-blob wordt een referentie-blob alleen aan het begin van de vernieuwing geladen. Het zijn statische gegevens die naar verwachting niet veranderen en de aanbevolen limiet is 50 MB of minder.

Referentie-blobs worden naar verwachting naast streamingbronnen gebruikt (bijvoorbeeld Via een JOIN). Daarom moet een streaminggegevensstroom met een referentie-blob ook een streamingbron hebben.

De configuratie voor Azure Blobs verschilt enigszins van die van een Azure Event Hub-knooppunt. Als u uw Azure Blob-connection string volgt u de instructies in de sectie Accounttoegangssleutels weergeven van dit artikel Toegangssleutels voor account beheren - Azure Storage.

Zodra u de Blob connection string hebt ingevoerd, moet u ook de naam van uw container en het padpatroon in uw map invoeren om toegang te krijgen tot de bestanden die u wilt instellen als de bron voor uw gegevensstroom.

Voor streaming-blobs wordt verwacht dat het padpatroon van de map een dynamische waarde is. De datum moet deel uitmaken van het bestandspad voor de blob, waarnaar wordt verwezen als {date}. Daarnaast is er een sterretje () in het padpatroon , bijvoorbeeld {date}/{time}/.json wordt niet ondersteund.

Als u bijvoorbeeld een blob hebt met de naam ExampleContainer waarin u geneste .json-bestanden opslaat, waarbij het eerste niveau de datum van het maken is en het tweede niveau het tijdstip van het maken is (bijvoorbeeld 2021-10-21/16), dan is uw containerinvoer 'ExampleContainer'. Het padpatroon van de map is '{date}/{time}' waar u het datum- en tijdpatroon kunt wijzigen.

Nadat uw blob is verbonden met het eindpunt, is alle functionaliteit voor het selecteren, toevoegen, automatisch detecteren en bewerken van velden die afkomstig zijn van Azure Blob hetzelfde als in Event Hubs. U kunt de referenties ook bewerken door het tandwielpictogram te selecteren.

Wanneer u met realtime gegevens werkt, worden gegevens vaak gecomprimeerd en worden id's gebruikt om het object weer te geven. Een mogelijke use-case voor blobs kan ook zijn als referentiegegevens voor uw streamingbronnen. Met referentiegegevens kunt u statische gegevens aan streaminggegevens deelnemen om uw stromen te verrijken voor analyse. Laten we een kort voorbeeld nemen van wanneer dit nuttig zou zijn. Imagine installeert u sensoren in verschillende afdelingen om te meten hoeveel mensen op een bepaald moment de winkel binnenkomen. Normaal gesproken moet de sensor-id worden samengevoegd met een statische tabel om aan te geven in welk warenhuis en op welke locatie de sensor zich bevindt. Nu is het met referentiegegevens mogelijk om deze gegevens samen te brengen tijdens de opnamefase, zodat u gemakkelijk kunt zien welke winkel de hoogste uitvoer van gebruikers heeft.

Gegevenstypen

De beschikbare gegevenstypen voor het streamen van gegevensstromen zijn:

• Datum/tijd: het veld Datum en tijd in ISO-indeling.
• Float: decimaal getal.
• Int: geheel getal.
• Record: Genest object met meerdere records.
• Tekenreeks: Tekst.

Een streaminggegevenstransformatie toevoegen

Streaminggegevenstransformaties verschillen inherent van batchgegevenstransformaties. Bijna alle streaminggegevens hebben een tijdonderdeel dat van invloed is op alle betrokken gegevensvoorbereidingstaken.

Als u een transformatie voor streaminggegevens aan uw gegevensstroom wilt toevoegen, selecteert u het transformatiepictogram op het lint voor die transformatie. De betreffende kaart wordt in de diagramweergave weggevallen. Nadat u deze hebt geselecteerd, ziet u het zijvenster voor die transformatie om het te configureren.

Vanaf juli 2021 ondersteunen streaminggegevensstromen de volgende streamingtransformaties.

Filter

Gebruik de Filtertransformatie om gebeurtenissen te filteren op basis van de waarde van een veld in de invoer. Afhankelijk van het gegevenstype (getal of tekst) bewaarde de transformatie de waarden die overeenkomen met de geselecteerde voorwaarde.

Velden beheren

Met de transformatie Velden beheren kunt u velden die afkomstig zijn van een invoer of een andere transformatie toevoegen, verwijderen of een andere naam geven. Met de instellingen in het zijdeelvenster kunt u een nieuwe toevoegen door Veld toevoegen of alle velden tegelijk toe te voegen.

Samenvoegen

U kunt de Aggregatietransformatie gebruiken om elke keer dat een nieuwe gebeurtenis plaatsvindt een aggregatie te berekenen (Som, Minimum, Maximum of Gemiddeld) wanneer een nieuwe gebeurtenis plaatsvindt gedurende een bepaalde periode. Met deze bewerking kunt u ook de aggregatie filteren of segmenteren op basis van andere dimensies in uw gegevens. U kunt een of meer aggregaties in dezelfde transformatie hebben.

Als u een aggregatie wilt toevoegen, selecteert u het transformatiepictogram. Verbind vervolgens een invoer, selecteer de aggregatie, voeg eventuele filter- of segmentdimensies toe en selecteer de periode gedurende welke de aggregatie wordt berekend. In dit voorbeeld berekenen we de som van de tolwaarde op de status waar het voertuig vandaan komt in de afgelopen 10 seconden.

Als u nog een aggregatie wilt toevoegen aan dezelfde transformatie, selecteert u Aggregatiefunctie toevoegen. Houd er rekening mee dat het filter of segment wordt toegepast op alle aggregaties in de transformatie.

Deelnemen

Gebruik de Join-transformatie om gebeurtenissen uit twee invoer te combineren op basis van de veldparen die u selecteert. Als u geen veldpaar selecteert, wordt de koppeling standaard gebaseerd op tijd. De standaardinstelling is wat deze transformatie anders maakt dan een batch.

Net als bij reguliere joins hebt u verschillende opties voor uw joinlogica:

• Inner join: neem alleen records op uit beide tabellen waar het paar overeenkomt. In dit voorbeeld komt het licentiebord overeen met beide invoer.
• Linker outer join: neem alle records uit de linker (eerste) tabel op en alleen de records uit de tweede tabel die overeenkomen met het paar velden. Als er geen overeenkomst is, zijn de velden uit de tweede invoer leeg.

Als u het type join wilt selecteren, selecteert u het pictogram voor het voorkeurstype in het zijdeelvenster.

Selecteer ten slotte in welke periode u wilt dat de join wordt berekend. In dit voorbeeld kijkt de join naar de afgelopen 10 seconden. Houd er rekening mee dat hoe langer de periode is, hoe minder vaak de uitvoer is en hoe meer verwerkingsresources u voor de transformatie gaat gebruiken.

Standaard worden alle velden uit beide tabellen opgenomen. Met voorvoegsels links (eerste knooppunt) en rechts (tweede knooppunt) in de uitvoer kunt u de bron onderscheiden.

Groeperen op

Gebruik de transformatie Groeperen op om aggregaties te berekenen voor alle gebeurtenissen binnen een bepaald tijdvenster. U hebt de mogelijkheid om te groepen op de waarden in een of meer velden. Het is vergelijkbaar met de Aggregatietransformatie, maar biedt meer opties voor aggregaties. Het bevat ook complexere tijdvensteropties. Net als bij Aggregatie kunt u meer dan één aggregatie per transformatie toevoegen.

De aggregaties die beschikbaar zijn in deze transformatie zijn: Average, Count, Maximum, Minimum, Percentile (continuous en discrete), Standard Deviation, Sum en Variance.

Deze transformatie configureren:

1. Selecteer de gewenste aggregatie.
2. Selecteer het veld dat u wilt samenvoegen.
3. Selecteer een optioneel group by-veld als u de aggregatieberekening wilt krijgen voor een andere dimensie of categorie (bijvoorbeeld State).
4. Selecteer uw functie voor tijdvensters.

Als u nog een aggregatie wilt toevoegen aan dezelfde transformatie, selecteert u Aggregatiefunctie toevoegen. Houd er rekening mee dat het veld Groeperen op en de vensterfunctie van toepassing zijn op alle aggregaties in de transformatie.

Er wordt een tijdstempel voor het einde van het tijdvenster opgegeven als onderdeel van de transformatie-uitvoer ter referentie.

In een sectie verder in dit artikel wordt elk type tijdvenster uitgelegd dat beschikbaar is voor deze transformatie.

Union

Gebruik de Samenvoegingstransformatie om twee of meer invoergegevens te verbinden om gebeurtenissen met gedeelde velden (met dezelfde naam en hetzelfde gegevenstype) toe te voegen aan één tabel. Velden die niet overeenkomen, worden weggevallen en niet opgenomen in de uitvoer.

Tijdvensterfuncties instellen

Tijdvensters zijn een van de meest complexe concepten voor het streamen van gegevens. Dit concept bevindt zich in de kern van streaming-analyse.

Met streaminggegevensstromen kunt u tijdvensters instellen wanneer u gegevens aggregeert als optie voor de transformatie Groeperen op.

Er zijn vijf soorten tijdvensters waaruit u kunt kiezen: tumbling, hopping, sliding, session en snapshot.

Tumblingvenster

Tumbling is het meest voorkomende type tijdvenster. De belangrijkste kenmerken van tumblingvensters zijn dat ze herhalen, dezelfde tijdsduur hebben en elkaar niet overlappen. Een gebeurtenis mag niet tot meer dan één tumblingvenster behoren.

Wanneer u een tumblingvenster in streaminggegevensstromen instelt, moet u de duur van het venster opgeven (in dit geval hetzelfde voor alle vensters). U kunt ook een optionele offset verstrekken. Tumblingvensters bevatten standaard het einde van het venster en sluiten het begin uit. U kunt deze parameter gebruiken om dit gedrag te wijzigen en de gebeurtenissen aan het begin van het venster op te nemen en de gebeurtenissen aan het einde uit te sluiten.

Hoppingvenster

Hoppingvensters 'hop' vooruit in de tijd met een vaste periode. U kunt ze zien als tumblingvensters die elkaar kunnen overlappen en vaker worden weergegeven dan de venstergrootte. Gebeurtenissen kunnen deel uitmaken van meer dan één resultatenset voor een hoppingvenster. Als u een hoppingvenster hetzelfde wilt maken als een tumblingvenster, kunt u de hopgrootte opgeven die gelijk is aan de grootte van het venster.

Wanneer u een hoppingvenster in streaminggegevensstromen instelt, moet u de duur van het venster opgeven (hetzelfde als bij tumblingvensters). U moet ook de hopgrootte verstrekken, waarmee streaminggegevensstromen worden aangegeven hoe vaak u wilt dat de aggregatie wordt berekend voor de gedefinieerde duur.

De offsetparameter is ook beschikbaar in hoppingvensters om dezelfde reden als in tumblingvensters: om de logica te definiëren voor het in- en uitsluiten van gebeurtenissen voor het begin en einde van het hoppingvenster.

Sliding window

Schuifvensters berekenen, in tegenstelling tot tumbling- of hoppingvensters, de aggregatie alleen voor tijdspunten wanneer de inhoud van het venster daadwerkelijk verandert. Wanneer een gebeurtenis het venster binnenkomt of verlaat, wordt de aggregatie berekend. Elk venster heeft dus ten minste één gebeurtenis. Net als bij hoppingvensters kunnen gebeurtenissen deel uitmaken van meer dan één sliding window.

De enige parameter die u nodig hebt voor een sliding window is de duur, omdat gebeurtenissen zelf definiëren wanneer het venster wordt gestart. Er is geen offsetlogica nodig.

Sessievenster

Sessievensters zijn het meest complexe type. Ze groeperen gebeurtenissen die op vergelijkbare tijdstippen binnenkomen en filteren perioden waarin er geen gegevens zijn. Hiervoor moet u het volgende bieden:

• Een time-out: hoe lang moet worden gewacht als er geen nieuwe gegevens zijn.
• Een maximale duur: de langste tijd dat de aggregatie wordt berekend als de gegevens blijven komen.

U kunt indien nodig ook een partitie definiëren.

U stelt een sessievenster rechtstreeks in het zijvenster in voor de transformatie. Als u een partitie op geeft, worden met de aggregatie alleen gebeurtenissen gegroepeerd voor dezelfde sleutel.

Momentopnamevenster

Met momentopnamevensters worden gebeurtenissen met hetzelfde tijdstempel gegroepen. In tegenstelling tot andere vensters zijn voor een momentopname geen parameters vereist omdat deze de tijd van het systeem gebruikt.

Uitvoer definiëren

Wanneer u klaar bent met invoer en transformaties, is het tijd om een of meer uitvoer te definiëren. Vanaf juli 2021 ondersteunen streaminggegevensstromen slechts één type uitvoer: een Power BI tabel.

Deze uitvoer is een gegevensstroomtabel (een entiteit) die u kunt gebruiken om rapporten te maken in Power BI Desktop. U moet de knooppunten van de vorige stap toevoegen aan de uitvoer die u maakt om deze te laten werken. Daarna hoeft u alleen maar de tabel een naam te geven.

Nadat u verbinding hebt gemaakt met uw gegevensstroom, is deze tabel beschikbaar voor het maken van visuals die in realtime worden bijgewerkt voor uw rapporten.

Voorbeeld van gegevens en fouten

Streaminggegevensstromen bieden hulpprogramma's waarmee u de prestaties van uw analysepijplijn kunt maken, oplossen en evalueren voor het streamen van gegevens.

Laten we beginnen met de voorbeeldgegevens.

Voorbeeld van livegegevens voor invoer

Wanneer u verbinding maakt met een Event Hub of IoT-hub en de kaart selecteert in de diagramweergave (het tabblad Gegevensvoorbeeld), krijgt u een livevoorbeeld van de gegevens die worden weergegeven als aan alle volgende gegevens wordt getyste:

• Er worden gegevens naar de push-gegevens ge pusht.
• De invoer is correct geconfigureerd.
• Velden zijn toegevoegd.

Zoals u in de volgende schermopname kunt zien of inzoomen op iets specifieks, kunt u de preview onderbreken (1). U kunt het ook opnieuw starten als u klaar bent.

U kunt ook de details van een specifieke record (een 'cel' in de tabel) bekijken door deze te selecteren en vervolgens Details weergeven/verbergen (2) te selecteren. In de schermopname ziet u de gedetailleerde weergave van een genest object in een record.

Statische preview voor transformaties en uitvoer

Nadat u stappen in de diagramweergave hebt toevoegen en ingesteld, kunt u hun gedrag testen door de knop statische gegevens te selecteren.

Nadat u dit hebt gedaan, evalueren streaminggegevensstromen alle transformaties en uitvoer die correct zijn geconfigureerd. Streaminggegevensstromen geven vervolgens de resultaten weer in de preview van statische gegevens, zoals wordt weergegeven in de volgende afbeelding.

U kunt de preview vernieuwen door Statische preview vernieuwen (1) te selecteren. Wanneer u dit doet, nemen streaminggegevensstromen nieuwe gegevens uit de invoer en evalueren ze alle transformaties en uitvoer opnieuw met eventuele updates die u mogelijk hebt uitgevoerd. De optie Details weergeven/verbergen is ook beschikbaar (2).

Ontwerpfouten

Als er ontwerpfouten of -waarschuwingen zijn, worden deze weergegeven op het tabblad Ontwerpfouten (1), zoals wordt weergegeven in de volgende schermafbeelding. De lijst bevat details van de fout of waarschuwing, het type kaart (invoer, transformatie of uitvoer), het foutniveau en een beschrijving van de fout of waarschuwing (2). Wanneer u een van de fouten of waarschuwingen selecteert, wordt de desbetreffende kaart geselecteerd en wordt het deelvenster aan de configuratiezijde geopend om de benodigde wijzigingen aan te brengen.

Runtimefouten

Het laatst beschikbare tabblad in de preview is Runtime-fouten (1), zoals wordt weergegeven in de volgende schermopname. Dit tabblad bevat eventuele fouten tijdens het opnemen en analyseren van de streaminggegevensstroom nadat u deze hebt starten. U kunt bijvoorbeeld een runtimefout krijgen als er een bericht is beschadigd en de gegevensstroom deze niet kan opnemen en de gedefinieerde transformaties niet kan uitvoeren.

Omdat gegevensstromen gedurende een lange periode kunnen worden uitgevoerd, biedt dit tabblad de mogelijkheid om te filteren op tijdsspanne en om de lijst met fouten te downloaden en indien nodig te vernieuwen (2).

Instellingen voor streaminggegevensstromen wijzigen

Net als bij gewone gegevensstromen kunnen instellingen voor streaminggegevensstromen worden gewijzigd, afhankelijk van de behoeften van eigenaren en auteurs. De volgende instellingen zijn uniek voor streaminggegevensstromen. Voor de rest van de instellingen kunt u, vanwege de gedeelde infrastructuur tussen de twee typen gegevensstromen, ervan uitgaan dat het gebruik hetzelfde is.

• Vernieuwingsgeschiedenis: omdat streaminggegevensstromen continu worden uitgevoerd, toont de vernieuwingsgeschiedenis alleen informatie over wanneer de gegevensstroom is gestart, wanneer deze is geannuleerd of wanneer deze is mislukt (met details en foutcodes indien van toepassing). Deze informatie is vergelijkbaar met wat wordt weergegeven voor reguliere gegevensstromen. U kunt deze informatie gebruiken om problemen op te lossen of om Power BI ondersteuning te bieden met de gevraagde details.

• Gegevensbronreferenties: deze instelling geeft de invoer weer die is geconfigureerd voor de specifieke streaminggegevensstroom.

• Verbeterde instellingen voor de berekeningsen engine: voor streaminggegevensstromen is de verbeterde berekeningsen engine nodig om realtime visuals te bieden. Deze instelling is daarom standaard ingeschakeld en kan niet worden gewijzigd.

• Retentieduur: deze instelling is specifiek voor streaminggegevensstromen. Hier kunt u definiëren hoe lang u realtime gegevens wilt bewaren om in rapporten te visualiseren. Historische gegevens worden standaard opgeslagen in Azure Blob Storage. Deze instelling is specifiek voor de realtime-zijde van uw gegevens (hot storage). De minimumwaarde hier is 1 dag of 24 uur.

  Belangrijk

  De hoeveelheid 'hot' gegevens die door deze bewaarperiode worden opgeslagen, is rechtstreeks van invloed op de prestaties van uw realtime visuals wanneer u rapporten op basis van deze gegevens maakt. Hoe meer retentie u hier hebt, hoe meer realtime visuals in rapporten worden beïnvloed door lage prestaties. Als u historische analyses wilt uitvoeren, raden we u aan de koude opslag te gebruiken die is opgegeven voor het streamen van gegevensstromen.

Een streaminggegevensstroom uitvoeren en bewerken

Nadat u uw streaminggegevensstroom hebt op slaan en geconfigureerd, is alles gereed om deze uit te voeren. Vervolgens kunt u beginnen met het opnemen van gegevens in Power BI met de streaming analytics-logica die u hebt gedefinieerd.

Uw streaminggegevensstroom uitvoeren

Als u de streaminggegevensstroom wilt starten, moet u eerst uw gegevensstroom opslaan en naar de werkruimte gaan waar u deze hebt gemaakt. Beweeg de muisaanwijzer over de streaminggegevensstroom en selecteer de knop Afspelen die wordt weergegeven. Een pop-upbericht geeft aan dat de streaminggegevensstroom wordt gestart.

Uw streaminggegevensstroom bewerken

Terwijl een streaminggegevensstroom wordt uitgevoerd, kan deze niet worden bewerkt. Maar u kunt naar een streaminggegevensstroom gaan die actief is en de analyselogica zien waarin de gegevensstroom is gebouwd.

Wanneer u een streaminggegevensstroom gebruikt, worden alle bewerkingsopties uitgeschakeld en wordt er een bericht weergegeven: 'De gegevensstroom kan niet worden bewerkt terwijl deze wordt uitgevoerd. Stop de gegevensstroom als u wilt doorgaan. Het voorbeeld van gegevens is ook uitgeschakeld.

Als u de streaminggegevensstroom wilt bewerken, moet u deze stoppen. Een gestopte gegevensstroom leidt tot ontbrekende gegevens.

De enige ervaring die beschikbaar is terwijl een streaminggegevensstroom wordt uitgevoerd, is het tabblad Runtime-fouten, waar u het gedrag van uw gegevensstroom kunt controleren op verwijderde berichten en vergelijkbare situaties.

Overweeg gegevensopslag bij het bewerken van uw gegevensstroom

Wanneer u een gegevensstroom bewerkt, moet u rekening houden met andere overwegingen. Net als bij eventuele wijzigingen in een schema voor reguliere gegevensstromen, verliest u gegevens die al naar een andere tabel zijn Power BI. De interface biedt duidelijke informatie over de gevolgen van een van deze wijzigingen in uw streaminggegevensstroom, samen met opties voor wijzigingen die u aan brengt voordat u op te slaan.

Deze ervaring wordt beter weergegeven met een voorbeeld. In de volgende schermopname ziet u het bericht dat u zou krijgen nadat u een kolom aan een tabel hebt toegevoegd, de naam van een tweede tabel hebt veranderd en een derde tabel hetzelfde hebt laten staan als voorheen.

In dit voorbeeld worden de gegevens die al zijn opgeslagen in beide tabellen met schema- en naamswijzigingen, verwijderd als u de wijzigingen opgeslagen. Voor de tabel die hetzelfde blijft, krijgt u de optie om alle oude gegevens te verwijderen en opnieuw te beginnen, of deze op te slaan voor latere analyse, samen met nieuwe gegevens die worden toegevoegd.

Houd rekening met deze nuances bij het bewerken van uw streaminggegevensstroom, met name als u historische gegevens later beschikbaar wilt hebben voor verdere analyse.

Een streaminggegevensstroom gebruiken

Nadat de streaminggegevensstroom wordt uitgevoerd, kunt u beginnen met het maken van inhoud boven op uw streaminggegevens. Er zijn geen structurele wijzigingen ten opzichte van wat u momenteel moet doen om rapporten te maken die in realtime worden bijgewerkt. Er zijn echter enkele nuances en updates om rekening mee te houden, zodat u kunt profiteren van dit nieuwe type gegevensvoorbereiding voor het streamen van gegevens.

Gegevensopslag instellen

Zoals eerder vermeld, slaan streaminggegevensstromen gegevens op de volgende twee locaties op. Het gebruik van deze bronnen is afhankelijk van het type analyse dat u probeert te doen.

• Hot storage (realtime analyse): Wanneer gegevens afkomstig zijn van streaminggegevensstromen naar Power BI, worden gegevens opgeslagen op een hot locatie voor toegang met realtime visuals. Hoeveel gegevens er in deze opslag worden opgeslagen, is afhankelijk van de waarde die u hebt gedefinieerd voor Retentieduur in de instellingen voor de streaminggegevensstroom. De standaardwaarde (en het minimum) is 24 uur.
• Koude opslag (historische analyse): elke tijdsperiode die niet valt in de periode die u hebt gedefinieerd voor Retentieduur wordt opgeslagen in koude opslag (blobs) in Power BI zodat u deze zo nodig kunt gebruiken.

Verbinding maken naar streaminggegevensstromen vanuit Power BI Desktop

Met de release van juli 2021 van Power BI Desktop is er een nieuwe connector met de naam Power Platform gegevensstromen (bètaversie) beschikbaar die u kunt gebruiken. Als onderdeel van deze nieuwe connector ziet u voor streaminggegevensstromen twee tabellen die overeenkomen met de eerder beschreven gegevensopslag.

Verbinding maken met uw gegevens voor streaminggegevensstromen:

1. Ga naar Gegevens downloaden, zoek naar power platform en selecteer vervolgens de connector Power Platform gegevensstromen (bèta).

   

2. Meld u aan met uw Power BI referenties.

3. Selecteer werkruimten. Zoek de gegevensstroom die uw streaminggegevensstroom bevat en selecteer die gegevensstroom. (In dit voorbeeld heet de streaminggegevensstroom Tol.)

4. U ziet dat al uw uitvoertabellen twee keer worden weergegeven: één voor streaminggegevens (hot) en één voor gearchiveerde gegevens (koud). U kunt ze onderscheiden door de labels die zijn toegevoegd na de tabelnamen en door de pictogrammen.

   

5. Verbinding maken naar de streaminggegevens. De gearchiveerde gegevenscase is hetzelfde, alleen beschikbaar in de importmodus. Selecteer de tabellen met de labels Streaming en Hot en selecteer vervolgens Laden.

   

6. Wanneer u wordt gevraagd om een opslagmodus te kiezen, selecteert u DirectQuery als het uw doel is om realtime visuals te maken.

   

U kunt nu visuals, metingen en meer maken met behulp van de functies die beschikbaar zijn in Power BI Desktop.

Automatische paginavernieuwing voor realtime visuals in- of in-

Nadat uw rapport gereed is en u alle inhoud hebt toegevoegd die u wilt delen, is de enige stap die u nog moet doen om ervoor te zorgen dat uw visuals in realtime worden bijgewerkt. Hiervoor kunt u een functie gebruiken met de naam pagina automatisch vernieuwen. Met deze functie kunt u visuals uit een DirectQuery-bron slechts één seconde vernieuwen.

Zie Pagina automatisch vernieuwen in Power BI voor meer informatie over Power BI. Deze informatie bevat informatie over het gebruik ervan, het instellen ervan en hoe u contact op kunt nemen met uw beheerder als u problemen hebt. Hier zijn de basisbeginselen voor het instellen ervan:

1. Ga naar de rapportpagina waar u wilt dat de visuals in realtime worden bijgewerkt.

2. Alle visuals op de pagina verwijderen. Selecteer indien mogelijk de achtergrond van de pagina.

3. Ga naar het opmaakvenster (1) en schakel de schakelknop Pagina vernieuwen in (2).

   

4. Stel de gewenste frequentie in (tot elke seconde als uw beheerder dit heeft toegestaan) en profiteer van de realtime updates voor uw visuals.

   

5. Als u een realtime rapport wilt delen, publiceert u eerst terug naar Power BI service. Vervolgens kunt u uw gegevensstroomreferenties instellen voor de gegevensset en de share.

Overwegingen en beperkingen

Algemene beperkingen

• Een Power BI Premium (capaciteit of PPU) is vereist voor het maken en uitvoeren van streaminggegevensstromen.
• Er is slechts één type gegevensstroom toegestaan per werkruimte.
• Het koppelen van reguliere en streaminggegevensstromen is niet mogelijk.
• Capaciteiten die kleiner zijn dan A3 staan het gebruik van streaminggegevensstromen niet toe.
• Als gegevensstromen of de verbeterde berekeningsen engine niet zijn ingeschakeld in een tenant, kunt u geen streaminggegevensstromen maken of uitvoeren.
• Werkruimten die zijn verbonden met een opslagaccount worden niet ondersteund.
• Elke streaminggegevensstroom kan maximaal 1 MB per seconde doorvoer bieden.

Beschikbaarheid

De preview van streaminggegevensstromen is niet beschikbaar in de volgende regio's:

• India - centraal
• Duitsland - noord
• Noorwegen - oost
• Noorwegen - west
• UAE - centraal
• Zuid-Afrika - noord
• Zuid-Afrika - west
• Zwitserland - noord
• Zwitserland - west
• Brazilië - zuidoost

Licentieverlening

Het aantal toegestane streaminggegevensstromen per tenant is afhankelijk van de licentie die wordt gebruikt:

• Gebruik voor reguliere capaciteiten de volgende formule om het maximum aantal streaminggegevensstromen te berekenen dat is toegestaan in een capaciteit:

  Maximumaantal streaminggegevensstromen per capaciteit = vCores in de capaciteit x 5

  P1 heeft bijvoorbeeld 8 vCores: 8 * 5 = 40 streaminggegevensstromen.

• Voor Premium per gebruiker is één streaminggegevensstroom per gebruiker toegestaan. Als een andere gebruiker een streaminggegevensstroom in een PPU-werkruimte wil gebruiken, heeft deze ook een PPU-licentie nodig.

Gegevensstroom maken

Wanneer u streaminggegevensstromen ontwerpt, moet u rekening houden met de volgende overwegingen:

• Streaminggegevensstromen kunnen alleen worden gewijzigd door hun eigenaren en alleen als ze niet worden uitgevoerd.
• Streaminggegevensstromen zijn niet beschikbaar in Mijn werkruimte.

Verbinding maken vanuit Power BI Desktop

U hebt alleen toegang tot koude opslag met behulp van Power Platform connector voor gegevensstromen (bèta) die beschikbaar is vanaf de update van juli 2021 Power BI Desktop update. De bestaande Power BI-gegevensstroomconnector staat alleen verbindingen met streaminggegevensopslag (hot) toe. Het voorbeeld van gegevens van de connector werkt niet.

Volgende stappen

Dit artikel biedt een overzicht van de selfservice voor het voorbereiden van streaminggegevens met behulp van streaminggegevensstromen. De volgende artikelen bevatten informatie over het testen van deze mogelijkheid en het gebruik van andere functies voor streaminggegevens in Power BI:

• Een IoT-voorbeeldoplossing bouwen om streaminggegevensstromen met één klik te testen
• Gebruik de Azure Raspberry Pi-simulator en de gratis laag van IoT Hub om streaminggegevensstromen te testen
• Push- en streaming-gegevenssets instellen in Power BI
• Meer informatie over het automatisch vernieuwen van pagina's