Wat zijn gegevensstromen?
Notitie
Ingangs datum van november 2020:
- De naam van Common Data Service is gewijzigd in micro soft Dataverse. Meer informatie
- Sommige terminologie in micro soft Dataverse is bijgewerkt. Bijvoorbeeld: entiteit is nu tabel en veld is nu kolom. Meer informatie
Dit artikel wordt binnenkort bijgewerkt om de meest recente terminologie weer te geven.
Gegevensstromen zijn een selfservicetechnologie voor gegevensvoorbereiding in de cloud. Met gegevensstromen kunnen klanten gegevens opnemen, transformeren en laden in Microsoft Dataverse-omgevingen, Power BI-werkruimten of het Azure Data Lake Storage-account van uw organisatie. Gegevensstromen worden gemaakt met behulp van Power Query, een uniforme gegevensconnectiviteit en -voorbereidingservaring die al wordt gebruikt in veel Microsoft-producten, waaronder Excel en Power BI. Klanten kunnen gegevensstromen activeren om op aanvraag of automatisch volgens een schema te worden uitgevoerd; gegevens worden altijd up-to-date gehouden.
Gegevensstromen kunnen worden gemaakt in meerdere Microsoft-producten
Gegevensstromen worden aanbevolen in meerdere Microsoft-producten en vereisen niet dat er een gegevensstroomspecifieke licentie wordt gemaakt of uitgevoerd. Gegevensstromen zijn beschikbaar in Power Apps, Power BI en Dynamics 365 Customer Insights. De mogelijkheid om gegevensstromen te maken en uit te voeren, is gebundeld met de licenties van die producten. Gegevensstroomfuncties komen meestal voor in alle producten waarin ze zijn uitgelicht, maar sommige productspecifieke functies kunnen bestaan in gegevensstromen die in het ene product zijn gemaakt en het andere.
Hoe werkt de gegevensstroom?
In de vorige afbeelding ziet u een algemeen overzicht van hoe een gegevensstroom wordt gedefinieerd. Een gegevensstroom haalt gegevens op uit verschillende gegevensbronnen (er worden al meer dan 80 gegevensbronnen ondersteund). Op basis van de transformaties die zijn geconfigureerd met de Power Query ontwerpervaring, transformeert de gegevensstroom de gegevens met behulp van de gegevensstroomen engine. Ten slotte worden de gegevens naar de uitvoerbestemming geladen. Dit kan een Microsoft Power Platform-omgeving, een Power BI-werkruimte of het Azure Data Lake Storage-account van de organisatie zijn.
Gegevensstromen worden uitgevoerd in de cloud
Gegevensstromen zijn gebaseerd op de cloud. Wanneer een gegevensstroom wordt geschreven en opgeslagen, wordt de definitie ervan opgeslagen in de cloud. Een gegevensstroom wordt ook uitgevoerd in de cloud. Als een gegevensbron echter on-premises is, kan een on-premises gegevensgateway worden gebruikt om de gegevens naar de cloud te extraheren. Wanneer een gegevensstroom wordt geactiveerd, vindt de gegevenstransformatie en berekening plaats in de cloud en is de bestemming altijd in de cloud.
Gegevensstromen maken gebruik van een krachtige transformatie-engine
Power Query is de gegevenstransformatie-engine die wordt gebruikt in de gegevensstroom. Deze engine is geschikt genoeg om veel geavanceerde transformaties te ondersteunen. Er wordt ook gebruikgemaakt van een eenvoudige, maar krachtige grafische gebruikersinterface met de naam Power Query Editor. U kunt gegevensstromen met deze editor gebruiken om uw oplossingen voor gegevensintegratie sneller en gemakkelijker te ontwikkelen.
Gegevensstroomintegratie met Microsoft Power Platform en Dynamics 365
Omdat de resulterende entiteiten in cloudopslag worden opgeslagen in een gegevensstroom, kunnen andere services communiceren met de gegevens die worden geproduceerd door gegevensstromen.
Met Power BI-, Power Apps-, Power Automate-, Power Virtual Agents- en Dynamics 365-toepassingen kunnen de gegevens die door de gegevensstroom worden geproduceerd bijvoorbeeld worden opgeslagen door verbinding te maken met Dataverse, een Power Platform-gegevensstroomconnector of rechtstreeks via de lake, afhankelijk van de bestemming die is geconfigureerd tijdens het maken van de gegevensstroom.
Voordelen van gegevensstromen
In de volgende lijst worden enkele van de voordelen van het gebruik van gegevensstromen belicht:
Een gegevensstroom ontkoppelt de gegevenstransformatielaag van de modellerings- en visualisatielaag in een Power BI oplossing.
De code voor gegevenstransformatie kan zich bevinden op een centrale locatie, een gegevensstroom, in plaats van te worden verdeeld over meerdere artefacten.
Een maker van een gegevensstroom heeft alleen Power Query vaardigheden nodig. In een omgeving met meerdere makers kan de maker van de gegevensstroom deel uitmaken van een team dat samen de volledige BI-oplossing of operationele toepassing bouwt.
Een gegevensstroom is productagnostisch. Het is geen onderdeel van Power BI alleen; U kunt de gegevens ervan in andere hulpprogramma's en services ops halen.
Gegevensstromen profiteren van Power Query, een krachtige, grafische, selfservice voor gegevenstransformatie.
Gegevensstromen worden volledig in de cloud uitgevoerd. Er is geen aanvullende infrastructuur vereist.
U hebt meerdere opties om aan de slag te gaan met gegevensstromen, met licenties voor Power Apps, Power BI en Customer Insights.
Hoewel gegevensstromen geschikt zijn voor geavanceerde transformaties, zijn ze ontworpen voor selfservicescenario's waarvoor geen IT- of ontwikkelaarsachtergrond nodig is.
Use-casescenario's voor gegevensstromen
U kunt gegevensstromen voor vele doeleinden gebruiken. De volgende scenario's bieden enkele voorbeelden van veelvoorkomende gebruiksvoorbeelden voor gegevensstromen.
Gegevensmigratie vanuit verouderde systemen
In dit scenario is de beslissing genomen door een organisatie om Power Apps te gebruiken voor de nieuwe gebruikersinterface-ervaring in plaats van het verouderde on-premises systeem. Power Apps, Power Automate en AI Builder gebruiken allemaal Dataverse als het primaire gegevensopslagsysteem. De huidige gegevens in het bestaande on-premises systeem kunnen worden gemigreerd naar Dataverse met behulp van een gegevensstroom, waarna deze producten die gegevens kunnen gebruiken.
Gegevensstromen gebruiken om een datawarehouse te bouwen
U kunt gegevensstromen gebruiken als vervanging voor andere ETL-hulpprogramma's (extraheren, transformeren, laden) om een datawarehouse te bouwen. In dit scenario besluiten de data engineers van een bedrijf om gegevensstromen te gebruiken om hun door een sterschema ontworpen datawarehouse te bouwen, inclusief feiten- en dimensietabellen – in Data Lake Storage. Vervolgens Power BI gebruikt om rapporten en dashboards te genereren door gegevens op te halen uit de gegevensstromen.
Gegevensstromen gebruiken om een dimensionaal model te bouwen
U kunt gegevensstromen gebruiken als vervanging voor andere ETL-hulpprogramma's om eendimensionaal model te bouwen. De data engineers van een bedrijf besluiten bijvoorbeeld gegevensstromen te gebruiken om het dimensionale model met sterschema's te bouwen, inclusief feiten- en dimensietabellen in Azure Data Lake Storage Gen2. Vervolgens Power BI gebruikt om rapporten en dashboards te genereren door gegevens op te halen uit de gegevensstromen.
Gegevensvoorbereiding centraliseren en hergebruiken van gegevenssets in meerdere Power BI oplossingen
Als meerdere Power BI dezelfde getransformeerde versie van een tabel gebruiken, wordt het proces voor het maken van de tabel meerdere keren herhaald. Dit verhoogt de belasting van het bronsysteem, verbruikt meer resources en maakt dubbele gegevens met meerdere storingspunten. In plaats daarvan kan één gegevensstroom worden gemaakt om de gegevens voor alle oplossingen te berekenen. Power BI kunt vervolgens het resultaat van de transformatie in alle oplossingen opnieuw gebruiken. Als de gegevensstroom op een dergelijke manier wordt gebruikt, kan deze deel uitmaken van een robuuste Power BI-implementatiearchitectuur die dubbele Power Query-code voorkomt en de onderhoudskosten van de gegevensintegratielaag verlaagt.
Volgende stappen
De volgende artikelen bevatten verder onderzoekmateriaal voor gegevensstromen.