Integratie van gegevensstromen en Azure Data Lake (preview)Dataflows and Azure Data Lake integration (Preview)

Gegevens die worden gebruikt met Power BI worden standaard opgeslagen in de interne opslag die wordt geleverd door Power BI.By default, data used with Power BI is stored in internal storage provided by Power BI. Met de integratie van gegevensstromen en Azure Data Lake Storage Gen2 (ADLS Gen2) kunt u uw gegevensstromen opslaan in het Azure Data Lake Storage Gen2-account van uw organisatie.With the integration of dataflows and Azure Data Lake Storage Gen2 (ADLS Gen2), you can store your dataflows in your organization's Azure Data Lake Storage Gen2 account.

gegevensstromen in Azure Storage

Hoe CDM-mappen gerelateerd zijn aan gegevensstromenHow CDM folders relate to dataflows

Met gegevensstromen kunnen gebruikers en organisaties gegevens uit verschillende bronnen samenvoegen en voorbereiden op modellering.With dataflows, users and organizations can unify data from disparate sources, and prepare it for modeling. Met het Common Data Model (CDM) kunnen organisaties een gegevensindeling gebruiken die semantische consistentie biedt tussen toepassingen en implementaties.With the Common Data Model (CDM), organizations can use a data format that provides semantic consistency across applications and deployments. En met Azure Data Lake Storage gen2 (ADLS Gen2) kan toegangs- en autorisatiebeheer heel nauwkeurig worden toegepast op datalakes in Azure.And with Azure Data Lake Storage gen2 (ADLS Gen2), fine-grained access and authorization control can be applied to data lakes in Azure. In combinatie met elkaar bieden deze elementen aantrekkelijke gecentraliseerde gegevens, gestructureerde gegevens, uiterst gedetailleerd toegangsbeheer en semantische consistentie voor apps en initiaties binnen de hele organisatie.When combined, these elements provide compelling centralized data, structured data, fine-grained access control, and semantic consistency for apps and initiaties across the enterprise.

Gegevens die zijn opgeslagen in CDM-indeling bieden semantische consistentie tussen toepassingen en implementaties in een organisatie.Data stored in CDM format provides semantic consistency across applications and deployments in an organization. Met CDM-integratie met ADLS Gen2 kunnen dezelfde structurele consistentie en semantische betekenis worden toegepast op gegevens die zijn opgeslagen in (ADLS Gen2) met behulp van de CDM-mappen met geschematiseerde gegevens in de CDM-standaardindeling.With CDM integration with ADLS Gen2, the same structural consistency and semantic meaning can be applied to data stored in (ADLS Gen2) by using CDM folders that contain schematized data in standard CDM format. De gestandaardiseerde metagegevens en zelfbeschrijvende gegevens in een Azure Data Lake vergemakkelijken opsporing van metagegevens, en de samenwerking tussen data producenten en consumenten, zoals Power BI, Azure Data Factory, Azure Data Lake, Databricks en Azure Machine Learning (ML).The standardized metadata and self-describing data in an Azure Data Lake facilitate easy metadata discovery, and interoperation between data producers and consumers such as Power BI, Azure Data Factory, Azure Data Lake, Databricks and Azure Machine Learning (ML).

Gegevensstromen slaan hun definitie en gegevens in de volgende indelingen in CDM-mappen op:Dataflows store their definition and data in CDM folders, in the following formats:

Model.jsonModel.json

  • Het Model.json-beschrijvingsbestand van de metagegevens bevat semantische informatie over de entiteitsrecords en kenmerken en koppelingen naar onderliggende gegevensbestanden.The Model.json metadata description file contains semantic information about entity records and attributes, and links to underlying data files. Het bestaan van het model.json-bestand geeft aan dat er compatibiliteit is met de CDM-indeling voor metagegevens, en omvat mogelijk standaardentiteiten die aanvullende uitgebreide out-of-box semantische metagegevens hebben die toepassingen kunnen gebruiken.The existence of the model.json file indicates compliance with CDM metadata format, and may include standard entities which have additional rich out-of-box semantic metadata that applications can use.
  • Power BI slaat ook alle gegevensbroninformatie op met de query en transformaties die worden gegenereerd door de Dataflow Editor in de Power BI-service.Power BI also stores each data source information along with the query and transformations generated by the Dataflow Editor experience in the Power BI service. Wachtwoorden voor gegevensbronnen worden niet opgeslagen in het modelbestand.Passwords to data sources are not stored in the model file.

GegevensbestandenData files

  • De gegevensbestanden zijn opgenomen in de CDM-map in een goed gedefinieerde structuur en indeling (submappen zijn optioneel, zoals verderop in dit artikel wordt beschreven) en hiernaar wordt in het model.json-bestand verwezen.The data files are included in the CDM folder in well-defined structure and format (subfolders are optional, as described later in this article) and referenced in the model.json file. Op dit moment moeten gegevensbestanden de CSV-indeling hebben, maar mogelijk worden aanvullende indelingen ondersteund in latere updates.Currently, data files must be in .csv format, but additional formats may be supported in subsequent updates.

Het volgende diagram toont een voorbeeld van een CDM-map, die is gemaakt door een Power BI-gegevensstroom, die drie entiteiten bevat:The following diagram shows a sample CDM folder, created by a Power BI dataflow, that contains three entities:

gegevensstromen in Azure Storage

Het model.json- of metagegevensbestand in de vorige afbeelding biedt verwijzingen naar de bestanden met entiteitgegevens in de CDM-map.The model.json or metadata file in the previous image would provide pointers to the entity data files throughout the CDM folder.

Power BI organiseert CDM-mappen in de data lakePower BI organizes CDM folders in the data lake

Met Power BI-gegevensstromen en de integratie met ADLS Gen2 kan Power BI gegevens in een data lake produceren.With Power BI dataflows and its integration with ADLS Gen2, Power BI can produce data in a data lake. Als gegevensproducent moet Power BI een CDM-map maken voor elke gegevensstroom die het model.json-bestand en de bijbehorende gegevensbestanden bevat.As a data producer, Power BI must create a CDM folder for each dataflow containing the model.json file and its associated data files. Power BI slaat de gegevens geïsoleerd van andere gegevensproducenten op in de data lake met behulp van bestandssystemen.Power BI stores its data in isolation from other data producers in the data lake by using file systems. Meer informatie over het Azure Data Lake Storage Gen2-bestandssysteem en hiërarchische naamruimte vindt u in het artikel over dit onderwerp.You can read more about Azure Data Lake Storage Gen2 file system and hierarchical namespace in the article that describes them.

Power BI maakt gebruik van submappen voor ondubbelzinnigheid, en voor verbeterde organisatie van de gegevens wanneer deze worden gepresenteerd in de Power BI-service.Power BI uses subfolders for disambiguation, and to provide improved organization of data when presented in the Power BI service. De naam en de structuur van de map vertegenwoordigen werkruimten (mappen) en gegevensstromen (CDM-mappen).The folder naming and structure represent workspaces (Folders) and dataflows (CDM Folders). Het volgende diagram toont hoe een data lake dat wordt gedeeld door Power BI en andere gegevensproducenten kunnen worden gestructureerd.The following diagram shows how a data lake shared by Power BI and other data producers may be structured. Elke service, in dit geval Dynamics 365, Dynamics for Finance and Operation en Power BI, maakt en beheert zijn eigen bestandssysteem.Each service, in this case Dynamics 365, Dynamics for Finance and Operation, and Power BI, creates and maintains their own filesystem. Afhankelijk van de ervaring in elke service, worden submappen gemaakt om CDM-mappen in het bestandssysteem beter te organiseren.Depending on the experience in each service, subfolders are created to better organize CDM folders within the file system.

gegevensstromen van verschillende services in Azure Storage

Power BI beveiligt gegevens in de data lakePower BI protects data in the data lake

Power BI gebruikt Active Directory OAuth Bearer-tokens en POSIX ACL's die door Azure Data Lake Storage Gen2 worden verstrekt.Power BI uses Active Directory OAuth Bearer tokens and POSIX ACLs functionality provided by Azure Data Lake Storage Gen2. Met deze functies kan de toegang van Power BI tot het bestandssysteem dat het beheert in de data lake worden bepaald en kan ook worden bepaald dat mensen alleen toegang hebben tot gegevensstromen of CDM-mappen die ze maken.These features enable scoping Power BI's access to the file system it manages in the data lake, and also scoping people's access only to dataflows or CDM folders that they create.

Om CDM-mappen in het Power BI-bestandssysteem te maken en te beheren, zijn lees-, schrijf- en uitvoermachtigingen voor het bestandssysteem vereist.To create and manage CDM folders within the Power BI file system, read, write and execute permissions to the file system is required. Elke gegevensstroom die wordt gemaakt in Power BI wordt opgeslagen in een eigen CDM-map en aan de eigenaar van de gegevensstroom wordt alleen-lezen toegang tot de CDM-map en de inhoud ervan verleend.Each dataflow created in Power BI is stored in its own CDM folder, and the owner of the dataflow is granted read-only access to the CDM folder and its contents. Zo wordt de integriteit beschermd van de gegevens die Power BI genereert en beschikken beheerders over de mogelijkheid om met behulp van auditlogboeken te controleren welke gebruikers de CDM-map hebben geopend.This approach protects the integrity of the data Power BI generates, and provides administrators with the ability to monitor which users accessed the CDM folder using audit logs.

Gebruikers of services autoriseren voor CDM-mappenAuthorizing users or services for CDM folders

Het delen van CDM-mappen met gebruikers van gegevens, zoals gebruikers of services die nodig zijn om de gegevens te lezen, is vereenvoudigd met Active Directory OAuth Bearer-tokens en POSIX ACL's.Sharing CDM folders with data consumers, such as users or services that need to read the data, is simplified with Active Directory OAuth Bearer tokens and POSIX ACLs. Beheerders beschikken hiermee over de mogelijkheid om te controleren wie de CDM-map hebben geopend.Doing so provides administrators with the ability to monitor who accessed the CDM folder. De enige actie die vereist is, is het verlenen van toegang aan een Active Directory-object van uw keuze (zoals een gebruikersgroep of service) tot de CDM-map.The only action required is to grant access to an Active Directory object of your choice (such as a user group or service) to the CDM Folder. Het wordt aanbevolen dat alle toegang tot de CDM-map voor elke andere identiteit dan de gegevensproducent als alleen-lezen wordt verleend.We recommend that all access to the CDM folder, for any identity other than the data producer, be granted as read-only. Hiermee wordt de integriteit beschermd van de gegevens die door de producent worden gegenereerd.Doing so protects the integrity of the data that the producer generates.

Voor het toevoegen van CDM-mappen aan Power BI, moet de gebruiker die de CDM-map toevoegt ACL's voor leestoegang hebben in zowel de CDM-map zelf en alle bestanden of mappen die de CDM-map bevat.To add CDM folders to Power BI, the user adding the CDM Folder should have Read Access ACLs on both CDM folder itself and any files or folders within it. Daarnaast zijn ACL's voor uitvoertoegang nodig in zowel de CDM-map zelf als alle bestanden of mappen die de CDM-map bevat.In addition, Execute Access ACLs on both CDM folder itself and any folders within it. Het wordt aanbevolen dat u de artikelen Access control lists on files and directory (Toegangsbeheerlijsten voor bestanden en mappen) en Best practices for using Azure Data Lake Storage Gen2 (Aanbevolen procedures voor het gebruik van Azure Data Lake Storage Gen2) beide leest voor meer informatie.It is recommended you review both Access control lists on files and directory and Best practices for using Azure Data Lake Storage Gen2 articles for more information.

Alternatieve vormen van autorisatieAlternative forms of authorization

Personen of services buiten Power BI kunnen ook gebruikmaken van alternatieve vormen van autorisatie. Deze alternatieve toestemmingshouders krijgen toegang tot alle resources in het account, volledige toegang tot alle resources in de lake en kunnen niet worden beperkt tot bestandssystemen of CDM-mappen.People or services outside of Power BI can also leverage alternatives forms of authorization these alternatives permit holders of the key access to all resources in the account, full access to all resources in the lake, and cannot be scoped to file systems or CDM Folders. Deze alternatieven lijken mogelijk een eenvoudige manier om toegang te verlenen, maar ze beperken de mogelijkheid om specifieke resources in de data lake te delen en bieden gebruikers geen mogelijkheid te controleren wie toegang tot de opslag heeft verkregen.Those alternatives may be simple ways to grant access, but they limit the ability to share specific resources in the data lake, and do not provide users with auditing of who accessed the storage. Volledige details van de beschikbare autorisatieschema's vindt u in het artikel Toegangsbeheer in Azure Data Lake Storage Gen2.Full details of available authorization schemes are provided in the Access control in Azure Data Lake Storage Gen2 article.

Volgende stappenNext steps

Dit artikel bood u een overzicht van de integratie van Power BI-gegevensstromen, CDM-mappen en Azure Data Lake Storage Gen2.This article provided an overview of the integration of Power BI dataflows, CDM folders, and Azure Data Lake Storage Gen2. Raadpleeg de volgende artikelen voor meer informatie:For additional information, take a look at the following articles:

Raadpleeg de volgende artikelen voor meer informatie over gegevensstromen, CDM en Azure Data Lake Storage Gen2:For more information about dataflows, CDM, and Azure Data Lake Storage Gen2, take a look at the following articles:

Raadpleeg de volgende artikelen voor algemene informatie over gegevensstromen:For information about dataflows overall, check out these articles:

Raadpleeg de volgende artikelen voor informatie over Azure-opslag:For more information about Azure storage, you can read these articles:

U kunt het overzichtsartikel lezen voor meer informatie over Common Data Model:For more information about the Common Data Model, you can read its overview article:

U kunt altijd vragen stellen in de Power BI-community.And you can always try asking questions of the Power BI Community.