Konfigurera dataflödeslagring som ska använda Azure Data Lake Gen2
Data som används med Power BI lagras i intern lagring som tillhandahålls av Power BI som standard. Med integreringen av dataflöden och Azure Data Lake Storage Gen2 (ADLS Gen2), kan du lagra dina dataflöden på organisationens Azure Data Lake Storage Gen2-konto. På så sätt kan du i princip "ta med din egen lagring" till Power BI-dataflöden och upprätta en anslutning på klient- eller arbetsytenivå.
Anledningar till att använda ADLS Gen 2-arbetsytan eller klientanslutningen
När du har bifogat ditt dataflöde konfigurerar och sparar Power BI en referens så att du nu kan läsa och skriva data till din egen ADLS Gen 2. Power BI lagrar data i CDM-format, som samlar in metadata om dina data utöver de faktiska data som genereras av själva dataflödet. Detta låser upp många kraftfulla funktioner och gör att dina data och tillhörande metadata i CDM-format nu kan hantera scenarier för utökningsbarhet, automatisering, övervakning och säkerhetskopiering. Genom att göra dessa data tillgängliga och allmänt tillgängliga i din egen miljö kan du demokratisera insikter och data som skapats i organisationen. Det ger dig också möjlighet att skapa ytterligare lösningar som antingen är CDM-medvetna (till exempel anpassade program och lösningar i Power Platform, Azure och de som är tillgängliga via partner- och ISV-ekosystem) eller helt enkelt kan läsa en CSV. Dina datatekniker, dataforskare och analytiker kan nu arbeta med, använda och återanvända en gemensam uppsättning data som kurerats i ADLS Gen 2.
Det finns två sätt att konfigurera vilket ADLS Gen 2-arkiv som ska användas: du kan använda ett klienttilldelat ADLS Gen 2-konto eller ta med ditt eget ADLS Gen 2-lager på arbetsytenivå.
Förutsättningar
Om du vill ta med ditt eget ADLS Gen 2-konto måste du ha ägarbehörighet på lagringskontolagret. Behörigheter på resursgrupps- eller prenumerationsnivå fungerar inte . Om du är administratör måste du fortfarande tilldela dig själv ägarbehörighet . Stöder för närvarande inte ADLS Gen2-lagringskonton bakom en brandvägg.
Lagringskontot måste skapas med hierarkisk namnrymd (HNS) aktiverat.
Lagringskontot måste skapas i samma Azure Active Directory-klientorganisation som Power BI-klientorganisationen.
Användaren måste ha rollen Storage Blob Data-ägare, rollen Storage Blob Data Reader och rollen Ägare på lagringskontonivå (omfånget ska vara den här resursen och inte ärvts). Alla tillämpade rolländringar kan ta några minuter att synkronisera och måste synkroniseras innan följande steg kan slutföras i Power BI-tjänst.
Klientregionen för Power BI-arbetsytan ska vara samma som lagringskontots region.
TLS (Transport Layer Security) version 1.2 (eller senare) krävs för att skydda dina slutpunkter. Webbläsare och andra klientprogram som använder TLS-versioner tidigare än TLS 1.2 kan inte ansluta.
Det går inte att koppla ett dataflöde med ADLS Gen 2 bakom multifaktorautentisering (MFA).
Slutligen kan du ansluta till valfri ADLS Gen 2 från administratörsportalen, men om du ansluter direkt till en arbetsyta måste du först se till att det inte finns några dataflöden på arbetsytan innan du ansluter.
I följande tabell beskrivs behörigheterna för ADLS och för Power BI som krävs för ADLS Gen 2 och Power BI:
| Åtgärd | ADLS-behörigheter | Minsta Power BI-behörigheter |
|---|---|---|
| Ansluta ADLS Gen 2 till Power BI-klientorganisationen | Ägare | Power BI-administratör |
| Ansluta ADLS Gen 2 till arbetsyta | Ägare | Admin för arbetsyta |
| Skapa Power BI-dataflöden som skrivs tillbaka till ett anslutet ADLS-konto | Inte tillämpligt | Arbetsytans deltagare |
| Använda Power BI-dataflöde | Inte tillämpligt | Visningsåtkomst till arbetsytan |
Ansluta till en Azure Data Lake Gen 2 på arbetsytenivå
Gå till en arbetsyta som inte har några dataflöden. Välj Inställningar för arbetsyta. Välj fliken Azure-anslutningar och sedan avsnittet Lagring.
Alternativet Använd azure-standardanslutning visas om administratören redan har konfigurerat ett klienttilldelat ADLS Gen 2-konto. Du kan välja mellan två alternativ:
- Använd det klientkonfigurerade ADLS Gen2-kontot genom att välja rutan Använd Azure-standardanslutningen, eller
- Välj Anslut till Azure för att peka på ett nytt Azure Storage-konto.
När du väljer Anslut till Azure hämtar Power BI en lista över Azure-prenumerationer som du har åtkomst till. Fyll i listrutorna och välj en giltig Azure-prenumeration, resursgrupp och lagringskonto som har alternativet hierarkisk namnrymd aktiverat, vilket är ADLS Gen2-flaggan.
När du har valt alternativet väljer du Spara. Nu har du anslutit arbetsytan till ditt eget ADLS Gen2-konto. Power BI konfigurerar automatiskt lagringskontot med nödvändiga behörigheter och konfigurerar Power BI-filsystemet där data ska skrivas. Framöver kommer alla data för dataflödet på den här arbetsytan att skriva direkt till detta filsystem, som kan användas med andra Azure-tjänster, vilket ger en enda källa för alla dina organisations- eller avdelningsdata.
Förstå konfiguration
Att konfigurera Azure-anslutningar är en valfri inställning med ytterligare egenskaper som kan ställas in:
- Med lagring på klientorganisationsnivå kan du ange ett standardvärde och/eller
- Lagring på arbetsytenivå, där du kan ange anslutningen per arbetsyta
Du kan också konfigurera lagring på klientnivå om du bara vill använda en centraliserad datasjö, eller om du vill att detta ska vara standardalternativet. Vi börjar inte automatiskt använda standardinställningen för att tillåta flexibilitet i konfigurationen, så du har flexibilitet att konfigurera de arbetsytor som använder den här anslutningen som du vill. Om du konfigurerar ett klienttilldelat ADLS Gen 2-konto måste du fortfarande konfigurera varje arbetsyta så att den använder det här standardalternativet.
Du kan också konfigurera lagringsbehörigheter på arbetsytenivå som ett separat alternativ, vilket ger fullständig flexibilitet att ange ett specifikt ADLS Gen 2-konto på arbetsyta per arbetsyta.
Sammanfattningsvis kan arbetsyteadministratörer, om lagringsbehörigheter på klient- och arbetsytenivå tillåts, använda standard-ADLS-anslutningen eller välja att konfigurera ett annat lagringskonto separat från standardinställningen. Om klientlagring inte har angetts kan arbetsyteadministratörer eventuellt konfigurera ADLS-konton på en arbetsyta efter arbetsyta. Om lagring på klientnivå väljs och lagringsutrymme på arbetsytenivå inte tillåts kan arbetsyteadministratörer eventuellt konfigurera sina dataflöden så att de använder den här anslutningen.
Förstå strukturen och formatet för ADLS Gen 2-arbetsyteanslutningar
I ADLS Gen 2-lagringskontot lagras alla dataflöden i filsystemets powerbi-container .
Strukturen för powerbi-containern ser ut så här: <workspace name>/<dataflow name>/model.json <workspace name>/<dataflow name>/model.json.snapshots/<all snapshots>
Platsen där dataflöden lagrar data i mapphierarkin för ADLS Gen 2 bestäms av om arbetsytan finns i delad kapacitet eller Premium-kapacitet. Filstrukturen efter uppdatering för varje kapacitetstyp visas i tabellen nedan.
| Premiumkapacitet | Delad kapacitet |
|---|---|
<workspace name>/<dataflow name>/<table name>/<tablesnapshots> |
<workspace name>/<dataflow name>/<table name>/<tablesnapshots> |
Nedan visas ett exempel med hjälp av tabellen Beställningar i Northwind Odata-exemplet.
I bilden ovan:
- Model.json är den senaste versionen av dataflödet.
- Model.json.snapshots är alla tidigare versioner av dataflödet. Detta är användbart om du behöver en tidigare version av kombinationsprogram eller inkrementella inställningar.
- Den table.snapshots.csv är de data som du fick från en uppdatering. Detta är användbart för inkrementella uppdateringar, och även för delade uppdateringar där en användare stöter på ett problem med tidsgränsen för uppdatering på grund av datastorleken. De kan titta på den senaste ögonblicksbilden för att se hur mycket data som finns i csv-filen.
Vi skriver bara till det här lagringskontot och tar för närvarande inte bort data. Det innebär att vi inte tar bort från ADLS-kontot även efter frånkopplingen, så alla ovanstående filer lagras fortfarande.
Anteckning
En model.json-fil kan referera till en annan model.json som är ett annat dataflöde på samma arbetsyta eller i ett dataflöde på en annan arbetsyta. Den enda gången en model.json refererar till en table.snapshot.csv är för inkrementell uppdatering.
Utökningsbarhet för ADLS Gen 2-arbetsyteanslutningar
Om du ansluter ADLS Gen 2 till Power BI kan du göra detta på arbetsyta eller klientorganisationsnivå. Kontrollera att du har rätt åtkomstnivå. Läs mer i Förutsättningar.
Lagringsstrukturen följer Common Data Model-formatet. Läs mer om lagringsstrukturen och CDM genom att gå till Vad är lagringsstrukturen för analytiska dataflöden och Common Data Model och Azure Data Lake Storage Gen2.
När data och metadata har konfigurerats korrekt finns de i din kontroll. Ett antal program är medvetna om CDM och data kan utökas med hjälp av Azure, PowerApps och PowerAutomate, samt ekosystem från tredje part antingen genom att följa formatet eller genom att läsa rådata.
Koppla från Azure Data Lake Gen2 från en arbetsyta eller klientorganisation
Om du vill ta bort en anslutning på arbetsytenivå, måste du först kontrollera att alla dataflöden på arbetsytan har tagits bort. När alla dataflöden har tagits bort väljer du Koppla från i inställningarna för arbetsytan. Samma gäller för en klientorganisation, men du måste först se till att alla arbetsytor också har kopplats bort från klientorganisationens lagringskonto innan du kan koppla från på klientnivå.
Inaktivera Azure Data Lake Gen2
I administratörsportalen under Dataflöden kan du inaktivera åtkomst för användare för att använda funktionen, eller förhindra att arbetsytans administratörer använder sin egen Azure Storage.
Återställa från Azure Data Lake Gen 2
När dataflödeslagringen har konfigurerats för att använda Azure Data Lake Gen 2 går det inte att återställa automatiskt. Processen för att återgå till Power BI-hanterad lagring är manuell.
Om du vill återställa migreringen till Gen 2 måste du ta bort dina dataflöden och återskapa dem på samma arbetsyta. Eftersom vi inte tar bort data från ADLS Gen 2 går du sedan till själva resursen och rensar data. Detta skulle innebära följande steg.
Exportera en kopia av dataflödet från Power BI. Eller kopiera filen model.json. Filen model.json lagras i ADLS.
Ta bort dataflödena.
Koppla från ADLS.
Återskapa dataflödena med import. Observera att inkrementella uppdateringsdata (om tillämpligt) måste tas bort före importen. Det kan du göra genom att ta bort relevanta partitioner i filen model.json.
Konfigurera uppdatering/återskapa inkrementella uppdateringsprinciper.
Ansluta till data med ADLS Gen 2-anslutningsappen
Omfånget för det här dokumentet beskriver ADLS Gen 2-dataflödesanslutningar och inte Power BI ADLS Gen 2-anslutningsappen. Att arbeta med ADLS Gen 2-anslutningsappen är ett separat, möjligen additivt, scenario. ADLS-anslutningstjänsten använder helt enkelt ADLS som en datakälla. Det innebär att användning av PQO för att fråga mot dessa data inte behöver vara i CDM-format, det kan vara det dataformat som kunden vill ha. Läs mer om det här scenariot genom att gå till Analysera data i Azure Data Lake Storage Gen2 med hjälp av Power BI.
Nästa steg
Följande artiklar innehåller mer information om dataflöden och Power BI: