Unos izvezenih Dataverse podataka pomoću usluge Azure Data Factory

Članak
03/14/2023

Nakon izvoza podataka iz usluge Microsoft Dataverse u Azure Data Lake Storage Gen2 pomoću Azure Synapse Link for Dataverse, uslugu Azure Data Factory možete koristiti za kreiranje tokova podataka, transformisanje podataka i obavljanje analize.

Napomena

Azure Synapse Link for Dataverse je ranije bio poznat kao „Izvoz u jezero podataka“. Usluga je preimenovana u maju 2021. i nastaviće da izvozi podatke i u Azure Data Lake, kao i u Azure Synapse Analytics.

U ovom članku vam pokazujemo kako da izvršite sledeće zadatke:

Podesite nalog skladišta Data Lake Storage Gen2 pomoću Dataverse podataka kao izvor u Data Factory toku podataka.
Transformišite Dataverse podatke u usluzi Data Factory pomoću toka podataka.
Podesite nalog skladišta Data Lake Storage Gen2 pomoću Dataverse podataka kao primaoca u Data Factory toku podataka.
Pokrenite tok podataka kreiranjem kanala.

Preduslovi

Ovaj odeljak opisuje preduslove neophodne za unošenje izvezenih Dataverse podataka kroz Data Factory.

Azure uloge. Korisnički nalog koji se koristi za prijavljivanje na Azure mora biti član uloge saradnik ili vlasnik ili administrator pretplate na Azure. Da biste videli dozvole koje imate u pretplati, idite na Azure portal, izaberite svoje korisničko ime u gornjem desnom uglu, izaberite ..., a zatim izaberite Moje dozvole. Ako imate pristup u više pretplata, izaberite odgovarajuću. Da biste kreirali i upravljali podređenim resursima za Data Factory na Azure portalu – uključujući skupove podataka, povezane usluge, kanale, okidače i vreme izvođenja integracije – morate pripadati ulozi Data Factory saradnik na nivou grupe resursa ili više.
Azure Synapse Link for Dataverse. Ovaj vodič pretpostavlja da ste već izvozili Dataverse podatke pomoću Azure Synapse Link for Dataverse. U ovom primeru, podaci iz tabele poslovnih kontakata se izvoze u jezero podataka.
Azure Data Factory. Ovaj vodič pretpostavlja da ste već kreirali fabriku podataka pod istom pretplatom i grupom resursa kao i nalog za skladištenje koji sadrži izvezene Dataverse podatke.

Postavite Data Lake Storage Gen2 nalog za skladištenje kao izvor

Otvorite Azure Data Factory i izaberite fabriku podataka koja se nalazi u istoj grupi pretplate i resursa kao i nalog za skladištenje koji sadrži vaše izvezene Dataverse podatke. Zatim izaberite Kreiraj tok podataka sa početne stranice.
Uključite režim Otklanjanje grešaka u toku podataka i odaberite željeno vreme za aktivaciju. To može potrajati do 10 minuta, ali možete nastaviti sa sledećim koracima.
Izaberite Dodaj izvor.
U delu Podešavanja izvora, uradite sledeće:
- Naziv izlaznog toka: Unesite željeno ime.
- Tip izvora: Izaberite Umetnuto.
- Tip umetnutog skupa podataka: Izaberite Common Data Model.
- Povezana usluga: U padajućem meniju izaberite nalog za skladište, a zatim povežite novu uslugu tako što ćete navesti detalje o pretplati i napustiti sve podrazumevane konfiguracije.
- Uzimanje uzoraka: Ako želite da koristite sve svoje podatke, izaberite Onemogući.
U delu Opcije izvora, uradite sledeće:
- Format metapodataka: Izaberite Model.json.
- Osnovna lokacija: Unesite ime kontejnera u prvo polje (Kontejner) ili potražite naziv kontejnera i izaberite U redu.
- Entitet: Unesite naziv tabele ili potražite tabelu.
Proverite karticu Projekcija da biste bili sigurni da je vaša šema uspešno uvezena. Ako ne vidite nijednu kolonu, izaberite Opcije šeme i proverite opciju Izvedi premeštene tipove kolona. Konfigurišite opcije formatiranja tako da odgovaraju vašem skupu podataka, a zatim izaberite Primeni.
Možete da pogledate svoje podatke na kartici Pregled podataka da biste osigurali da je stvaranje izvora bilo potpuno i tačno.

Transformišite Dataverse podatke

Nakon podešavanja izvezenih Dataverse podataka u Azure Data Lake Storage Gen2 nalogu kao izvora u Data Factory toku podataka, postoji mnogo mogućnosti za transformisanje vaših podataka. Još informacija: Azure Data Factory

Sledite ova uputstva da biste kreirali rang za svaki red po polju prihod u tabeli poslovnih kontakata.

Izaberite + u donjem desnom uglu prethodne transformacije, a zatim potražite i izaberite Rangiraj.
Na kartici Podešavanja rangiranja uradite sledeće:
- Naziv izlaznog toka: Unesite željeno ime, na primer Rang1.
- Dolazni tok: Izaberite željeni naziv izvora. U ovom slučaju, ime izvora iz prethodnog koraka.
- Opcije: Ostavite opcije neoznačene.
- Kolona ranga: Unesite ime generisane kolone ranga.
- Uslovi sortiranja: Izaberite kolonu prihod i sortiranje po silaznom redosledu.
Možete pogledati svoje podatke na kartici pregled podataka na kojoj ćete pronaći novu kolonu revenueRank na krajnjem desnom mestu.

Podesite nalog za skladištenje Data Lake Storage Gen2 kao primalac

Na kraju, morate da postavite primaoca za tok podataka. Sledite ova uputstva da biste transformisane podatke postavili kao razgraničenu tekstualnu datoteku u usluzi Data Lake.

Izaberite + u donjem desnom uglu prethodne transformacije, a zatim potražite i izaberite Primalac.
Na kartici Primalac uradite sledeće:
- Naziv izlaznog toka: Unesite željeno ime, kao što je Primalac1.
- Dolazni tok: Izaberite željeni naziv izvora. U ovom slučaju, ime izvora iz prethodnog koraka.
- Tip primaoca: Izaberite DelimitedText.
- Povezana usluga: Izaberite Data Lake Storage Gen2 kontejner za skladištenje koji sadrži podatke koje ste izvezli pomoću usluge Azure Synapse Link for Dataverse.
Na kartici Podešavanja uradite sledeće:
- Putanja fascikle: Unesite ime kontejnera u prvo polje (Sistem datoteka) ili potražite naziv kontejnera i izaberite U redu.
- Opcija imena datoteke: Izaberite izlaz u jednu datoteku.
- Izlaz u jednu datoteku: Unesite ime datoteke, kao što je ADFOutput
- Ostavite sva ostala podrazumevana podešavanja.
Na kartici Optimizacija podesite Opcija particije na Pojedinačna particija.
Možete pogledati svoje podatke na kartici pregled podataka.

Pokrenite tok podataka

U levom oknu ispod Resursi za Factory, izaberite +, a zatim izaberite Kanal.
U delu Aktivnosti, izaberite Premeštanje i transformacija, a zatim prevucite Tok podataka u radni prostor.
Izaberite Koristi postojeći tok podataka, a zatim izaberite tok podataka koji ste kreirali u prethodnim koracima.
Na komandnoj traci izaberite Otklanjanje grešaka.
Pustite da tok podataka traje dok prikaz odozdo ne pokaže da je završen. To može da potraje nekoliko minuta.
Idite do krajnjeg odredišnog kontejnera za skladištenje i pronađite transformisanu datoteku podataka tabele.