Napredne opcije konfiguracije u usluzi Azure Synapse Link

Azure Synapse Link nudi više načina za pisanje i čitanje podataka u skladu sa različitim analitičkim scenarijima.

Napomena

Azure Synapse Link for Dataverse je ranije bio poznat kao „Izvoz u jezero podataka“. Usluga je preimenovana u maju 2021. i nastaviće da izvozi podatke i u Azure Data Lake, kao i u Azure Synapse Analytics.

Ovaj članak pokriva:

1. Ažuriranja na mestu u odnosu na pisanje samo za prilog.
2. Korisnički definisana podela podataka.

Ažuriranja na mestu u odnosu na pisanje samo za prilog

Dok upisujete podatke Dataverse tabele u Azure jezero podataka, na osnovu createdOn vrednosti, a to je datum i vreme kada je zapis kreiran, možete odabrati između dva različita podešavanja. To su, Ažuriranje na mestu i Samo priloži.

Podrazumevano podešavanje (za tabele gde je dostupna opcija createdOn) je da se na mestu izvrši ažuriranje ili upsert (ažuriranje ili umetanje) inkrementalnih podataka na odredištu. Ako je promena nova i odgovarajući red ne postoji u jezeru, u slučaju kreiranja, odredišne datoteke se skeniraju, a promene se ubacuju u odgovarajuću particiju datoteke u jezeru. Ako je promena ažuriranje i red postoji u jezeru, odgovarajuća datoteka u jezeru se ažurira, a ne ubacuje, sa inkrementalnim podacima. Drugim rečima, podrazumevana postavka za sve CUD (kreiranje, ažuriranje, brisanje) promena Dataverse u tabelama, createdOn gde je dostupno, jeste da se izvrši ažuriranje na mestu na odredištu, u Azure jezeru sa podacima.

Možete da promenite podrazumevano ponašanje ažuriranja na mestu pomoću opcionog podešavanja koje se zove Samo dodaj. Umesto Ažuriranje na mestu, u Samo dodaj režimu, inkrementalni podaci iz Dataverse tabela se dodaju odgovarajućoj particiji datoteke u jezeru. Ovo je podešavanje po tabeli i dostupno je kao polje za potvrdu u okviru Napredno > Prikaži napredna podešavanja konfiguracije. Za Dataverse tabele gde je uključeno Samo dodaj, sve CUD promene se postupno dodaju odgovarajućim odredišnim datotekama u jezeru. Kada odaberete ovu opciju, podrazumevana strategija particije je Godina, a kada se podaci upišu u jezero podataka, oni se dele po godišnjoj osnovi. Samo dodaj je takođe podrazumevana postavka za Dataverse tabele koje nemaju createdOn vrednost.

Tabela u nastavku opisuje kako se rukuje redovima u jezeru prema CUD događajima za svaku od opcija pisanja podataka.

Događaj	Ažuriranje na mestu	Samo prilaganje
Kreiranje	Red se umeće u datoteku particije i zasnovan je na vrednosti za createdOn u redu.	Red se dodaje na kraj datoteke particije i zasniva se na vrednosti createdOn zapisa.
Ažuriranje	Ako red postoji u datoteci particije, tada se zamenjuje ili ažurira ažuriranim podacima. Ako ne postoji, ubacuje se u datoteku.	Red, zajedno sa ažuriranom verzijom, dodaje se na kraj datoteke particije.
Delete	Ako red postoji u datoteci particije, uklanja se iz datoteke.	Red se dodaje na kraj datoteke particije sa IsDelete column = True.

Napomena

Za Dataverse tabele gde je omogućeno Samo dodaj, brisanje reda u izvoru neće izbrisati ili ukloniti red u jezeru. Umesto toga, izbrisani red se dodao kao novi red u jezeru, a kolona je postavljena isDeleted na vrednost True.

Prljavo čitanje (ALLOW_INCONSISTENT_READS) za bez servera omogućeno je samo za režim za amort. ALLOW_INCONSISTENT_READS znači da korisnik može da čita datoteke koje se mogu stalno menjati dok SELECT je upit pokrenut. Rezultati će biti dosledni i ekvivalentni čitanju snimka datoteke. (Nije ekvivalentno izolaciji snimka baze podataka zbog različitog vremena generacije snimka.)

Neće sve CUD promene biti uhvaćene samo u dodacima: Sinapsa Link obrađuje promene podataka u grupama ili "grupama" pre nego što ih objavi na jezeru sa podacima. Kao rezultat toga, ako korisnik izvrši promene u kratkom vremenskom intervalu, neće sve CUD promene biti uhvaćene u jezeru sa podacima.

Evo malo više detalja o tome kada da koristite koju od opcija.

• Ažuriranje na mestu: Ova opcija je podrazumevana postavka i preporučuje se samo ako želite da se direktno povežete sa podacima u jezeru i treba vam trenutni status (ne istorija ili inkrementalne promene). Datoteka sadrži ceo skup podataka i možete se koristiti putem usluge Power BI ili kopiranjem celokupnog skupa podataka za ETL (Izvoz, Transfer, Učitavanje) kanale.
• Samo dodaj: Izaberite ovu opciju ako se ne povezujete direktno sa podacima u jezeru i želite postupno kopirati podatke na drugi cilj pomoću ETL kanala. Ova opcija obezbeđuje istoriju promena kako bi bili omogućeni AI i ML scenariji.

Možete da prebacite opciju Prikaži napredna podešavanja konfiguracije u odeljku Napredno u usluzi Azure Synapse Link for Dataverse da biste prilagodili strategiju particije podataka i izabrali opcije za pisanje u Azure Data Lake.

Podela podataka

Kada upisujete podatke tabele iz usluge Dataverse u Azure Data Lake Storage pomoću usluge Azure Synapse Link, tabele su podeljene (umesto jedne datoteke) u jezeru na osnovu vrednosti createdOn na svakom redu u izvoru. Podrazumevana strategija podele je po mesecima, a podaci se dele u Azure jezeru podataka mesečno.

Na osnovu obima Dataverse tabele i distribucije podataka, možete odabrati detaljniju strategiju particionisanja za podelu podataka po godinama. Sa ovom opcijom, kada se podaci iz Dataverse tabele se zapisuju u Azure jezero podataka, deliće se godišnje na osnovu vrednosti createdOn na svakom redu u izvoru. Za tabele bez createdOn kolone, redovi podataka se podele u novu datoteku svakih 5,000,000 zapisa. Ovo je podešavanje po tabeli i dostupno je kao polje za potvrdu u okviru Napredno > Prikaži napredna podešavanja konfiguracije.

Više detalja sa primerima kako se rukuje podacima u jezeru sa godišnjom ili mesečnom strategijom podele:

Pogledajte i ovo

Azure Synapse Link for Dataverse

Napomena

Možete li nam reći o svojim željenim postavkama jezika u dokumentaciji? Ispunite kratku anketu. (imajte na umu da je ova anketa na engleskom jeziku)

Anketa će trajati oko sedam minuta. Ne prikupljaju se lični podaci (izjava o privatnosti).