Azure Synapse Link for Dataverse – Najčešća pitanja

Datoteke sa podacima ne bi trebalo da menja klijent, a nijedna datoteka korisnika ne bi trebalo da bude smeštena u fascikle sa podacima.

Da biste pristupili odnosi "više-prema-više", relacija je dostupna kao tabela da biste izabrali sa stranice "Dodavanje tabela" za novu vezu i iz tabela "Upravljanje " za postojeću vezu.

Azure Synapse Link je besplatna funkcija sa Dataverse. Korišćenje ne Azure Synapse Link for Dataverse naplaćuje dodatne troškove Dataverse. Međutim, razmotrite potencijalne troškove za Azure uslugu:

• Skladište podataka u Azure Data Lake Storage Gen2: Azure Storage Data Lake Gen2 Cene | Microsoft Azure
• Trošak potrošnje podataka (kao što je sinapsa radnog prostora): Cene - Azure Synapse Analytics | Microsoft Azure Za sveobuhvatne informacije o upravljanju Microsoft troškovima posetite lokaciju: Plan za upravljanje Azure troškovima - Microsoft Cost Management | Microsoft Learn

Kada dodate novu kolonu u tabelu u izvoru, ona se dodaje i na kraju datoteke na odredištu na odgovarajućoj particiji datoteka. Iako redovi koji su postojali pre dodavanja kolone nisu prikazani u novoj koloni, novi ili ažurirani redovi prikazuju novododate kolonu.

Kada izbrišete kolonu iz tabele u izvoru, kolona neće biti izbačena sa odredišta. Umesto toga, redovi se više ne ažuriraju i označavaju se kao nula uz očuvanje prethodnih redova.

Promena tipa podataka kolone je prelomna promena i potrebno je da raskinete vezu i ponovo povežete.

Brisanje reda obrađuje se različito na osnovu izabranih opcija upisivanja podataka:

• Ažuriranje na mestu sa CSV formatom: Ovo je podrazumevani režim. Kada izbrišete red tabele u ovom režimu, red se briše i sa odgovarajuće particije sa podacima u Azure jezeru sa podacima. Drugim rečima, podaci se teško brišu sa odredišta.
• Dodaj samo sa CSV formatom i postepenom ispravkom fascikle: u ovom režimu, Dataverse kada se izbriše red tabele, on se ne briše sa odredišta. Umesto toga, red se dodaje i postavlja kao datoteka isDeleted=True na odgovarajućoj particiji sa podacima u Azure Data Lake.
• Izvoz u Delta lake format: Azure Synapse Link izvršava meko brisanje podataka tokom sledećeg ciklusa sinhronizacije delte, nakon čega sledi tvrdo brisanje nakon 30 dana.

Azure Synapse Link prati Model zajedničkih podataka da bi omogućio podatke i znači da se dele u aplikacijama i poslovnim procesima kao što Microsoft Power Apps su,, Power BI Dynamics 365 i Azure". U svakoj CDM fascikli, metapodaci poput zaglavlja kolone skladište se u model.json datoteke. Više informacija: Uobičajeni model podataka i Azure Data Lake Storage Gen2 | Microsoft Learn

Model.json zadržava dužinu baze podataka za veličinu kolone. Dataverse ima koncept dužine baze podataka za svaku kolonu. Ako kreirate kolonu veličine 200, a kasnije je smanjite na 100, Dataverse i dalje ćete moći da budete prisutni u postojećim podacima Dataverse. To radi tako što drži DBLength do 200 i MaxLength 100. Ono što vidite Model.json je i DBLength ako to koristite za nizvodne procese nikada nećete obezbediti manji prostor za svoje kolone Dataverse .

Postoje tri formata datuma i vremena koje možete da očekujete u izvezenim Dataverse tabelama.

Ovo ponašanje se očekuje kada odaberete režim izvoza samo za amort i imate tabele bez važeće kolone CreatedOn . Grudvice su organizovane u datoteke kao što 1.csv, 2.csv (koriste prilagođeno kreiranje particija zbog odsustva važećeg datuma kreiranja). Kada se bilo koja particija približi 95% MaxBlockPerBlobLimit-a, sistem automatski generiše novu datoteku – ilustrovanu ovde kao 1_001.csv.

Za Dataverse tabele u kojima je obim podataka velik u roku od godinu dana, preporučujemo vam upotrebu mesečnih particija. To rezultira manjim datotekama i boljim performansama. Pored toga, ako se redovi u tabelama Dataverse često ažuriraju, deljenje na više manjih datoteka pomaže da se poboljšaju performanse u slučaju scenarija ažuriranja na određenom mestu. Delta Lake je dostupan samo sa godišnjom particijom zbog svojih superiornih performansi u poređenju sa CSV formatom.

Samo u režimu amortizovanja, postepeni podaci Dataverse iz tabela se pridodaju odgovarajućoj particiji datoteke u jezeru. Za više informacija:Napredne opcije konfiguracije u Azure Synapse Link

Režim „Samo dodaj“ je preporučena opcija za pisanje podataka Dataverse tabele u jezero, posebno kada je količina podataka velika u particiji sa podacima koji se često menjaju. Opet, ovo je često korišćena i toplo preporučena opcija za poslovne korisnike. Pored toga, ovaj režim možete da koristite za scenarije u kojima je namera postepeni pregled promena Dataverse i obraditi promene za ETL, AI i ML scenarije. Režim „Samo dodaj“ pruža istoriju promena, umesto najnovije promene ili ažuriranja na mestu, i omogućava nekoliko vremenskih serija iz AI scenarija, poput predviđanja ili analitike prognoziranja zasnovanu na istorijskim vrednostima.

U režimu "Dodaj samo" trebalo bi da identifikujete najnoviju verziju zapisa sa istim ID-om koristeći, VersionNumber a zatim SinkModifiedOn da primenite isDeleted=0 najnoviju verziju.

Samo za dodaj režim, Azure Synapse Link for Dataverse ako ne dobije potvrdu iz Azure jezera podataka da su podaci počinjeni iz bilo kog razloga kao što su kašnjenja u mreži, ponovo Azure Synapse Link će pokušati u tim scenarijima i ponovo izvršiti podatke. Potrošnja nizvodno treba da bude otporna na ovaj scenario filtriranjem podataka pomoću SinkModifiedOn.

To je očekivano. Modifiedon je datum kada se zapis menja Dataverse u; Sinkmodifiedon je datum i vreme koje zapis menja u jezeru sa podacima.

Pored sledećih sistemskih tabela, nije podržana nijedna tabela koja nema omogućeno praćenje promena:

• Prilog
• Kalendar
• Calendarrule

Posao konverzije Delta jezera se pokreće kada je došlo do promene podataka u konfigurisanom vremenskom intervalu. Ne postoji opcija zaustavljanja ili pauziranja Apache Spark bazena. Međutim, vremenski interval možete izmeniti nakon kreiranja veze u okviru stavke Upravljanje tabelama > "Više opcija vremena".

Kolone za pronalaženje se satiju od ID-a i vrednosti. Vrednosti za pronalaženje se menjaju samo u osnovnoj tabeli. Da biste bolje odražavali vrednost kolone za pronalaženje, preporučujemo da se udružite sa originalnom osnovnom tabelom da biste dobili najnoviju vrednost.

U Dataverse kolonama izračunate kolone čuvaju samo informacije o formuli, a prava vrednost zavisi od kolone osnovne tabele. Tako da su izračunate kolone podržane samo kada se sve kolone nalaze u istoj izvezenoj tabeli.

Sve tabele koje nemaju kreiranoOn polje se podrazumevano sinhronizuju samo pomoću režima dodavanja. To uključuje tabele relacija i tabelu "ActivityParty".

• Dataverse podaci se skladište u povezanom kontejneru za skladištenje. Potrebna vam je uloga "Storage Blob Data saradnik" u povezanom nalogu skladišta da biste izvršavali operacije čitanja i upita preko sinapse radnog prostora.
• Ako odaberete da izvezete podatke sa Delta Lake formatom, vaša CSV datoteka se čisti nakon konverzije Delta jezera. Potrebno je da izvršite upit nad podacima non_partitioned tabele kroz sinapsu radnog prostora.

Dataverse podaci se mogu neprestano menjati kroz kreiranje, ažuriranje i brisanje transakcija. Do ove greške dolazi usled promene osnovne datoteke prilikom čitanja podataka iz nje. Dakle, za tabele sa neprekidnim promenama promenite protrošakni cevovod da biste koristili podatke snimka (podeljene tabele) za korišćenje. Više informacija:Rešavanje problema sa SQL bazenom bez servera

Azure Synapse Link for Dataverse je dizajniran u analitičke svrhe. Preporučujemo klijentima da koriste dugoročno zadržavanje u svrhe arhiviranja. Više informacija:pregled Dataverse dugoročnog zadržavanja podataka

Da bi bilo koji direktan SQL poziv uklonio zapis Azure Synapse Link for Dataverse , usluga se ne pokreće zato što BPO. Brisanje se ne poziva. Za probnu funkciju idite na " Kako očistiti nasleđeni pristup".

Pogledajte i ovo

Azure Synapse Link for Dataverse