Azure Synapse Link бағдарламасындағы кеңейтілген конфигурация опциялары

Azure Synapse Link бағдарламасы әртүрлі аналитикалық сценарийлерге сәйкестендіру үшін деректерді жазу және оқудың бірнеше әдісін ұсынады.

Ескерім

Azure Synapse Link for Dataverse бағдарламасы бұрын Data Lake қызметіне экспорттау ретінде белгілі болған. Қызметтің атауы 2021 жылдың мамырынан бастап өзгертілді және деректерді Azure Data Lake қызметіне және Azure Synapse Analytics қызметіне экспорттауды жалғастырады.

Бұл мақала мыналарды қарастырады:

1. Жергілікті жаңартулар және тек үстеу жазбалары.
2. Пайдаланушыға арналған деректерді бөлу.

Жергілікті жаңартулар және тек үстеу жазбалары

Dataverse кестер деректерін Azure деректер көліне жазба жасалған күн мен уақытты білдіретін createdOn мәні негізінде жазған кезде, таңдау үшін екі түрлі параметр беріледі. Олар Орнында жаңарту және Тек үстеу болып табылады.

Әдепкі параметр (createdOn мәні қолжетімді кестелер үшін) бұл жергілікті жаңартуды жасау немесе қосымша деректерді мақсатты орнында жаңарту немесе кірістіру үшін арналған. Егер өзгеріс жаңа болса және көлде сәйкес жол жоқ болса, құру кезінде мақсатты файлдар сканерленіп, өзгертулер көлдегі тиісті файл бөліміне енгізіледі. Егер өзгеріс жаңарту болса және көлде жол болса, қосымша деректер енгізілмей, көлдегі сәйкес файл жаңартылады. Басқаша айтқанда, бар кестелердегі Dataverse createdOn барлық CUD (жасау, жаңарту, жою) үшін әдепкі параметр бар жерде, Azure деректер көлінде орнында жаңартуды орындау болып табылады.

Орнында жаңарту параметрінің әдепкі әрекетін Тек үстеу деп аталатын қосымша параметрді пайдалану арқылы ауыстыруға болады. Орнында жаңарту параметріне қарағанда Тек үстеу режимінде Dataverse кестелеріндегі қосымша деректер көлдегі тиісті файл бөліміне қосылады. Бұл әр кестеге арналған параметр және Кеңейтілген > Кеңейтілген конфигурация параметрлерін көрсету бөлімінде құсбелгі ретінде қолжетімді. Тек үстеу параметрі қосулы Dataverse кестелері үшін барлық CUD өзгерістері көлдегі тиісті мақсатты файлдарға біртіндеп қосылады. Бұл параметрді таңдаған кезде бөлік стратегиясы әдепкі бойынша Жыл болады және деректер деректер көліне жазылған кезде, олар жыл сайынғы негізде бөлінеді. Тек үстеу параметрі createdOn мәні жоқ Dataverse кестелері үшін де әдепкі параметр болып табылады.

Төмендегі кестеде жолдардың көлде әр деректерді жазу опцияларының CUD оқиғаларына қатысты қалай өңделетіні сипатталған.

Оқиға	Орнында жаңарту	Тек үстеу
Жасау	Жол бөлім файлына енгізіледі және жолдағы createdOn мәніне негізделеді.	Жол бөлім файлының соңына қосылады және жазбаның createdOn мәніне негізделеді.
Update	Егер бөлім файлында жол болса, онда ол жаңартылған деректермен ауыстырылады немесе жаңартылады. Егер ол жоқ болса, ол файлға енгізіледі.	Жол жаңартылған нұсқамен бірге бөлім файлының соңына қосылады.
Delete	Егер жол бөлім файлында болса, ол файлдан жойылады.	Жол бөліну файлының соңына қосылады IsDelete column = True.

Ескерім

Тек үстеу параметрі қосулы Dataverse кестелері үшін дереккөздегі жолды жою көлдегі жолды жоймайды немесе алып тастамайды. Оның орнына жойылған жол көлдегі isDeleted жаңа жол ретінде қосымшаланып, баған True деп орнатылады.

Серверсіздерге арналған лас оқу (ALLOW_INCONSISTENT_READS) тек қосу режимі үшін қосылады. ALLOW_INCONSISTENT_READS дегеніміз пайдаланушы сұрау жұмыс істеп тұрған кезде SELECT үнемі өзгертілуі мүмкін файлдарды оқи алатынын білдіреді. Нәтижелер дәйекті және файлдың түсірілімін оқуға тең болады. (Әр түрлі түсірілім буынының уақытына байланысты дерекқордың түсірілім оқшаулауына барабар емес.)

CUD барлық өзгерістері тек қосымшада ғана түсірілмейді: Synapse Link деректердің топтардағы немесе «партиялардағы» өзгерістерін деректер көліне жарияламас бұрын өңдейді. Нәтижесінде, егер пайдаланушы қысқа уақыт аралығы ішінде өзгерістер енгізсе, онда деректер көлінде КҚБ-ның барлық өзгерістері түсірілмейді.

Опцияларды қашан пайдалану керектігі туралы бірнеше қосымша мәліметтер берілген.

• Орнында жаңарту: бұл опция әдепкі параметр және оны көлдегі деректерге тікелей қосылу және ағымдағы күй қажет болған жағдайда (тарихи немесе қосымша өзгерістер емес) пайдалану ұсынылады. Файл толық деректер жинағын қамтиды және оны Power BI бағдарламасы арқылы немесе ETL (шығару, тасымалдау, жүктеу) үдерістер тізбегінің барлық деректер жинағын көшіру арқылы пайдалануға болады.
• Тек үстеу: бұл параметрді көлдегі деректерге тікелей қосылмайтын болсаңыз және ETL үдерістер тізбегін пайдаланып деректерді басқа мақсатқа орынға біртіндеп көшіру керек болса таңдаңыз. Бұл опция AI және ML сценарийлерін қосу үшін өзгерістер тарихын ұсынады.

Деректер бөліктері стратегиясын реттеу және Azure деректер көліне жазу үшін опцияларды таңдау үшін Azure Synapse Link for Dataverse ішіндегі Кеңейтілген аймағындағы Кеңейтілген конфигурация параметрлерін көрсету опциясын қосуға болады.

Деректерді бөлу

Dataverse кесте деректерін Azure data lake storage жүйесіне Azure Synapse Link жүйесіне жазған кезде, кестелер (бір файлдың орнына) көлде бастапқы көздегі әр жолдың createdOn мәнінің негізінде бөлінеді. Әдепкі бөлу стратегиясы ай бойынша және деректер Azure деректер көлінде ай негізінде бөлінеді.

Dataverse кесте көлемі және деректерді тарату негізінде деректерді жыл бойынша бөлуді таңдауға болады. Бұл опциямен Dataverse кесте деректері Azure деректер көліне жазылған кезде олар дереккөздегі әр жолдағы createdOn мәні негізінде жыл сайынғы негізде бөлінеді. Бағансыз createdOn кестелер үшін деректер жолдары әрбір 5,000,000 жазбаларын жаңа файлға бөледі. Бұл әр кестеге арналған параметр және Кеңейтілген > Кеңейтілген конфигурация параметрлерін көрсету бөлімінде құсбелгі ретінде қолжетімді.

Деректердің көлде жылдық немесе айлық бөлу стратегиясымен қалай өңделетіні туралы мысалдар келтірілген қосымша мәліметтер:

Сонымен қатар қараңыз

Azure Synapse Link for Dataverse

Ескерім

Сіз құжат тіліңіздің артықшылықтары туралы айта аласыз ба? Қысқа сауалнамаға қатысыңыз. (бұл сауалнама ағылшын тілінде екеніне назар аударыңыз)

Сауалнама шамамен жеті минут уақытыңызды алады. Жеке деректер жиналмайды (құпиялылық туралы мәлімдеме).