Reîmprospătare incrementală pentru Power Query și surse de date Azure Data Lake

Reîmprospătare incrementală pentru sursele de date pe baza Power Query sau Azure Data Lake oferă următoarele avantaje:

• Reîmprospătări mai rapide - Numai datele care s-au schimbat se reîmprospătează. De exemplu, este posibil să reîmprospătați doar ultimele cinci zile ale unui set de date istoric.
• Fiabilitate crescută - Cu actualizări mai mici, nu trebuie să mențineți conexiunile la sisteme volatile pentru o perioadă lungă de timp, reducând riscul apariției problemelor de conectare.
• Consum redus de resurse - Reîmprospătarea doar a unui subset din datele dvs. totale duce la utilizarea mai eficientă a resurselor de calcul și reduce amprenta asupra mediului.

Configurați reîmprospătarea incrementală pentru sursele de date pe baza Power Query

Customer Insights permite reîmprospătarea incrementală pentru sursele de date importate prin intermediul Power Query care sprijină ingestia incrementală. De exemplu, bazele de date SQL Azure cu câmpuri de dată și oră, care indică momentul în care înregistrările de date au fost actualizate ultima dată.

1. Creați un nou sursă de date bazat pe Power Query.

2. Selectați un sursă de date care acceptă reîmprospătarea incrementală, cum ar fi Baza de date Azure SQL.

3. Selectați entitățile sau tabelele de ingerat.

4. Finalizați etapele de transformare și selectați Următorul.

5. În caseta de dialog Configurați reîmprospătare incrementală, selectați Configurat pentru a deschide Setări de reîmprospătare incrementală. Dacă selectați Salt, sursa de date va reîmprospăta întregul set de date.

   Sfat

   Puteți aplica, de asemenea, reîmprospătarea incrementală mai târziu prin editarea unei surse de date existente.

6. Pe Setări de reîmprospătare incrementală, veți configura reîmprospătarea incrementală pentru toate entitățile pe care le-ați selectat la crearea sursei de date.

   

7. Selectați o entitate și furnizați următoarele detalii:

   • Definiți cheia principală: Selectați o cheie primară pentru entitate sau tabel.
   • Definiți câmpul „ultima actualizare”: Acest câmp va afișa doar atributele de tip dată sau oră. Selectați un atribut care indică momentul în care înregistrările au fost actualizate ultima dată. Acesta va fi utilizat pentru a identifica înregistrările care se încadrează în intervalul de timp de reîmprospătare incrementală.
   • Verificați dacă există actualizări la fiecare: Specificați cât timp doriți să fie intervalul de timp de reîmprospătare incremental.

8. Selectați salvare pentru a finaliza crearea sursei de date. Actualizarea inițială a datelor va fi o reîmprospătare completă. Ulterior, reîmprospătarea de date incrementală se întâmplă așa cum este configurat în pasul anterior.

Configurați reîmprospătarea incrementală pentru sursele de date Azure Data Lake

Customer Insights permite reîmprospătarea incrementală pentru sursele de date conectate Azure Data Lake Storage. Pentru a utiliza absorbția incrementală și reîmprospătarea pentru o entitate, configurați acea entitate atunci când adăugați Azure Data Lake sursă de date sau mai târziu când editați sursă de date. Dosarul de date entității trebuie să conțină următoarele foldere:

• Date complete : Dosar cu fișiere de date care conțin înregistrările inițiale
• Date incrementale : Folder cu dosare cu ierarhie dată/oră în aaaa/ll/zz/hh format care conține actualizările incrementale. hh reprezintă ora UTC a actualizărilor și conține Upsers și Șterge foldere. Upsers conține fișiere de date cu actualizări ale înregistrărilor existente sau ale înregistrărilor noi. Șterge conține fișiere de date cu înregistrări care trebuie eliminate.

1. Când adăugați sau editați un sursă de date, navigați la Atribute panoul pentru entitate.

2. Examinați atributele. Asigurați-vă că un atribut pentru data creată sau ultima actualizare este configurat cu a dateTime Format de date si a Calendar.Data Tip semantic. Editați atributul dacă este necesar și selectați Terminat.

3. De la Selectați Entități panoul, editați entitatea. The Ingestie incrementală caseta de selectare este bifată.

   

   1. Răsfoiți la folderul rădăcină care conține fișierele .csv sau .parquet pentru date complete, suprafețe de date incrementale și ștergeri incrementale de date.
   2. Introduceți extensia pentru datele complete și pentru ambele fișiere incrementale (. csv sau. parchet).
   3. Pentru fișierele .csv, selectați delimitatorul de coloană și dacă doriți ca primul rând al fișierului ca antet de coloană.
   4. Selectați Salvare.

4. Pentru Ultima actualizare, selectați atributul de marcaj temporal al datei.

5. Dacă Cheia principala nu este selectat, selectați cheia primară. Cheia primară este un atribut unic pentru entitate. Pentru ca un atribut să fie o cheie primară validă, nu ar trebui să includă valori duplicate, valori lipsă sau valori nule. Atributele tipului de date șir, întreg și GUID sunt acceptate ca chei primare.

6. Selectați Închide pentru a salva și a închide panoul.

7. Continuați să adăugați sau să editați sursă de date.

Notă

Ne puteți spune care preferințele dvs. lingvistice pentru documentație? Răspundeți la un chestionar scurt. (rețineți că acest chestionar este în limba engleză)

Chestionarul va dura aproximativ șapte minute. Nu sunt colectate date personale (angajament de respectare a confidențialității).