Δημιουργία Azure Synapse Link for Dataverse με Azure Data Lake

Μπορείτε να χρησιμοποιήσετε το Azure Synapse Link για να συνδέσετε τα δεδομένα Microsoft Dataverse στο Azure Data Lake Storage Gen2 για να ενεργοποιήσετε διάφορα σενάρια ανάλυσης. Αυτό το άρθρο σάς δείχνει πώς να εκτελέσετε τις ακόλουθες εργασίες:

  1. Συνδέστε τα δεδομένα του Dataverse με τον λογαριασμό Azure Data Lake Storage Gen2 με την υπηρεσία Azure Synapse Link.
  2. Διαχείριση πινάκων Dataverse που περιλαμβάνονται στο Azure Synapse Link.
  3. Παρακολουθήστε το Azure Synapse Link.
  4. Κατάργηση σύνδεσης του Azure Synapse Link.
  5. Επανασυνδέστε το Azure Synapse Link σας.
  6. Προβάλετε τα δεδομένα σας στο Azure Data Lake και κατανοήστε τη δομή του αρχείου.

Σημείωση

Το Azure Synapse Link for Dataverse παλαιότερα ήταν γνωστό ως Export to data lake. Η υπηρεσία μετονομάστηκε από τον Μάιο του 2021 και θα συνεχίσει να εξαγάγει δεδομένα στο Azure Data Lake καθώς και στο Azure Synapse Analytics.

Προϋποθέσεις

  • Azure Data Lake Storage Gen2: Πρέπει να διαθέτετε λογαριασμό Azure Data Lake Storage Gen2 και ρόλο πρόσβασης Κατόχου και Συμμετέχοντα δεδομένων αποθηκευτικού χώρου Blob. Ο λογαριασμός χώρου αποθήκευσης πρέπει να ενεργοποιήσει τον ιεραρχικό χώρο ονομάτων και συνιστούμε η αναπαραγωγή να οριστεί σε ιδιότητες χώρου αποθήκευσης γεω-πλεονασμών για ανάγνωση (RA-GRS)

Σημείωση

  • Ο λογαριασμός αποθήκευσης πρέπει να δημιουργηθεί στον ίδιο μισθωτή Azure Active Directory (Azure AD) με τον Power Apps μισθωτή σας.
  • Ο λογαριασμός χώρου αποθήκευσης πρέπει να δημιουργηθεί στην ίδια περιοχή με το Power Apps περιβάλλον στο οποίο θα χρησιμοποιήσετε τη λειτουργία.
  • Πρέπει να έχετε πρόσβαση με ρόλο Αναγνώστη στην ομάδα πόρων με τον λογαριασμό χώρου αποθήκευσης.
  • Για να συνδέσετε το περιβάλλον Dataverse στο Azure Data Lake Storage Gen2, πρέπει να έχετε ρόλο ασφαλείας διαχειριστή συστήματος Dataverse.
  • Μπορούν να προστεθούν μόνο πίνακες που έχουν ενεργοποιημένη την παρακολούθηση αλλαγών.

Συνδέστε το Dataverse στο Azure Data Lake Storage Gen2

  1. Συνδεθείτε στο Power Apps και επιλέξτε το προτιμώμενο περιβάλλον.

  2. Στο αριστερό τμήμα παραθύρου περιήγησης, επιλέξτε Δεδομένα, επιλέξτε Azure Synapse Link και, στη συνέχεια, στη γραμμή εντολών επιλέξτε + Νέα σύνδεση στο Data Lake.

    Μεταβείτε στο Power Apps.

  3. Επιλέξτε τη Συνδρομή, Ομάδα πόρων και Λογαριασμός χώρου αποθήκευσης. Βεβαιωθείτε ότι ο λογαριασμός χώρου αποθήκευσης πληροί τις απαιτήσεις που καθορίζονται στην ενότητα Προϋποθέσεις. Επιλέξτε Επόμενο.

    Σημείωση

    Στο πλαίσιο της σύνδεσης του περιβάλλοντος Dataverse με ένα data lake, παραχωρείτε στην υπηρεσία Azure Synapse Link πρόσβαση στον λογαριασμό χώρου αποθήκευσης. Βεβαιωθείτε ότι ακολουθήσατε τις προϋποθέσεις για τη δημιουργία και τη ρύθμιση παραμέτρων του λογαριασμού Azure Data Lake Storage και για να παραχωρήσετε στον εαυτό σας έναν ρόλο κατόχου στον λογαριασμό χώρου αποθήκευσης. Επιπλέον, μπορείτε να εκχωρήσετε στην υπηρεσία Power Platform Dataflows πρόσβαση στον λογαριασμό χώρου αποθήκευσης. Περισσότερες πληροφορίες: Ίδια προετοιμασία δεδομένων με ροές δεδομένων.

  4. Προσθέστε τους πίνακες που θέλετε να εξαγάγετε και, στη συνέχεια, επιλέξτε Αποθήκευση. Μπορούν να εξαχθούν μόνο πίνακες με ενεργοποιημένη την παρακολούθηση αλλαγών. Περισσότερες πληροφορίες: Ενεργοποίηση της παρακολούθησης αλλαγών.

    Επιλέξτε πίνακες για εξαγωγή.

Μπορείτε να ακολουθήσετε τα παραπάνω βήματα για να δημιουργήσετε μια σύνδεση από ένα Dataverse περιβάλλον σε πολλά data lake Azure στη συνδρομή σας Azure. Παρομοίως, θα μπορούσατε να δημιουργήσετε μια σύνδεση από πολλά Dataverse περιβάλλοντα στο ίδιο Azure Data Lake, όλα μέσα στον ίδιο μισθωτή.

Σημείωση

Τα δεδομένα που εξάγονται από την υπηρεσία Azure Synapse Link κρυπτογραφούνται σε κατάσταση αδράνειας στο Azure Data Lake Storage Gen2. Επιπλέον, τα μεταβατικά δεδομένα στο χώρο αποθήκευσης αντικειμένων blob κρυπτογραφούνται επίσης σε αδράνεια. Με την κρυπτογράφηση στο Azure Data Lake Storage Gen2 προστατεύετε τα δεδομένα σας, υλοποιείτε πολιτικές ασφαλείας για επιχειρήσεις και καλύπτετε τις απαιτήσεις συμμόρφωσης των κανονισμών. Περισσότερες πληροφορίες: Κρυπτογράφηση σε αδράνεια δεδομένων Azure

Επί του παρόντος, δεν μπορείτε να παρέχετε δημόσιες διευθύνσεις ΙΡ για την υπηρεσία Azure Synapse Link for Dataverse που μπορεί να χρησιμοποιηθεί στις Ρυθμίσεις τείχους προστασίας Azure Data Lake. Οι κανόνες δημόσιων δικτύων IP δεν έχουν καμία επίπτωση στις αιτήσεις που προέρχονται από την ίδια περιοχή Azure με τον λογαριασμό χώρου αποθήκευσης. Οι υπηρεσίες που αναπτύσσονται στην ίδια περιοχή με τον λογαριασμό αποθήκευσης χρησιμοποιούν ιδιωτικές διευθύνσεις IP Azure για επικοινωνία. Επομένως, δεν μπορείτε να περιορίσετε την πρόσβαση σε συγκεκριμένες υπηρεσίες Azure βάσει του εύρους δημόσιας διεύθυνσης IP που έχουν εξερχόμενη. Περισσότερες πληροφορίες: Ρύθμιση παραμέτρων των τειχών προστασίας αποθήκευσης Azure και των εικονικών δικτύων

Διαχείριση δεδομένων πινάκων στη λίμνη δεδομένων

Αφού ρυθμίσετε το Azure Synapse Link μπορείτε να διαχειριστείτε τους πίνακες που εξάγονται με έναν από τους εξής δύο τρόπους:

  • Στην πύλη δημιουργίας Power Apps, στην περιοχή Azure Synapse Link, επιλέξτε Διαχείριση πινάκων στη γραμμή εντολών, για να προσθέσετε ή να καταργήσετε έναν ή περισσότερους συνδεδεμένους πίνακες.

  • Στην πύλη δημιουργίας Power Apps, στην περιοχή Πίνακες, επιλέξτε ... δίπλα σε έναν πίνακα και, στη συνέχεια, επιλέξτε τη συνδεδεμένη λίμνη δεδομένων όπου θέλετε να εξαγάγετε τα δεδομένα του πίνακα.

    Επιλέξτε 'εναν πίνακα για εξαγωγή.

Αφού ρυθμίσετε το Azure Synapse Link, μπορείτε να παρακολουθήσετε το Azure Synapse Link στην καρτέλα Πίνακες.

Εποπτεία Azure Synapse Link

  • Θα υπάρχει μια λίστα πινάκων που αποτελούν μέρος του επιλεγμένου Azure Synapse Link.
  • Υπάρχουν διάφορα στάδια στα οποία θα αλλάξει η κατάσταση συγχρονισμού. Το NotStarted δηλώνει ότι ο πίνακας περιμένει να συγχρονιστεί. Όταν ολοκληρωθεί ο αρχικός συγχρονισμός του πίνακα, θα υπάρχει ένα στάδιο μετέπειτα επεξεργασίας όπου δεν θα πραγματοποιούνται προσαυξητικές ενημερώσεις. Αυτό μπορεί να διαρκέσει αρκετές ώρες ανάλογα με το μέγεθος των δεδομένων σας. Καθώς ξεκινούν να πραγματοποιούνται τμηματικές ενημερώσεις, η ημερομηνία του τελευταίου συγχρονισμού θα ενημερώνεται τακτικά.
  • Η στήλη Πλήθος εμφανίζει τις γραμμές αριθμού που έχουν συνταχθεί. Όταν η τιμή Προσάρτηση μόνο ορίζεται σε Όχι, αυτός είναι ο συνολικός αριθμός των καρτελών. Όταν η τιμή Προσάρτηση μόνο ορίζεται σε Ναι, αυτός είναι ο συνολικός αριθμός των αλλαγών.
  • Οι στήλες Προσάρτηση μόνο και Στρατηγική διαμερισμού δείχνουν τη χρήση διαφορετικών σύνθετων ρυθμίσεων παραμέτρων.
  1. Επιλέξτε το επιθυμητό Azure Synapse Link για κατάργηση σύνδεσης.

  2. Επιλέξτε Κατάργηση σύνδεσης λίμνης δεδομένων από τη γραμμή εντολών.

  3. Για να διαγράψετε και τα δύο συστήματα αρχείων λίμνης δεδομένων, επιλέξτε Διαγραφή συστήματος αρχείων λίμνης δεδομένων.

  4. Επιλέξτε Ναι και περιμένετε μερικά λεπτά για να καταργηθεί και να διαγραφεί κάθε στοιχείο.

Αν διαγράψατε το σύστημα αρχείων κατά την κατάργηση της σύνδεσης, ακολουθήστε τα παραπάνω βήματα για να επανασυνδεθεί η ίδια λίμνη δεδομένων. Εάν δεν διαγράψαμε το σύστημα αρχείων κατά την κατάργηση της σύνδεσης, πρέπει να διαγράψετε τα δεδομένα για να τα επανασυνδέσετε:

  1. Μεταβείτε στο Azure Data Lake.

  2. Διαγράψτε τον περιέκτη Dataverse.

  3. Μεταβείτε στο Power Apps και επανασυνδέστε τη λίμην δεδομένων.

Προβολή των δεδομένων σας στο Azure Data Lake Storage Gen2

  1. Επιλέξτε το επιθυμητό Azure Synapse Link και, στη συνέχεια, επιλέξτε Μετάβαση στη λίμνη δεδομένων Azure από τον πάνω πίνακα.

  2. Αναπτύξτε το στοιχείο Συστήματα αρχείων και, στη συνέχεια, επιλέξτε dataverse-environmentName-organizationUniqueName.

Το αρχείο model.json μαζί με το όνομα και την έκδοση του, παρέχει μια λίστα πινάκων που έχουν εξαχθεί στη λίμνη δεδομένων. Το αρχείο model.json περιλαμβάνει επίσης την αρχική κατάσταση συγχρονισμού και την ολοκλήρωση του χρόνου.

Για κάθε πίνακα που έχει εξαχθεί στη λίμνη δεδομένων εμφανίζεται ένας φάκελος που περιλαμβάνει αρχεία οριοθετημένα με κόμματα (μορφή CSV) του στιγμιότυπου. Πίνακας δεδομένων στη λίμνη δεδομένων.

Ενημερώσεις συνεχών στιγμιοτύπων

Τα δεδομένα Microsoft Dataverse μπορούν να αλλάζουν συνεχώς μέσω της δημιουργίας, της ενημέρωσης και της διαγραφής συναλλαγών. Τα στιγμιότυπα παρέχουν ένα αντίγραφο στιγμιοτύπου μόνο για ανάγνωση των δεδομένων που ενημερώνονται σε τακτά χρονικά διαστήματα, δηλαδή κάθε ώρα. Με αυτόν τον τρόπο εξασφαλίζεται ότι σε οποιοδήποτε σημείο, ένας καταναλωτής με ανάλυση δεδομένων μπορεί να καταναλώσει αξιόπιστα δεδομένα στο data lake.

Ενημερώσεις συνεχών στιγμιοτύπων οθόνης.

Όταν προστίθενται πίνακες ως μέρος της αρχικής εξαγωγής, τα δεδομένα του πίνακα καταγράφονται στα αρχεία table.csv που βρίσκονται κάτω από τους αντίστοιχους φακέλους της λίμνης δεδομένων. Αυτό είναι το διάστημα T1, όπου δημιουργείται ένα αρχείο στιγμιότυπου μόνο για ανάγνωση, με όνομα table-T1.csv—για παράδειγμα, Account-T1.csv ή Contacts-T1.csv—. Επιπλέον, το αρχείο model.json ενημερώνεται ώστε να παραπέμπει σε αυτά τα αρχεία στιγμιότυπου. Ανοίγοντας το model.json, μπορείτε να προβάλετε τις λεπτομέρειες του στιγμιότυπου.

Ακολουθεί ένα παράδειγμα του αρχείου Account.csv που έχει χωριστεί σε διαμερίσματα και του φακέλου στιγμιότυπων οθόνης στο data lake.

Στιγμιότυπο οθόνης πίνακα Λογαριασμών.

Οι αλλαγές στο Dataverse προωθούνται στα αντίστοιχα αρχεία CSV με τη χρήση του μηχανισμού ροής τροφοδοσίας. Αυτό είναι το διάστημα T2, όπου ένα άλλο στιγμιότυπο έχει ληφθεί. Ο πίνακας-T2.csv—για παράδειγμα, Accounts-T2.csv or Contacts-T2.csv (με την προϋπόθεση ότι υπάρχουν αλλαγές για τον πίνακα) —and model.json ενημερώνονται στα νέα αρχεία στιγμιότυπου. Κάθε νέο άτομο που προβάλλει δεδομένα στιγμιότυπου από το T2 και μετά μεταδίδεται στα νεότερα αρχεία στιγμιότυπου. Με αυτόν τον τρόπο, το αρχικό πρόγραμμα προβολής στιγμιότυπων μπορεί να συνεχίσει να λειτουργεί στα παλαιότερα αρχεία στιγμιότυπου Τ1, ενώ τα νεότερα προγράμματα προβολής μπορούν να διαβάσουν τις πιο πρόσφατες ενημερώσεις. Αυτό είναι χρήσιμο σε σενάρια με μεγαλύτερες διαδικασίες εκτέλεσης κατάντη.

Ακολουθεί ένα παράδειγμα του αρχείου model.json το οποίο επισημαίνει πάντα το πιο πρόσφατο αρχείο στιγμιότυπου του λογαριασμού με σήμανση χρόνου.

Αρχείο Sample snapshot model.json.

Τι ακολουθεί;

Αφού χρησιμοποιήσετε με επιτυχία την υπηρεσία Azure Synapse Link for Dataverse, ανακαλύψτε πώς μπορείτε να αναλύσετε και να κατανείμετε τα δεδομένα σας με το Κέντρο εξερεύνησης. Για να αποκτήσετε πρόσβαση στο Κέντρο εξερεύνησης, μεταβείτε στο Power Apps > Azure Synapse Link. Επιλέξτε τη συνδεδεμένη υπηρεσία και, στη συνέχεια, επιλέξτε την καρτέλα Ανακαλύψτε το κέντρο. Εδώ μπορείτε να βρείτε τα συνιστώμενα εργαλεία και την τεκμηρίωση που θα σας βοηθήσουν να αξιοποιήσετε στο έπακρο τα δεδομένα σας. Ανακαλύψτε το κέντρο.

Δείτε επίσης

Ανάλυση δεδομένων Dataverse στο data lake με το Power BI

Ενσωμάτωση δεδομένων Dataverse στο data lake με το Azure Data Factory

Ρύθμιση παραμέτρων Azure Synapse Link for Dataverse για προχωρημένους

Συνήθεις ερωτήσεις Azure Synapse Link

Σημείωση

Μπορείτε να μας πείτε ποια γλώσσα προτιμάτε για την τεκμηρίωση; Πάρτε μέρος σε μια σύντομη έρευνα. (σημειώνεται ότι αυτή η έρευνα είναι στα Αγγλικά)

Η έρευνα θα διαρκέσει περίπου επτά λεπτά. Δεν συλλέγονται προσωπικά δεδομένα (δήλωση προστασίας προσωπικών δεδομένων).