Δημιουργία Azure Synapse Link for Dataverse με Azure Data Lake

Μπορείτε να χρησιμοποιήσετε το Azure Synapse Link για να συνδέσετε τα δεδομένα Microsoft Dataverse στο Azure Data Lake Storage Gen2 για να ενεργοποιήσετε διάφορα σενάρια ανάλυσης. Αυτό το άρθρο σάς δείχνει πώς να εκτελέσετε τις ακόλουθες εργασίες:

1. Συνδέστε τα δεδομένα του Dataverse με τον λογαριασμό Azure Data Lake Storage Gen2 με την υπηρεσία Azure Synapse Link.
2. Διαχείριση πινάκων Dataverse που περιλαμβάνονται στο Azure Synapse Link.
3. Παρακολουθήστε το Azure Synapse Link.
4. Κατάργηση σύνδεσης του Azure Synapse Link.
5. Επανασυνδέστε το Azure Synapse Link σας.
6. Προβάλετε τα δεδομένα σας στο Azure Data Lake και κατανοήστε τη δομή του αρχείου.

Σημείωση

Το Azure Synapse Link for Dataverse παλαιότερα ήταν γνωστό ως Export to data lake. Η υπηρεσία μετονομάστηκε από τον Μάιο του 2021 και θα συνεχίσει να εξαγάγει δεδομένα στο Azure Data Lake καθώς και στο Azure Synapse Analytics.

Προϋποθέσεις

• Azure Data Lake Storage Gen2: Πρέπει να διαθέτετε λογαριασμό Azure Data Lake Storage Gen2 και ρόλο πρόσβασης Κατόχου και Συμμετέχοντα δεδομένων αποθηκευτικού χώρου Blob. Ο λογαριασμός χώρου αποθήκευσης πρέπει να ενεργοποιήσει τον ιεραρχικό χώρο ονομάτων τόσο για την αρχική εγκατάσταση όσο και για τον συγχρονισμό δέλτα. Το Να επιτρέπεται η πρόσβαση κλειδιού λογαριασμού χώρου αποθήκευσης απαιτείται μόνο για την αρχική εγκατάσταση. Συνιστούμε να ορίσετε την αναπαραγωγή σε χώρο αποθήκευσης γεω-πλεονασμών για ανάγνωση (RA-GRS).

Σημείωση

• Ο λογαριασμός αποθήκευσης πρέπει να δημιουργηθεί στον ίδιο μισθωτή Microsoft Entra με τον Power Apps μισθωτή σας.
• Ο λογαριασμός χώρου αποθήκευσης πρέπει να δημιουργηθεί στην ίδια περιοχή με το Power Apps περιβάλλον στο οποίο θα χρησιμοποιήσετε τη λειτουργία.
• Από προεπιλογή, πρέπει να ενεργοποιήσετε την πρόσβαση δημόσιου δικτύου για τους πόρους Azure τόσο για την αρχική ρύθμιση όσο και για τον συγχρονισμό δέλτα. Για να ορίσετε την επιλογή Ενεργοποιήθηκε από επιλεγμένα εικονικά δίκτυα και διευθύνσεις IP για συνδεδεμένους λογαριασμούς χώρου αποθήκευσης έτσι, ώστε να επιτρέπεται η πρόσβαση μόνο από επιλεγμένα εικονικά δίκτυα και διευθύνσεις IP ή για τη χρήση ιδιωτικών τελικών σημείων, πρέπει να δημιουργήσετε μια σύνδεση Synapse με διαχειριζόμενες ταυτότητες.Χρήση διαχειριζόμενων ταυτοτήτων για το Azure με το Azure Data Lake Storage
• Πρέπει να έχετε πρόσβαση με ρόλο Αναγνώστη στην ομάδα πόρων με τον λογαριασμό χώρου αποθήκευσης.
• Για να συνδέσετε το περιβάλλον στο Azure Data Lake Storage Gen2, πρέπει να έχετε ρόλο ασφαλείας διαχειριστή συστήματος Dataverse.
• Μπορούν να προστεθούν μόνο πίνακες που έχουν ενεργοποιημένη την παρακολούθηση αλλαγών.

Συνδέστε το Dataverse στο Azure Data Lake Storage Gen2

1. Συνδεθείτε στο Power Apps και επιλέξτε το προτιμώμενο περιβάλλον.

2. Στο αριστερό τμήμα παραθύρου περιήγησης, επιλέξτε Azure Synapse Link. Εάν το στοιχείο δεν βρίσκεται στο πλαϊνό τμήμα του πίνακα, επιλέξτε ...Περισσότερα και, στη συνέχεια, επιλέξτε το στοιχείο που θέλετε.

3. Στη γραμμή εντολών, επιλέξτε + Νέα σύνδεση σε λίμνη δεδομένων.

4. Επιλέξτε τη Συνδρομή, Ομάδα πόρων και Λογαριασμός χώρου αποθήκευσης. Βεβαιωθείτε ότι ο λογαριασμός χώρου αποθήκευσης πληροί τις απαιτήσεις που καθορίζονται στην ενότητα Προϋποθέσεις. Επιλέξτε Επόμενο.

   Σημείωση

   Στο πλαίσιο της σύνδεσης του περιβάλλοντος με μια λίμνη δεδομένων, παραχωρείτε στην υπηρεσία Azure Synapse Link πρόσβαση στον λογαριασμό χώρου αποθήκευσης. Βεβαιωθείτε ότι ακολουθήσατε τις προϋποθέσεις για τη δημιουργία και τη ρύθμιση παραμέτρων του λογαριασμού Azure Data Lake Storage και για να παραχωρήσετε στον εαυτό σας έναν ρόλο κατόχου στον λογαριασμό χώρου αποθήκευσης. Επιπλέον, μπορείτε να εκχωρήσετε στην υπηρεσία Power Platform Dataflows πρόσβαση στον λογαριασμό χώρου αποθήκευσης. Περισσότερες πληροφορίες: Ίδια προετοιμασία δεδομένων με ροές δεδομένων.

5. Προσθέστε τους πίνακες που θέλετε να εξαγάγετε και, στη συνέχεια, επιλέξτε Αποθήκευση. Μπορούν να εξαχθούν μόνο πίνακες με ενεργοποιημένη την παρακολούθηση αλλαγών. Περισσότερες πληροφορίες: Ενεργοποίηση της παρακολούθησης αλλαγών.

   

Μπορείτε να ακολουθήσετε τα βήματα σε αυτό το άρθρο για να δημιουργήσετε μια σύνδεση από ένα περιβάλλον σε πολλές λίμνες δεδομένων Azure στη συνδρομή σας Azure. Παρομοίως, θα μπορούσατε να δημιουργήσετε μια σύνδεση από πολλά περιβάλλοντα στο ίδιο Azure Data Lake, όλα μέσα στον ίδιο μισθωτή.

Σημείωση

Η υπηρεσία Azure Synapse Link for Dataverse ενσωματώνεται χωρίς προβλήματα στο Power Platform ως έτοιμη δυνατότητα. Συναντά τα πρότυπα ασφάλειας και διαχείρισης που έχουν οριστεί για τον χώρο αποθήκευσης και τη διαχείριση δεδομένων Power Platform. Περισσότερες πληροφορίες: Χώρος αποθήκευσης και διαχείρισης δεδομένων

Τα δεδομένα που εξάγονται από την υπηρεσία Azure Synapse Link κρυπτογραφούνται κατά τη μετάβαση χρησιμοποιώντας Ασφάλεια επιπέδου μεταφοράς (TLS) 1.2 ή υψηλότερη και κρυπτογραφούνται σε κατάσταση αδράνειας στο Azure Data Lake Storage Gen2. Επιπλέον, τα μεταβατικά δεδομένα στο χώρο αποθήκευσης αντικειμένων blob κρυπτογραφούνται επίσης σε αδράνεια. Με την κρυπτογράφηση στο Azure Data Lake Storage Gen2 προστατεύετε τα δεδομένα σας, υλοποιείτε πολιτικές ασφαλείας για επιχειρήσεις και καλύπτετε τις απαιτήσεις συμμόρφωσης των κανονισμών. Περισσότερες πληροφορίες: Κρυπτογράφηση σε αδράνεια δεδομένων Azure

Διαχείριση δεδομένων πινάκων στη λίμνη δεδομένων

Αφού ρυθμίσετε το Azure Synapse Link μπορείτε να διαχειριστείτε τους πίνακες που εξάγονται με έναν από τους εξής δύο τρόπους:

• Στην πύλη δημιουργίας Power Apps, στην περιοχή Azure Synapse Link, επιλέξτε Διαχείριση πινάκων στη γραμμή εντολών, για να προσθέσετε ή να καταργήσετε έναν ή περισσότερους συνδεδεμένους πίνακες.

• Στην πύλη δημιουργίας Power Apps, στην περιοχή Πίνακες, επιλέξτε ... δίπλα σε έναν πίνακα και, στη συνέχεια, επιλέξτε τη συνδεδεμένη λίμνη δεδομένων όπου θέλετε να εξαγάγετε τα δεδομένα του πίνακα.

  

Παρακολουθήστε το Azure Synapse Link σας

Αφού ρυθμίσετε το Azure Synapse Link, μπορείτε να παρακολουθήσετε το Azure Synapse Link στην καρτέλα Πίνακες.

• Θα υπάρχει μια λίστα πινάκων που αποτελούν μέρος του επιλεγμένου Azure Synapse Link.
• Υπάρχουν διάφορα στάδια στα οποία αλλάζει η κατάσταση συγχρονισμού. Το NotStarted δηλώνει ότι ο πίνακας περιμένει να συγχρονιστεί. Όταν ολοκληρωθεί ο αρχικός συγχρονισμός του πίνακα, υπάρχει ένα στάδιο μετέπειτα επεξεργασίας όπου δεν θα πραγματοποιούνται προσαυξητικές ενημερώσεις. Αυτό μπορεί να διαρκέσει αρκετές ώρες ανάλογα με το μέγεθος των δεδομένων σας. Καθώς ξεκινούν να πραγματοποιούνται τμηματικές ενημερώσεις, η ημερομηνία του τελευταίου συγχρονισμού θα ενημερώνεται τακτικά.
• Η στήλη Πλήθος εμφανίζει τις γραμμές αριθμού που έχουν συνταχθεί. Όταν η τιμή Προσάρτηση μόνο ορίζεται σε Όχι, αυτός είναι ο συνολικός αριθμός των καρτελών. Όταν η τιμή Προσάρτηση μόνο ορίζεται σε Ναι, αυτός είναι ο συνολικός αριθμός των αλλαγών.
• Οι στήλες Προσάρτηση μόνο και Στρατηγική διαμερισμού δείχνουν τη χρήση διαφορετικών σύνθετων ρυθμίσεων παραμέτρων.

Κατάργηση σύνδεσης Azure Synapse Link

1. Επιλέξτε το επιθυμητό Azure Synapse Link για κατάργηση σύνδεσης.

2. Επιλέξτε Κατάργηση σύνδεσης λίμνης δεδομένων από τη γραμμή εντολών.

3. Για να διαγράψετε και τα δύο συστήματα αρχείων λίμνης δεδομένων, επιλέξτε Διαγραφή συστήματος αρχείων λίμνης δεδομένων.

4. Επιλέξτε Ναι και περιμένετε μερικά λεπτά για να καταργηθεί και να διαγραφεί κάθε στοιχείο.

Επανασύνδεση ενός Azure Synapse Link

Αν διαγράψατε το σύστημα αρχείων κατά την κατάργηση της σύνδεσης, ακολουθήστε τα παραπάνω βήματα για να επανασυνδεθεί η ίδια λίμνη δεδομένων. Εάν δεν διαγράψαμε το σύστημα αρχείων κατά την κατάργηση της σύνδεσης, πρέπει να διαγράψετε τα δεδομένα για να τα επανασυνδέσετε:

1. Μεταβείτε στο Azure Data Lake.

2. Διαγράψτε τον περιέκτη Dataverse.

3. Μεταβείτε στο Power Apps και επανασυνδέστε τη λίμην δεδομένων.

Προβολή των δεδομένων σας στο Azure Data Lake Storage Gen2

1. Επιλέξτε το επιθυμητό Azure Synapse Link και, στη συνέχεια, επιλέξτε Μετάβαση στη λίμνη δεδομένων Azure από τον πάνω πίνακα.

2. Αναπτύξτε το στοιχείο Συστήματα αρχείων και, στη συνέχεια, επιλέξτε dataverse-environmentName-organizationUniqueName.

Το αρχείο model.json μαζί με το όνομα και την έκδοση του, παρέχει μια λίστα πινάκων που έχουν εξαχθεί στη λίμνη δεδομένων. Το αρχείο model.json περιλαμβάνει επίσης την αρχική κατάσταση συγχρονισμού και την ολοκλήρωση του χρόνου.

Για κάθε πίνακα που έχει εξαχθεί στη λίμνη δεδομένων εμφανίζεται ένας φάκελος που περιλαμβάνει αρχεία οριοθετημένα με κόμματα (μορφή CSV) του στιγμιότυπου.

Συνδέστε έναν χώρο εργασίας του Synapse με ένα υπάρχον προφίλ Azure Synapse Link με data lake μόνο

1. Στη γραμμή διεύθυνσης των προγραμμάτων περιήγησης στο Web, προσαρτήστε το ?athena.updateLake=true στη διεύθυνση Web που λήγει σε exporttodatalake.

2. Επιλέξτε ένα υπάρχον προφίλ από την περιοχή Azure Synapse Link και , στη συνέχεια, επιλέξτε εκτεταμένη επιλογή.

3. Επιλέξτε Σύνδεση σε χώρο εργασίας Azure Synapse Analytics και περιμένετε μερικά λεπτά για να συνδεθούν όλα.

Ενημερώσεις συνεχών στιγμιοτύπων

Τα δεδομένα Microsoft Dataverse μπορούν να αλλάζουν συνεχώς μέσω της δημιουργίας, της ενημέρωσης και της διαγραφής συναλλαγών. Τα στιγμιότυπα παρέχουν ένα αντίγραφο στιγμιοτύπου μόνο για ανάγνωση των δεδομένων που ενημερώνονται σε τακτά χρονικά διαστήματα, δηλαδή κάθε ώρα. Με αυτόν τον τρόπο εξασφαλίζεται ότι σε οποιοδήποτε σημείο, ένας καταναλωτής με ανάλυση δεδομένων μπορεί να καταναλώσει αξιόπιστα δεδομένα στο data lake.

Όταν προστίθενται πίνακες ως μέρος της αρχικής εξαγωγής, τα δεδομένα του πίνακα καταγράφονται στα αρχεία table.csv που βρίσκονται κάτω από τους αντίστοιχους φακέλους της λίμνης δεδομένων. Αυτό είναι το διάστημα T1, όπου δημιουργείται ένα αρχείο στιγμιότυπου μόνο για ανάγνωση, με όνομα table-T1.csv—για παράδειγμα, Account-T1.csv ή Contacts-T1.csv—. Επιπλέον, το αρχείο model.json ενημερώνεται ώστε να παραπέμπει σε αυτά τα αρχεία στιγμιότυπου. Ανοίγοντας το model.json, μπορείτε να προβάλετε τις λεπτομέρειες του στιγμιότυπου.

Ακολουθεί ένα παράδειγμα του αρχείου Account.csv που έχει χωριστεί σε διαμερίσματα και του φακέλου στιγμιότυπων οθόνης στο data lake.

Οι αλλαγές στο Dataverse προωθούνται στα αντίστοιχα αρχεία CSV με τη χρήση του μηχανισμού ροής τροφοδοσίας. Αυτό είναι το διάστημα T2, όπου ένα άλλο στιγμιότυπο έχει ληφθεί. Ο πίνακας-T2.csv—για παράδειγμα, Accounts-T2.csv or Contacts-T2.csv (με την προϋπόθεση ότι υπάρχουν αλλαγές για τον πίνακα) —and model.json ενημερώνονται στα νέα αρχεία στιγμιότυπου. Κάθε νέο άτομο που προβάλλει δεδομένα στιγμιότυπου από το T2 και μετά μεταδίδεται στα νεότερα αρχεία στιγμιότυπου. Με αυτόν τον τρόπο, το αρχικό πρόγραμμα προβολής στιγμιότυπων μπορεί να συνεχίσει να λειτουργεί στα παλαιότερα αρχεία στιγμιότυπου Τ1, ενώ τα νεότερα προγράμματα προβολής μπορούν να διαβάσουν τις πιο πρόσφατες ενημερώσεις. Αυτό είναι χρήσιμο σε σενάρια με μεγαλύτερες διαδικασίες εκτέλεσης κατάντη.

Σημείωση

Ένα νέο αρχείο στιγμιότυπου δημιουργείται μόνο εάν υπάρχει ενημέρωση δεδομένων. Μόνο τα πέντε πιο πρόσφατα αρχεία στιγμιοτύπου θα διατηρηθούν. Τα μη λειτουργικά δεδομένα θα καταργηθούν αυτόματα από τον λογαριασμό σας Azure Data Lake Storage Gen 2.

Ακολουθεί ένα παράδειγμα του αρχείου model.json το οποίο επισημαίνει πάντα το πιο πρόσφατο αρχείο στιγμιότυπου του λογαριασμού με σήμανση χρόνου.

Τι ακολουθεί;

Αφού χρησιμοποιήσετε με επιτυχία την υπηρεσία Azure Synapse Link for Dataverse, ανακαλύψτε πώς μπορείτε να αναλύσετε και να κατανείμετε τα δεδομένα σας με το Κέντρο εξερεύνησης. Για να αποκτήσετε πρόσβαση στο Κέντρο εξερεύνησης, μεταβείτε στο Power Apps > Azure Synapse Link. Επιλέξτε τη συνδεδεμένη υπηρεσία και, στη συνέχεια, επιλέξτε την καρτέλα Ανακαλύψτε το κέντρο. Εδώ μπορείτε να βρείτε τα συνιστώμενα εργαλεία και την τεκμηρίωση που θα σας βοηθήσουν να αξιοποιήσετε στο έπακρο τα δεδομένα σας.

Δείτε επίσης

Ανάλυση δεδομένων Dataverse στο data lake με το Power BI

Ενσωμάτωση δεδομένων Dataverse στο data lake με το Azure Data Factory

Ρύθμιση παραμέτρων Azure Synapse Link for Dataverse για προχωρημένους

Συνήθεις ερωτήσεις Azure Synapse Link

Σημείωση

Μπορείτε να μας πείτε ποια γλώσσα προτιμάτε για την τεκμηρίωση; Πάρτε μέρος σε μια σύντομη έρευνα. (σημειώνεται ότι αυτή η έρευνα είναι στα Αγγλικά)

Η έρευνα θα διαρκέσει περίπου επτά λεπτά. Δεν συλλέγονται προσωπικά δεδομένα (δήλωση προστασίας προσωπικών δεδομένων).