Σε αυτό το άρθρο παρέχονται πληροφορίες σχετικά με συνήθεις ερωτήσεις σχετικά με την εξαγωγή δεδομένων πίνακα Microsoft Dataverse στο Azure Synapse Analytics και το Azure Data Lake.
Μπορώ να εκτελέσω εργασίες με μη αυτόματο τρόπο, όπως δημιουργία, ενημέρωση, διαγραφή ή ρύθμιση πολιτικών αυτόματης διαγραφής για αρχεία δεδομένων στο συνδεδεμένο χώρο αποθήκευσης Azure;
Τα αρχεία δεδομένων δεν πρέπει να τροποποιούνται από πελάτη και δεν πρέπει να τοποθετούνται αρχεία πελατών στους φακέλους δεδομένων.
Σημείωση
Για την απόθεση παλιών και στάσιμων δεδομένων στη λίμνη δεδομένων χωρίς διακοπή του Azure Synapse Link, θα πρέπει να εξετάσετε το ενδεχόμενο χρήσης της δυνατότητας Ερώτημα και ανάλυση των τμηματικών ενημερώσεων
Μπορώ να συνδέσω έναν χώρο εργασίας του Synapse με ένα υπάρχον προφίλ Azure Synapse Link με data lake μόνο;
Ναι. Στη γραμμή διεύθυνσης των προγραμμάτων περιήγησης στο Web, προσαρτήστε το ?athena.updateLake=true στη διεύθυνση Web που λήγει σε exporttodatalake. Όταν επιλέγετε ένα υπάρχον προφίλ από την αρχική σελίδα του Azure Synapse Link, θα δείτε μια νέα ενέργεια στην εκτεταμένη επιλογή Σύνδεση με το Azure Synapse Analytics Workspace.
Πώς μπορώ να έχω πρόσβαση στις σχέσεις πινάκων μου;
Για πρόσβαση σε Σχέσεις πολλά προς πολλά, η σχέση θα είναι διαθέσιμη ως πίνακας για επιλογή από τη σελίδα Προσθήκη πινάκων για μια νέα σύνδεση και από τη σελίδα Διαχείριση πινάκων για μια προϋπάρχουσα σύνδεση.
Πώς μπορώ να αποκτήσω εκτιμώμενο κόστος πριν από την προσθήκη Azure Synapse Link;
Το Azure Synapse Link είναι μια δωρεάν δυνατότητα του Dataverse. Η χρήση Azure Synapse Link for Dataverse δεν χρεώνει επιπλέον χρεώσεις στο Dataverse. Ωστόσο, εξετάστε το πιθανό κόστος για την υπηρεσία Azure:
- Χώρος αποθήκευσης δεδομένων στο ADLS Gen2: Τιμολόγηση Azure Storage Data Gen2 | Microsoft Azure
- Κόστος κατανάλωσης δεδομένων (όπως Χώρος εργασίας Synapse): Τιμολόγηση - Azure Synapse Analytics | Microsoft Azure Για αναλυτικές πληροφορίες διαχείρισης κόστους της Microsoft, μεταβείτε στο: Σχεδιασμός για τη διαχείριση του κόστους Azure - Διαχείριση κόστους της Microsoft | Microsoft Learn
Τι συμβαίνει όταν προσθέτω μια στήλη;
Όταν προσθέτετε μια νέα στήλη σε έναν πίνακα στην προέλευση, προστίθεται επίσης στο τέλος του αρχείου στον προορισμό του αντίστοιχου διαμερίσματος αρχείου. Παρόλο που οι γραμμές που υπήρχαν πριν από την προσθήκη της στήλης δεν θα εμφανίζουν τη νέα στήλη, νέες ή ενημερωμένες γραμμές θα εμφανίζουν τη στήλη που μόλις προστέθηκε.
Τι συμβαίνει όταν διαγράφω μια στήλη;
Όταν διαγράφετε μια στήλη από έναν πίνακα στην προέλευση, η στήλη δεν διαγράφεται από τον προορισμό. Αντί για αυτό, οι γραμμές δεν ενημερώνονται πλέον και επισημαίνονται ως null ενώ διατηρούνται οι προηγούμενες γραμμές.
Τι συμβαίνει εάν αλλάξω τον τύπο δεδομένων μιας στήλης;
Η αλλαγή του τύπου δεδομένων μιας στήλης είναι μια τελευταία αλλαγή και θα χρειαστεί να καταργήσετε τη σύνδεση και να κάνετε επανασύνδεση.
Τι συμβαίνει όταν διαγράφω μια γραμμή;
Ο χειρισμός της διαγραφής μιας γραμμής γίνεται διαφορετικά, ανάλογα με τις επιλογές σύνταξης δεδομένων που επιλέγετε:
- Ενημέρωση στη θέση της: αυτή είναι η προεπιλεγμένη λειτουργία και όταν διαγράφετε μια γραμμή πίνακα σε αυτήν τη λειτουργία, η γραμμή διαγράφεται επίσης από το αντίστοιχο διαμέρισμα δεδομένων στο Azure Data Lake. Με άλλα λόγια, τα δεδομένα διαγράφονται οριστικά από τον προορισμό.
- Μόνο προσάρτηση: σε αυτήν τη λειτουργία, όταν διαγράφεται μια γραμμή πίνακα Dataverse, δεν διαγράφεται οριστικά από τον προορισμό. Αντ' αυτού, μια γραμμή προστίθεται και ορίζεται ως isDeleted=True στο αρχείο στο αντίστοιχο διαμερίσμα δεδομένων στο Azure Data Lake.
Γιατί δεν βλέπω κεφαλίδα στήλης στο αρχείο που έχει εξαχθεί;
Το Azure Synapse Link ακολουθεί το Κοινό μοντέλο δεδομένων για να καταστεί δυνατή η κοινοποίηση δεδομένων και σημασίας σε εφαρμογές και επιχειρηματικές διεργασίες, όπως το Microsoft Power Apps, το Power BI, το Dynamics 365 και το Azure. Σε κάθε φάκελο CDM, τα μετα-δεδομένα, όπως μια κεφαλίδα στήλης, αποθηκεύονται στο αρχείο model.json. Περισσότερες πληροφορίες: Common Data Model και Azure Data Lake Storage Gen2 | Microsoft Learn
Γιατί το αρχείο Model.json αυξάνει ή αλλάζει το μήκος για τους τύπους δεδομένων και δεν διατηρεί αυτό που ορίζεται στο Dataverse;
Το model.json διατηρεί το μήκος της βάσης δεδομένων για το μέγεθος της στήλης. Το Dataverse έχει μια έννοια μήκους βάσης δεδομένων για κάθε στήλη. Εάν δημιουργήσετε μια στήλη με μέγεθος 200 και μετά τη μειώσετε σε 100, το Dataverse εξακολουθεί να επιτρέπει την παρουσία των υπαρχόντων δεδομένων στο Dataverse. Αυτό το κάνει κρατώντας το DBLength σε 200 και MaxLength έως 100. Αυτό που βλέπετε στο Model.json είναι "DBLength" και αν το χρησιμοποιήσετε για μεταγενέστερες διεργασίες, δεν θα παρέχετε ποτέ λιγότερο χώρο για Dataverse στήλες.
Ποιες μορφές ημερομηνίας και ώρας μπορεί να είναι αναμενόμενες στους πίνακες εξαγωγής Dataverse;
Υπάρχουν τρεις μορφές ημερομηνίας και ώρας που είναι αναμενόμενες στους πίνακες εξαγωγής Dataverse.
| Όνομα στήλης | Format | Τύπος δεδομένων | Παράδειγμα |
|---|---|---|---|
| SinkCreatedOn και SinkModifiedOn | M/d/yyyy H:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | yyyy-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Όλες οι άλλες στήλες | yyyy-MM-dd'T'HH:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Σημείωση
Ο τύπος δεδομένων CreatedOn άλλαξε από datetime to datetimeOffset στις 07/29/2022. Για να επεξεργαστείτε τη μορφή τύπου δεδομένων για έναν πίνακα που δημιουργήθηκε πριν από την αλλαγή, αποθέστε και διαβάστε τον πίνακα.
Μπορείτε να επιλέξετε διαφορετικές συμπεριφορές στηλών για μια στήλη "Ημερομηνία και ώρα" στο Dataverse που ενημερώνει τη μορφή τύπου δεδομένων. Περισσότερες πληροφορίες: Συμπεριφορά και μορφή της στήλης ημερομηνίας και ώρας
Γιατί βλέπω τα ονόματα αρχείων 1.csv ή 1_001.csv αντί για ονόματα αρχείων που έχουν χωριστεί σε διαμερίσματα τακτικής ημερομηνίας ώρας για ορισμένους πίνακες Dataverse;
Αυτή η συμπεριφορά αναμένεται όταν επιλέγετε λειτουργία εξαγωγής μόνο προσάρτησης και δημιουργείτε πίνακες χωρίς έγκυρη στήλη CreatedOn. Τα αντικείμενα blob είναι οργανωμένα σε αρχεία όπως 1.csv, 2.csv (που χρησιμοποιούν προσαρμοσμένο χωρισμό σε διαμερίσματα λόγω της απουσίας έγκυρης ημερομηνίας δημιουργίας). Όταν κάποιο διαμέρισμα πλησιάζει το 95% του MaxBlockPerBlobLimit, το σύστημα δημιουργεί αυτόματα ένα νέο αρχείο, το οποίο απεικονίζεται εδώ ως 1_001.csv.
Πότε πρέπει να χρησιμοποιήσω μια ετήσια ή μηνιαία στρατηγική διαμερισμάτων;
Για πίνακες Dataverse με μεγάλο όγκο δεδομένων μέσα σε έναν χρόνο, συνιστάται η χρήση μηνιαίων διαμερισμάτων. Αυτό οδηγεί σε μικρότερα αρχεία και καλύτερη απόδοση. Επιπλέον, εάν οι γραμμές στους πίνακες Dataverse ενημερώνονται συχνά, η διαίρεση σε πολλά μικρότερα αρχεία συμβάλλει στη βελτίωση της απόδοσης στην περίπτωση σεναρίων ενημέρωσης που υπάρχουν στη θέση τους.
Τι είναι η λειτουργία μόνο προσάρτησης και ποια είναι η διαφορά μεταξύ μόνο της λειτουργίας προσάρτησης και της λειτουργίας ενημέρωσης στη θέση της;
Στη λειτουργία μόνο προσάρτησης, τα σταδιακά δεδομένα από τους πίνακες Dataverse προσαρτώνται στο αντίστοιχο διαμέρισμα αρχείου της λίμνης. Για περισσότερες πληροφορίες: Σύνθετες επιλογές ρύθμισης παραμέτρων στο Azure Synapse Link
Πότε χρησιμοποιώ τη λειτουργία Μόνο προσάρτηση για μια προβολή ιστορικού αλλαγών;
Η λειτουργία «Μόνο προσάρτηση» είναι η συνιστώμενη επιλογή για τη σύνταξη δεδομένων πίνακα Dataverse στηλίμνη δεδομένων και ιδιαίτερα όταν ο όγκος δεδομένος είναι πολύ υψηλός μέσα σε ένα διαμέρισμα με συχνά μεταβαλλόμενα δεδομένα. Και πάλι, αυτή είναι μια επιλογή που χρησιμοποιείται συχνά και συνιστάται ιδιαίτερα για τους πελάτες της επιχείρησης. Επιπλέον, μπορείτε να επιλέξετε να χρησιμοποιήσετε αυτήν τη λειτουργία για σενάρια στα οποία ο σκοπός είναι η σταδιακή εξέταση των αλλαγών από το Dataverse και η επεξεργασία των αλλαγών σε σενάρια ETL, AI και ML. Η λειτουργία «Μόνο προσάρτηση» παρέχει ένα ιστορικό αλλαγών, αντί για την πιο πρόσφατη αλλαγή ή ενημέρωση θέσης, και επιτρέπει διάφορες σειρές χρόνου από σενάρια AI, όπως πρόβλεψη ή προβλέψεις αναλύσεων με βάση ιστορικές τιμές.
Πώς μπορώ να ανακτήσω την πιο ενημερωμένη γραμμή κάθε καρτέλας και να εξαιρέσω τις διαγραμμένες γραμμές κατά την εξαγωγή δεδομένων σε λειτουργία μόνο προσάρτησης;
Σε λειτουργία μόνο προσάρτησης, θα πρέπει να προσδιορίσετε την πιο πρόσφατη έκδοση της καρτέλας με το ίδιο αναγνωριστικό χρησιμοποιώντας VersionNumber και SinkModifiedOn και στη συνέχεια να εφαρμόσετε isDeleted=0 στην πιο πρόσφατη έκδοση.
Εάν αποθέσω και επανασυνδέσω τον πίνακα, θα κάνει αλλαγές ο VersionNumber;
Το VersionNumber είναι ένας τύπος δεδομένων rowversion και αλλάζει μετά από οποιαδήποτε λειτουργία, συμπεριλαμβανομένης της απόθεσης και της επανασύνδεσης.
Γιατί βλέπω διπλότυπους αριθμούς έκδοσης όταν εξάγουν δεδομένα χρησιμοποιώντας τη λειτουργία μόνο προσάρτησης;
Για λειτουργία μόνο προσάρτησης, αν το Azure Synapse Link for Dataverse δεν λαμβάνει επιβεβαίωση από το Azure Data Lake ότι τα δεδομένα έχουν δεσμευτεί για οποιονδήποτε λόγο, όπως καθυστερήσεις δικτύου, το Azure Synapse Link θα προσπαθήσει ξανά σε αυτά τα σενάρια και θα δεσμεύσει ξανά τα δεδομένα. Η κατάντη κατανάλωση θα πρέπει να γίνει πιο κοντά σε αυτό το σενάριο με το φιλτράρισμα των δεδομένων με χρήση του SinkModifiedOn.
Γιατί βλέπω διαφορές στις στήλες Sinkmodifiedon και Modifiedon;
Είναι αναμενόμενο. Το Modifiedon είναι η ημερομηνία-ώρα στην οποία αλλάζει η καρτέλα στο Dataverse. Το Sinkmodifiedon είναι η ημερομηνία και ώρα τροποποίησης της καρτέλας στη λίμνη δεδομένων.
Ποιοι Dataverse πίνακες δεν υποστηρίζονται για εξαγωγή;
Οποιοσδήποτε πίνακας που δεν έχει ενεργοποιημένη την παρακολούθηση αλλαγών δεν θα υποστηρίζεται εκτός από τους παρακάτω πίνακες συστήματος:
- Συνημμένο
- Ημερολόγιο
- Calendarrule
Σημείωση
Μπορείτε να προσθέσετε τον πίνακα ελέγχου για εξαγωγή χρησιμοποιώντας Azure Synapse Link for Dataverse. Ωστόσο, η εξαγωγή του πίνακα ελέγχου υποστηρίζεται μόνο με Προφίλ Data Lake.
Χρησιμοποιώ τη δυνατότητα εξαγωγή σε λίμνη delta, μπορώ να διακόψω την εργασία Apache Spark ή να αλλάξω τον χρόνο εκτέλεσης;
Η εργασία μετατροπής της λίμνης Delta ενεργοποιείται όταν υπάρχει αλλαγή δεδομένων στο ρυθμισμένο χρονικό διάστημα. Δεν υπάρχει δυνατότητα διακοπής ή παύσης του χώρου συγκέντρωσης Apache Spark. Ωστόσο, μπορείτε να τροποποιήσετε το χρονικό διάστημα μετά τη δημιουργία σύνδεσης στην περιοχή Διαχείριση πινάκων > Χρονικό διάστημα για προχωρημένους.
Το Azure Synapse Link υποστηρίζει υπολογιζόμενες στήλες:
Οι υπολογιζόμενες στήλες υποστηρίζονται μόνο όταν το πεδίο αναζήτησης βρίσκεται εντός του ίδιου πίνακα. Οι ενημερώσεις δεδομένων πραγματοποιούνται μόνο όταν ενεργοποιείται η παρακολούθηση αλλαγών: Οι τιμές αναζήτησης θα αλλάξουν στους ριζικούς πίνακες μόνο όταν αλλάξουν οι καρτέλες του ριζικού πίνακα. Για να αντικατοπτρίσετε καλύτερα την τιμή ενός πεδίου αναζήτησης, συνιστάται να συνδεθείτε με τον αρχικό πίνακα για να λάβετε την πιο πρόσφατη τιμή.
Ποιοι πίνακες Dataverse χρησιμοποιούν μόνο την επιλογή Προσάρτηση από προεπιλογή;
Όλοι οι πίνακες που δεν έχουν πεδίο createdOn θα συγχρονιστούν με τη λειτουργία "Μόνο προσάρτηση" από προεπιλογή. Σε αυτούς περιλαμβάνονται οι πίνακες σχέσεων καθώς και ο πίνακας ActivityParty.
Γιατί απαιτεί το Azure Synapse Link for Dataverse όλοι οι πόροι να είναι στην ίδια περιοχή και τι μπορώ να κάνω με αυτό;
Για να διασφαλιστεί η υψηλή απόδοση και η χαμηλή καθυστέρηση εκτός από την αποτροπή των χρεώσεων δεδομένων εξόδου, το Azure Synapse Link απαιτεί όλοι οι πόροι να βρίσκονται στην ίδια περιοχή. Εάν έχετε ένα σενάριο μεταξύ περιοχών, μπορείτε:
- Να μετακινήσετε τους πόρους Azure στην ίδια περιοχή με το περιβάλλον.
- Να μετακινήσετε το περιβάλλον στην ίδια περιοχή με τους πόρους Azure επικοινωνώντας με την υποστήριξη πελατών της Microsoft.
- Να ενεργοποιήσετε την Αποθήκευση με γεωγραφικό πλεονασμό με πρόσβαση ανάγνωσης (RA-GRS) στο Azure Data Lake για την αναπαραγωγή δεδομένων Azure σε περιοχή κοντά σε αυτή. Περισσότερες πληροφορίες: Πρόσβαση ανάγνωσης σε δεδομένα της δευτερεύουσας περιοχής
- Χρησιμοποιήστε διοχετεύσεις Azure Synapse ή το Azure Data Factory για να αντιγράψετε δεδομένα από πόρους Azure σε μια περιοχή σε πόρους Azure σε μια άλλη.
Γιατί βλέπω το μήνυμα σφάλματος - Το περιεχόμενο του καταλόγου στη διαδρομή δεν μπορεί να παρατεθεί;
Τα δεδομένα Dataverse αποθηκεύονται στο συνδεδεμένο κοντέινερ του χώρου αποθήκευσης. Χρειάζεστε τον ρόλο "Συμβάλλων δεδομένων αντικειμένου Blob χώρου αποθήκευσης" στον συνδεδεμένο λογαριασμό χώρου αποθήκευσης για να εκτελέσετε λειτουργίες ανάγνωσης και ερωτημάτων μέσω του Synapse Workspace.
Γιατί εμφανίζεται το μήνυμα σφάλματος - δεν είναι δυνατή η μαζική φόρτωση επειδή το αρχείο δεν είναι πλήρες ή επειδή δεν μπορεί να αναγνωστεί;
Τα δεδομένα Dataverse μπορούν να αλλάζουν συνεχώς μέσω της δημιουργίας, της ενημέρωσης και της διαγραφής συναλλαγών. Αυτό το σφάλμα προκαλείται λόγω της αλλαγής που πραγματοποιήθηκε στο υποκείμενο αρχείο όταν διαβάζετε δεδομένα από αυτό. Έτσι, για τους πίνακες με τις συνεχείς αλλαγές, θα πρέπει να αλλάξετε τη διοχέτευση κατανάλωσης για να χρησιμοποιήσετε δεδομένα στιγμιοτύπου (διαμερισμένοι πίνακες) για κατανάλωση. Περισσότερες πληροφορίες: Δημιουργία ενός Azure Synapse Link for Dataverse με τον Azure Synapse Workspace
Πώς μπορώ να χρησιμοποιήσω το Azure Synapse Link για να αρχειοθετήσω σημαντικά δεδομένα;
Το Azure Synapse Link for Dataverse έχει σχεδιαστεί για σκοπούς ανάλυσης. Συνιστούμε στους πελάτες να χρησιμοποιούν τη μακροπρόθεσμη διατήρηση για λόγους αρχειοθέτησης. Περισσότερες πληροφορίες: Επισκόπηση μακροπρόθεσμης διατήρησης δεδομένων Dataverse