Κοινή χρήση μέσω

Υλοποίηση αρχιτεκτονικής lakehouse μεταλλίων στο Microsoft Fabric

  • Άρθρο

Αυτό το άρθρο παρουσιάζει την αρχιτεκτονική της λίμνης medallion και περιγράφει πώς μπορείτε να υλοποιήσετε ένα lakehouse στο Microsoft Fabric. Απευθύνεται σε πολλά ακροατήρια:

  • Μηχανικοί δεδομένων: Τεχνικό προσωπικό που σχεδιάζει, κατασκευάζει και διατηρεί υποδομές και συστήματα που επιτρέπουν στον οργανισμό του να συλλέγει, να αποθηκεύει, να επεξεργάζεται και να αναλύει μεγάλους όγκους δεδομένων.
  • Κέντρο αριστείας, ομάδα IT και BI: Οι ομάδες που είναι υπεύθυνες για την επίβλεψη των αναλύσεων σε ολόκληρο τον οργανισμό.
  • Διαχειριστές Fabric: Οι διαχειριστές που είναι υπεύθυνοι για την επίβλεψη του Fabric στον οργανισμό.

Η αρχιτεκτονική του medallion lakehouse, κοινώς γνωστή ως αρχιτεκτονική μεταλλίων, είναι ένα μοτίβο σχεδίασης που χρησιμοποιείται από οργανισμούς για τη λογική οργάνωση των δεδομένων σε ένα lakehouse. Είναι η συνιστώμενη προσέγγιση σχεδίασης για το Fabric.

Η αρχιτεκτονική μεταλλίων αποτελείται από τρία ξεχωριστά επίπεδα ή ζώνες. Κάθε επίπεδο υποδεικνύει την ποιότητα των δεδομένων που είναι αποθηκευμένα στο lakehouse, με υψηλότερα επίπεδα που αντιπροσωπεύουν υψηλότερη ποιότητα. Αυτή η πολυεπίπεδη προσέγγιση σάς βοηθά να δημιουργήσετε μια μοναδική πηγή αλήθειας για τα εταιρικά προϊόντα δεδομένων.

Είναι σημαντικό ότι η αρχιτεκτονική μεταλλίων εγγυάται το σύνολο ιδιοτήτων ACID (Ατομικότητα, Συνέπεια, Απομόνωση και Ανθεκτικότητα) καθώς τα δεδομένα προχωρούν στα επίπεδα. Ξεκινώντας με ανεπεξέργαστα δεδομένα, μια σειρά επικυρώσεων και μετασχηματισμών προετοιμάζει δεδομένα που βελτιστοποιούνται για αποτελεσματική ανάλυση. Υπάρχουν τρία στάδια μεταλλίων: χάλκινο (ακατέργαστο), ασήμι (επικυρωμένο) και χρυσό (εμπλουτισμένο).

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι η αρχιτεκτονική του medallion lakehouse;.

OneLake και lakehouse σε Fabric

Η βάση μιας σύγχρονης αποθήκης δεδομένων είναι μια λίμνη δεδομένων. Microsoft OneLake, το οποίο είναι μια ενιαία, ενοποιημένη, λογική λίμνη δεδομένων για ολόκληρο τον οργανισμό σας. Παρέχεται αυτόματα με κάθε μισθωτή Fabric και έχει σχεδιαστεί για να είναι η μοναδική θέση για όλα τα δεδομένα ανάλυσής σας.

Μπορείτε να χρησιμοποιήσετε το OneLake για να κάνετε τα εξής:

  • Καταργήστε τα σιλό και μειώστε την προσπάθεια διαχείρισης. Όλα τα δεδομένα οργανισμού αποθηκεύονται, ελέγχονται και προστατεύονται εντός ενός πόρου λίμνης δεδομένων. Επειδή το OneLake παρέχεται με τον μισθωτή σας Fabric, δεν υπάρχουν άλλοι πόροι για προμήθεια ή διαχείριση.
  • Μείωση μετακίνησης και αντιγραφής δεδομένων. Ο στόχος της OneLake είναι η αποθήκευση μόνο ενός αντιγράφου δεδομένων. Λιγότερα αντίγραφα δεδομένων έχουν ως αποτέλεσμα λιγότερες διαδικασίες μετακίνησης δεδομένων και αυτό οδηγεί σε κέρδη αποδοτικότητας και μείωση της πολυπλοκότητας. Εάν είναι απαραίτητο, μπορείτε να δημιουργήσετε μια συντόμευση για αναφορά δεδομένων που είναι αποθηκευμένα σε άλλες θέσεις, αντί να τα αντιγράψετε στο OneLake.
  • Χρησιμοποιήστε το με πολλούς μηχανισμούς ανάλυσης. Τα δεδομένα στο OneLake αποθηκεύονται σε ανοιχτή μορφή. Με αυτόν τον τρόπο, μπορούν να υποβληθούν ερωτήματα στα δεδομένα από διάφορους μηχανισμούς ανάλυσης, συμπεριλαμβανομένων των Υπηρεσιών ανάλυσης (που χρησιμοποιούνται από το Power BI), T-SQL και Spark. Άλλες εφαρμογές που δεν είναι Fabric μπορούν να χρησιμοποιούν API και SDK για πρόσβαση επίσης στο OneLake .

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα OneLake, το OneDrive για δεδομένα.

Για να αποθηκεύσετε δεδομένα στο OneLake, δημιουργείτε μια λίμνη στο Fabric. Ένα lakehouse είναι μια πλατφόρμα αρχιτεκτονικής δεδομένων για την αποθήκευση, τη διαχείριση και την ανάλυση δομημένων και μη δομημένων δεδομένων σε μία μόνο τοποθεσία. Μπορεί εύκολα να κλιμακωθεί σε μεγάλους όγκους δεδομένων όλων των τύπων και μεγεθών αρχείων και επειδή αποθηκεύεται σε μία μόνο θέση, κοινοποιείται και επαναχρησιμοποιείται εύκολα σε ολόκληρο τον οργανισμό.

Κάθε lakehouse διαθέτει ένα ενσωματωμένο τελικό σημείο ανάλυσης SQL που ξεκλειδώνει δυνατότητες αποθήκης δεδομένων χωρίς την ανάγκη για μετακίνηση δεδομένων. Αυτό σημαίνει ότι μπορείτε να υποβάλετε ερωτήματα για τα δεδομένα σας στο lakehouse, χρησιμοποιώντας ερωτήματα SQL και χωρίς ειδικές ρυθμίσεις.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι ένα lakehouse στο Microsoft Fabric;.

Πίνακες και αρχεία

Όταν δημιουργείτε ένα lakehouse στο Fabric, δύο θέσεις φυσικής αποθήκευσης προμηθεύονται αυτόματα για πίνακες και αρχεία.

  • Οι πίνακες είναι μια διαχειριζόμενη περιοχή για τη φιλοξενία πινάκων όλων των μορφών στο Spark (CSV, Parquet ή Delta). Όλοι οι πίνακες, είτε δημιουργούνται αυτόματα είτε ρητά, αναγνωρίζονται ως πίνακες στο lakehouse. Επίσης, οι πίνακες Delta, οι οποίοι είναι αρχεία δεδομένων Parquet με αρχείο καταγραφής συναλλαγών, αναγνωρίζονται επίσης ως πίνακες.
  • Τα αρχεία είναι μια μη διαχειριζόμενη περιοχή για την αποθήκευση δεδομένων σε οποιαδήποτε μορφή αρχείου. Τα αρχεία Delta που είναι αποθηκευμένα σε αυτήν την περιοχή δεν αναγνωρίζονται αυτόματα ως πίνακες. Εάν θέλετε να δημιουργήσετε έναν πίνακα μέσω ενός φακέλου Delta Lake στη μη διαχειριζόμενη περιοχή, θα πρέπει να δημιουργήσετε ρητά μια συντόμευση ή έναν εξωτερικό πίνακα με μια θέση που δείχνει στον μη διαχειριζόμενο φάκελο που περιέχει τα αρχεία του Delta Lake στο Spark.

Η κύρια διάκριση μεταξύ της διαχειριζόμενης περιοχής (πίνακες) και της μη διαχειριζόμενης περιοχής (αρχεία) είναι η αυτόματη διαδικασία εντοπισμού και εγγραφής πίνακα. Αυτή η διαδικασία εκτελείται σε οποιονδήποτε φάκελο έχει δημιουργηθεί μόνο στη διαχειριζόμενη περιοχή, αλλά όχι στη μη διαχειριζόμενη περιοχή.

Στο Microsoft Fabric, η εξερεύνηση Lakehouse παρέχει μια ενοποιημένη γραφική αναπαράσταση ολόκληρου του Lakehouse για περιήγηση, πρόσβαση και ενημέρωση των δεδομένων τους από τους χρήστες.

Για περισσότερες πληροφορίες σχετικά με τον αυτόματο εντοπισμό πίνακα, ανατρέξτε στο θέμα Αυτόματος εντοπισμός και καταχώρηση πίνακα.

Delta Lake storage

Το Delta Lake είναι ένα βελτιστοποιημένο επίπεδο αποθήκευσης που παρέχει τις βάσεις για την αποθήκευση δεδομένων και πινάκων. Υποστηρίζει συναλλαγές ACID για μεγάλους φόρτους εργασίας δεδομένων και για αυτόν τον λόγο είναι η προεπιλεγμένη μορφή αποθήκευσης σε ένα lakehouse Fabric.

Είναι σημαντικό ότι το Delta Lake προσφέρει αξιοπιστία, ασφάλεια και επιδόσεις στο lakehouse για λειτουργίες ροής και δέσμης. Εσωτερικά, αποθηκεύει δεδομένα σε μορφή αρχείου Parquet, ωστόσο, διατηρεί επίσης αρχεία καταγραφής συναλλαγών και στατιστικά στοιχεία που παρέχουν χαρακτηριστικά και βελτίωση των επιδόσεων σε σχέση με την τυπική μορφή Parquet.

Η μορφή του Delta Lake σε γενικές μορφές αρχείων προσφέρει τα ακόλουθα κύρια πλεονεκτήματα.

  • Υποστήριξη για ιδιότητες ACID και ιδιαίτερα ανθεκτικότητα για την πρόληψη της καταστροφής των δεδομένων.
  • Ταχύτερα αναγνωσμένα ερωτήματα.
  • Αυξημένη ενημέρωση δεδομένων.
  • Υποστήριξη για φόρτους εργασίας δέσμης και ροής.
  • Υποστήριξη για επαναφορά δεδομένων με χρήση του χρονικού ταξιδιού στη λίμνη Delta.
  • Βελτιωμένη κανονιστική συμμόρφωση και έλεγχος με χρήση του ιστορικού πινάκων Delta Lake.

Το Fabric τυποποιεί τη μορφή αρχείου αποθήκευσης με τη Delta Lake και, από προεπιλογή, κάθε μηχανή φόρτου εργασίας στο Fabric δημιουργεί πίνακες Delta όταν γράφετε δεδομένα σε έναν νέο πίνακα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Πίνακες Lakehouse και Delta Lake.

Αρχιτεκτονική μεταλλίων στο Fabric

Ο στόχος της αρχιτεκτονικής μεταλλίων είναι η επαυξητική και σταδιακή βελτίωση της δομής και της ποιότητας των δεδομένων καθώς προχωρούν σε κάθε στάδιο.

Η αρχιτεκτονική μεταλλίων αποτελείται από τρία ξεχωριστά επίπεδα (ή ζώνες).

  • Χάλκινο: Γνωστό και ως ωμή ζώνη, αυτό το πρώτο επίπεδο αποθηκεύει τα δεδομένα προέλευσης στην αρχική του μορφή. Τα δεδομένα σε αυτό το επίπεδο είναι συνήθως μόνο προσάρτηση και αμετάβλητη.
  • Ασήμι: Γνωστό και ως εμπλουτισμένη ζώνη, αυτό το επίπεδο αποθηκεύει δεδομένα που προέρχονται από το χάλκινο στρώμα. Τα ανεπεξέργαστα δεδομένα έχουν καθαριστεί και τυποποιηθεί και είναι πλέον δομημένα ως πίνακες (γραμμές και στήλες). Μπορεί επίσης να ενσωματώνεται σε άλλα δεδομένα για να παρέχει μια εταιρική προβολή όλων των επιχειρηματικών οντοτήτων, όπως πελάτης, προϊόν και άλλες.
  • Χρυσός: Γνωστό και ως επιμελημένη ζώνη, αυτό το τελικό επίπεδο αποθηκεύει δεδομένα που προέρχονται από το ασημένιο επίπεδο. Τα δεδομένα βελτιώνονται ώστε να ικανοποιούν συγκεκριμένες απαιτήσεις επιχειρηματικής δραστηριότητας και ανάλυσης κατάντη. Οι πίνακες συνήθως συμμορφώνονται με τη σχεδίαση αστεροειδούς σχήματος, η οποία υποστηρίζει την ανάπτυξη μοντέλων δεδομένων που έχουν βελτιστοποιηθεί για απόδοση και χρηστικότητα.

Σημαντικό

Επειδή ένα lakehouse Fabric αντιπροσωπεύει μια μοναδική ζώνη, δημιουργείτε ένα lakehouse για κάθε μία από τις τρεις ζώνες.

Διάγραμμα ενός παραδείγματος αρχιτεκτονικής μεταλλίων OneLake που εμφανίζει προελεύσεις δεδομένων, προετοιμασία και μετασχηματισμό με χάλκινα, ασημένια και χρυσά επίπεδα και ανάλυση με το τελικό σημείο ανάλυσης SQL και το Power BI.

Σε μια τυπική υλοποίηση αρχιτεκτονικής μεταλλίων στο Fabric, η ζώνη χαλκού αποθηκεύει τα δεδομένα στην ίδια μορφή με την προέλευση δεδομένων. Όταν η προέλευση δεδομένων είναι μια σχεσιακή βάση δεδομένων, οι πίνακες Delta είναι μια καλή επιλογή. Οι ζώνες αργύρου και χρυσού περιέχουν πίνακες Δέλτα.

Φιλοδώρημα

Για να μάθετε πώς μπορείτε να δημιουργήσετε ένα lakehouse, εργαστείτε μέσω του εκπαιδευτικού σεναρίου Από άκρο σεναρίου Lakehouse.

Καθοδήγηση για το fabric lakehouse

Αυτή η ενότητα σάς παρέχει οδηγίες σχετικά με την υλοποίηση του σπιτιού σας lakehouse Fabric χρησιμοποιώντας αρχιτεκτονική μεταλλίων.

Μοντέλο ανάπτυξης

Για να υλοποιήσετε αρχιτεκτονική μεταλλίων στο Fabric, μπορείτε είτε να χρησιμοποιήσετε lakehouses (ένα για κάθε ζώνη), μια αποθήκη δεδομένων ή συνδυασμό και των δύο. Η απόφασή σας θα πρέπει να βασίζεται στις προτιμήσεις σας και στις γνώσεις της ομάδας σας. Έχετε υπόψη ότι το Fabric σάς παρέχει ευελιξία: Μπορείτε να χρησιμοποιήσετε διαφορετικούς μηχανισμούς ανάλυσης που λειτουργούν στο ένα αντίγραφο των δεδομένων σας στο OneLake.

Ακολουθούν δύο μοτίβα που πρέπει να λάβετε υπόψη.

  • Μοτίβο 1: Δημιουργήστε κάθε ζώνη ως lakehouse. Σε αυτή την περίπτωση, οι χρήστες επιχείρησης έχουν πρόσβαση σε δεδομένα χρησιμοποιώντας το τελικό σημείο ανάλυσης SQL.
  • Μοτίβο 2: Δημιουργήστε τις χάλκινες και αργυρές ζώνες ως λίμνες και τη ζώνη χρυσού ως αποθήκη δεδομένων. Σε αυτή την περίπτωση, οι χρήστες επιχείρησης έχουν πρόσβαση σε δεδομένα χρησιμοποιώντας το τελικό σημείο αποθήκης δεδομένων.

Παρόλο που μπορείτε να δημιουργήσετε όλες τις λιμνοθάσκες σε έναν ενιαίο χώρο εργασίας Fabric, συνιστούμε να δημιουργήσετε κάθε lakehouse από μόνο του, ξεχωριστό χώρο εργασίας Fabric. Αυτή η προσέγγιση σάς παρέχει περισσότερο έλεγχο και καλύτερη διαχείριση σε επίπεδο ζώνης.

Για τη χάλκινη ζώνη, συνιστούμε να αποθηκεύσετε τα δεδομένα στην αρχική τους μορφή ή να χρησιμοποιήσετε το Parquet ή το Delta Lake. Όποτε είναι εφικτό, διατηρήστε τα δεδομένα στην αρχική τους μορφή. Εάν τα δεδομένα προέλευσης προέρχονται από τα OneLake, Azure Data Lake Store Gen2 (ADLS Gen2), Amazon S3 ή Google, δημιουργήστε μια συντόμευση στη χάλκινη ζώνη αντί να αντιγράψετε τα δεδομένα.

Για τις ζώνες αργύρου και χρυσού, συνιστούμε να χρησιμοποιήσετε τους πίνακες Delta λόγω των επιπλέον δυνατοτήτων και των βελτιώσεων απόδοσης που παρέχουν. Το Fabric τυποποιείται σε μορφή Delta Lake και από προεπιλογή κάθε μηχανισμός στο Fabric γράφει δεδομένα σε αυτήν τη μορφή. Επιπλέον, οι κινητήρες αυτοί χρησιμοποιούν βελτιστοποίηση χρόνου εγγραφής V-Order στη μορφή αρχείου Parquet. Αυτή η βελτιστοποίηση επιτρέπει εξαιρετικά γρήγορες αναγνώσεις από τους μηχανισμούς υπολογιστικής λειτουργίας Fabric, όπως τα Power BI, SQL, Spark και άλλες. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Βελτιστοποίηση πινάκων Delta Lake και V-Order.

Τέλος, σήμερα πολλοί οργανισμοί αντιμετωπίζουν μαζική αύξηση του όγκου των δεδομένων, σε συνδυασμό με την αυξανόμενη ανάγκη οργάνωσης και διαχείρισης αυτών των δεδομένων με λογικό τρόπο, διευκολύνοντας παράλληλα πιο στοχευμένη και αποτελεσματική χρήση και διαχείριση. Αυτό μπορεί να σας οδηγήσει στη δημιουργία και διαχείριση ενός αποκεντρωμένου ή ομόσπονδου οργανισμού δεδομένων με διαχείριση.

Για να ικανοποιήσετε αυτόν τον στόχο, εξετάστε το ενδεχόμενο να υλοποιήσετε μια αρχιτεκτονική πλέγματος δεδομένων. Το πλέγμα δεδομένων είναι ένα αρχιτεκτονικό μοτίβο που εστιάζει στη δημιουργία τομέων δεδομένων που προσφέρουν δεδομένα ως προϊόν.

Μπορείτε να δημιουργήσετε μια αρχιτεκτονική πλέγματος δεδομένων για την περιοχή δεδομένων σας στο Fabric δημιουργώντας τομείς δεδομένων. Μπορείτε να δημιουργήσετε τομείς που αντιστοιχούν στους επιχειρηματικούς τομείς σας, για παράδειγμα, μάρκετινγκ, πωλήσεις, απόθεμα, ανθρώπινο δυναμικό και άλλους. Στη συνέχεια, μπορείτε να υλοποιήσετε μια αρχιτεκτονική μεταλλίων, ρυθμίζοντας ζώνες δεδομένων μέσα σε καθέναν από τους τομείς σας.

Για περισσότερες πληροφορίες σχετικά με τους τομείς, ανατρέξτε στο θέμα Τομείς.

Κατανόηση του χώρου αποθήκευσης δεδομένων πίνακα Delta

Αυτή η ενότητα περιγράφει άλλα θέματα καθοδήγησης που σχετίζονται με την υλοποίηση μιας αρχιτεκτονικής medallion lakehouse στο Fabric.

Μέγεθος αρχείου

Γενικά, μια πλατφόρμα μεγάλου όγκου δεδομένων αποδίδει καλύτερα όταν έχει μικρό αριθμό μεγάλων αρχείων αντί για μεγάλο αριθμό μικρών αρχείων. Αυτό συμβαίνει επειδή η υποβάθμιση απόδοσης προκύπτει όταν η μηχανή υπολογιστικής λειτουργίας πρέπει να διαχειρίζεται πολλά μετα-δεδομένα και λειτουργίες αρχείων. Για καλύτερες επιδόσεις ερωτημάτων, συνιστούμε να στοχεύετε για αρχεία δεδομένων που έχουν μέγεθος περίπου 1 GB.

Το Delta Lake διαθέτει μια δυνατότητα που ονομάζεται προγνωστική βελτιστοποίηση. Η προγνωστική βελτιστοποίηση καταργεί την ανάγκη για μη αυτόματη διαχείριση των λειτουργιών συντήρησης για πίνακες Delta. Όταν αυτή η δυνατότητα είναι ενεργοποιημένη, η Delta Lake προσδιορίζει αυτόματα πίνακες που θα επωφεληθούν από τις λειτουργίες συντήρησης και, στη συνέχεια, βελτιστοποιεί τον χώρο αποθήκευσής τους. Μπορεί να συνενώνει με διαφανή τρόπο πολλά μικρότερα αρχεία σε μεγάλα αρχεία και χωρίς επιπτώσεις σε άλλους αναγνώστες και συντάκτες των δεδομένων. Παρόλο που αυτή η δυνατότητα θα πρέπει να αποτελεί μέρος της επιχειρησιακής αριστείας σας και της εργασίας προετοιμασίας δεδομένων, το Fabric έχει τη δυνατότητα να βελτιστοποιεί αυτά τα αρχεία δεδομένων και κατά την εγγραφή δεδομένων. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Προγνωστική βελτιστοποίηση για το Delta Lake.

Διατήρηση ιστορικού

Από προεπιλογή, το Delta Lake διατηρεί ένα ιστορικό όλων των αλλαγών που έγιναν, που σημαίνει ότι το μέγεθος των μετα-δεδομένων ιστορικού αυξάνεται με την πάροδο του χρόνου. Με βάση τις απαιτήσεις της επιχείρησής σας, θα πρέπει να στοχεύετε να διατηρείτε τα ιστορικά δεδομένα μόνο για ένα συγκεκριμένο χρονικό διάστημα, ώστε να μειώσετε το κόστος αποθήκευσής σας. Εξετάστε το ενδεχόμενο να διατηρήσετε τα δεδομένα ιστορικού μόνο για τον τελευταίο μήνα ή άλλη κατάλληλη χρονική περίοδο.

Μπορείτε να καταργήσετε παλαιότερα ιστορικά δεδομένα από έναν πίνακα Delta χρησιμοποιώντας την εντολή VACUUM. Ωστόσο, πρέπει να γνωρίζετε ότι από προεπιλογή δεν μπορείτε να διαγράψετε τα ιστορικά δεδομένα εντός των τελευταίων επτά ημερών, αυτό είναι για να διατηρήσετε τη συνέπεια στα δεδομένα. Ο προεπιλεγμένος αριθμός ημερών ελέγχεται από την ιδιότητα delta.deletedFileRetentionDuration = "interval <interval>"πίνακα . Καθορίζει το χρονικό διάστημα που ένα αρχείο πρέπει να διαγραφεί πριν μπορεί να θεωρηθεί υποψήφιο για μια λειτουργία κενού.

Διαμερίσματα πίνακα

Όταν αποθηκεύετε δεδομένα σε κάθε ζώνη, συνιστάται να χρησιμοποιείτε μια διαμεισμένη δομή φακέλων, όπου αυτό είναι εφικτό. Αυτή η τεχνική βοηθά στη βελτίωση της διαχειρισιμότητας δεδομένων και των επιδόσεων ερωτημάτων. Γενικά, τα διαμεριμένα δεδομένα σε μια δομή φακέλου έχουν ως αποτέλεσμα ταχύτερη αναζήτηση για συγκεκριμένες καταχωρήσεις δεδομένων χάρη στο κλάδεμα/απομάκρυνση του διαμερίσματος.

Συνήθως, προσαρτάτε δεδομένα στον πίνακα προορισμού κατά την άφιξη νέων δεδομένων. Ωστόσο, σε ορισμένες περιπτώσεις ενδέχεται να συγχωνεύσετε δεδομένα καθώς χρειάζεται να ενημερώσετε τα υπάρχοντα δεδομένα ταυτόχρονα. Σε αυτή την περίπτωση, μπορείτε να εκτελέσετε μια λειτουργία upsert χρησιμοποιώντας την εντολή MERGE. Όταν ο πίνακας προορισμού είναι διαμερισμένος, φροντίστε να χρησιμοποιήσετε ένα φίλτρο διαμερίσματος για να επιταχύνετε τη λειτουργία. Με αυτόν τον τρόπο, η μηχανή μπορεί να καταργήσει τα διαμερίσματα που δεν απαιτούν ενημέρωση.

Πρόσβαση δεδομένων

Τέλος, θα πρέπει να σχεδιάζετε και να ελέγχετε ποιος χρειάζεται πρόσβαση σε συγκεκριμένα δεδομένα στο lakehouse. Θα πρέπει επίσης να κατανοήσετε τα διάφορα μοτίβα συναλλαγών που πρόκειται να χρησιμοποιήσουν κατά την πρόσβαση σε αυτά τα δεδομένα. Μπορείτε, στη συνέχεια, να ορίσετε το σωστό σχήμα διαμερισμού πίνακα και τη σύγκληση δεδομένων με ευρετήρια παραγγελιών Delta Lake Z.

Σχετικό περιεχόμενο

Για περισσότερες πληροφορίες σχετικά με την υλοποίηση ενός lakehouse Fabric, ανατρέξτε στους παρακάτω πόρους.