Αρχιτεκτονική λύσης BI στο Κέντρο αριστείας

Αυτό το άρθρο απευθύνεται σε επαγγελματίες IT και διαχειριστές IT. Θα μάθετε σχετικά με την αρχιτεκτονική λύσης BI στο COE και τις διάφορες τεχνολογίες που χρησιμοποιούνται. Οι τεχνολογίες περιλαμβάνουν το Azure, το Power BI και το Excel. Μαζί, μπορούν να αξιοποιηθούν για την παροχή μιας πλατφόρμας cloud BI με δυνατότητα κλιμάκωσης που βασίζεται σε δεδομένα.

Η σχεδίαση μιας ισχυρής πλατφόρμας BI μοιάζει κάπως με τη δημιουργία μιας γέφυρας. μια γέφυρα που συνδέει μετασχηματισμένο και εμπλουτισμένο δεδομένα προέλευσης με τους καταναλωτές δεδομένων. Η σχεδίαση μιας τέτοιας σύνθετης δομής απαιτεί μια μηχανική νοοτροπία, παρόλο που μπορεί να είναι μία από τις πιο δημιουργικές και αποδοτικές αρχιτεκτονικές IT που θα μπορούσατε να σχεδιάσετε. Σε έναν μεγάλο οργανισμό, μια αρχιτεκτονική λύσης BI μπορεί να αποτελείται από:

• Προελεύσεις δεδομένων
• Κατάποση δεδομένων
• Μεγάλα δεδομένα / προετοιμασία δεδομένων
• Αποθήκη δεδομένων
• Σημασιολογικά μοντέλα BI
• Αναφορές

Η πλατφόρμα πρέπει να υποστηρίζει συγκεκριμένες απαιτήσεις. Συγκεκριμένα, πρέπει να κλιμακώνει και να αποδίδει για να ικανοποιήσει τις προσδοκίες των επιχειρηματικών υπηρεσιών και των καταναλωτών δεδομένων. Ταυτόχρονα, πρέπει να είναι ασφαλής από την αρχή. Και, πρέπει να είναι αρκετά ανθεκτική για να προσαρμόζεται στις αλλαγές, επειδή είναι βέβαιο ότι με τον καιρό τα νέα δεδομένα και οι τομείς των υποκειμένων πρέπει να μεταφέρονται στο διαδίκτυο.

Πλαίσια

Στη Microsoft, από την αρχή υιοθετήσαμε μια προσέγγιση τύπου συστήματος επενδύοντας στην ανάπτυξη πλαισίων. Τα τεχνικά και επιχειρηματικά πλαίσια αυξάνουν την επαναχρησιμοποίηση του σχεδιασμού και της λογικής και παρέχουν ένα συνεπές αποτέλεσμα. Προσφέρουν επίσης ευελιξία στην αρχιτεκτονική που αξιοποιεί πολλές τεχνολογίες και απλοποιούν και μειώνουν τα γενικά έξοδα της μηχανικής μέσω επαναλαμβανόμενων διαδικασιών.

Μάθαμε ότι τα καλά σχεδιασμένα πλαίσια αυξάνουν την ορατότητα στην καταγωγή των δεδομένων, την ανάλυση επιπτώσεων, τη συντήρηση επιχειρηματικής λογικής, τη διαχείριση της ταξινόμησης και τον εξορθολογισμό της διακυβέρνησης. Επίσης, η ανάπτυξη έγινε ταχύτερη και η συνεργασία σε μεγάλες ομάδες έγινε πιο ευέλικτη και αποτελεσματική.

Θα περιγράψουμε πολλά από τα πλαίσιά μας σε αυτό το άρθρο.

Μοντέλα δεδομένων

Τα μοντέλα δεδομένων σάς παρέχουν έλεγχο σχετικά με τον τρόπο δόμησης και πρόσβασης στα δεδομένα. Για τις επιχειρηματικές υπηρεσίες και τους καταναλωτές δεδομένων, τα μοντέλα δεδομένων αποτελούν τη διαχείρισή τους με την πλατφόρμα BI.

Μια πλατφόρμα BI μπορεί να παρέχει τρεις διαφορετικούς τύπους μοντέλων:

• Εταιρικά μοντέλα
• Σημασιολογικά μοντέλα BI
• μοντέλα Εκμάθηση μηχανής (ML)

Εταιρικά μοντέλα

Τα εταιρικά μοντέλα δημιουργούνται και συντηρούνται από αρχιτέκτονες it. Ορισμένες φορές αναφέρονται ως μοντέλα διαστάσεων ή δεδομένα marts. Συνήθως, τα δεδομένα αποθηκεύονται σε σχεσιακή μορφή ως πίνακες διαστάσεων και δεδομένων. Αυτοί οι πίνακες αποθηκεύουν καθαρισμένο και εμπλουτισμένο δεδομένα που έχουν ενοποιηθεί από πολλά συστήματα και αντιπροσωπεύουν μια έγκυρη προέλευση για την αναφορά και την ανάλυση.

Τα εταιρικά μοντέλα παρέχουν μια συνεπή και ενιαία πηγή δεδομένων για την αναφορά και το BI. Δημιουργούνται μια φορά και είναι κοινόχρηστα ως εταιρικό πρότυπο. Οι πολιτικές διαχείρισης εξασφαλίζουν την ασφάλεια των δεδομένων, επομένως, η πρόσβαση σε ευαίσθητα σύνολα δεδομένων, όπως πληροφορίες πελατών ή οικονομικά στοιχεία, περιορίζεται ανάλογα με τις ανάγκες. Υιοθετούν συμβάσεις ονοματοθεσίας που εξασφαλίζουν συνέπεια, ενισχύοντας έτσι την αξιοπιστία των δεδομένων και την ποιότητα.

Σε μια πλατφόρμα cloud BI, είναι δυνατή η ανάπτυξη εταιρικών μοντέλων σε έναν χώρο συγκέντρωσης SQL Synapse στο Azure Synapse. Ο χώρος συγκέντρωσης SQL Synapse γίνεται τότε η μοναδική έκδοση της αλήθειας στην οποία μπορεί να βασιστεί ο οργανισμός για γρήγορες και ισχυρές δεδομενικές πληροφορίες.

Σημασιολογικά μοντέλα BI

Τα σημασιολογικά μοντέλα BI αντιπροσωπεύουν ένα σημασιολογικό επίπεδο πάνω από τα εταιρικά μοντέλα. Δημιουργούνται και συντηρούνται από προγραμματιστές BI και επιχειρηματικούς χρήστες. Οι προγραμματιστές BI δημιουργούν βασικά σημασιολογικά μοντέλα BI που προέρχονται από δεδομένα προέλευσης από εταιρικά μοντέλα. Οι χρήστες επιχειρήσεων μπορούν να δημιουργήσουν ανεξάρτητα μοντέλα μικρότερης κλίμακας ή να επεκτείνουν βασικά σημασιολογικά μοντέλα BI με τμηματικές ή εξωτερικές προελεύσεις. Τα σημασιολογικά μοντέλα BI εστιάζουν συνήθως σε μία μόνο περιοχή θέματος και συχνά είναι ευρέως κοινόχρηστα.

Οι επιχειρηματικές δυνατότητες δεν ενεργοποιούνται μόνο από δεδομένα, αλλά και από σημασιολογικά μοντέλα BI που περιγράφουν έννοιες, σχέσεις, κανόνες και πρότυπα. Με αυτόν τον τρόπο, αντιπροσωπεύουν έξυπνες και εύκολες στην κατανόηση δομές που ορίζουν σχέσεις δεδομένων και ενσωματώνουν επιχειρηματικούς κανόνες ως υπολογισμούς. Μπορούν επίσης να επιβάλλουν λεπτομερή δικαιώματα δεδομένων, εξασφαλίζοντας ότι τα κατάλληλα άτομα θα έχουν πρόσβαση στα σωστά δεδομένα. Είναι σημαντικό ότι επιταχύνουν την απόδοση των ερωτημάτων, παρέχοντας εξαιρετικά διαδραστικές αναλύσεις, ακόμη και πάνω από terabyte δεδομένων. Όπως και τα εταιρικά μοντέλα, τα σημασιολογικά μοντέλα BI υιοθετούν κανόνες ονοματοθεσίας, εξασφαλίζοντας συνέπεια.

Σε μια πλατφόρμα cloud BI, οι προγραμματιστές BI μπορούν να αναπτύξουν σημασιολογικά μοντέλα BI για Υπηρεσίες Ανάλυσης του Azure ή power BI Premium εκχωρημένων πόρων. Συνιστούμε την ανάπτυξη στο Power BI όταν χρησιμοποιείται ως επίπεδο αναφοράς και ανάλυσης. Αυτά τα προϊόντα υποστηρίζουν διαφορετικές λειτουργίες αποθήκευσης, επιτρέποντας στους πίνακες μοντέλων δεδομένων να αποθηκεύουν προσωρινά τα δεδομένα τους ή να χρησιμοποιούν το DirectQuery, το οποίο είναι μια τεχνολογία που μεταβιβάζει ερωτήματα στην υποκείμενη προέλευση δεδομένων. Το DirectQuery είναι μια ιδανική λειτουργία αποθήκευσης όταν οι πίνακες μοντέλων αντιπροσωπεύουν μεγάλους όγκους δεδομένων ή χρειάζεται να παρέχουν αποτελέσματα σχεδόν σε πραγματικό χρόνο. Οι δύο λειτουργίες αποθήκευσης μπορούν να συνδυαστούν: Τα σύνθετα μοντέλα συνδυάζουν πίνακες που χρησιμοποιούν διαφορετικές λειτουργίες αποθήκευσης σε ένα μόνο μοντέλο.

Για μοντέλα στα οποία υποβάλλονται πολλά ερωτήματα, ο Εξισορροπητής φορτίου Azure μπορεί να χρησιμοποιηθεί για ομοιόμορφη κατανομή του φόρτου ερωτημάτων σε ρεπλίκες μοντέλων. Σας επιτρέπει επίσης να κλιμακώνετε τις εφαρμογές σας και να δημιουργείτε σημασιολογικά μοντέλα BI υψηλής διαθεσιμότητας.

Εκμάθηση μηχανής μοντέλων

Εκμάθηση μηχανής μοντέλα (ML) δημιουργούνται και διατηρούνται από επιστήμονες δεδομένων. Αναπτύσσονται κυρίως από ανεπεξέργαστες προελεύσεις στη λίμνη δεδομένων.

Τα εκπαιδευμένα μοντέλα εκμάθησης μηχανής μπορούν να αποκαλύψουν μοτίβα στα δεδομένα σας. Σε πολλές περιπτώσεις, αυτά τα μοτίβα μπορούν να χρησιμοποιηθούν για τη δημιουργία προβλέψεων που μπορούν να χρησιμοποιηθούν για τον εμπλουτισμό δεδομένων. Για παράδειγμα, η συμπεριφορά αγοράς μπορεί να χρησιμοποιηθεί για την πρόβλεψη της απώλειας πελατών ή τμημάτων πελατών. Τα αποτελέσματα πρόβλεψης μπορούν να προστεθούν σε εταιρικά μοντέλα για να επιτρέπεται η ανάλυση κατά τμήμα πελάτη.

Σε μια πλατφόρμα cloud BI, μπορείτε να χρησιμοποιήσετε Εκμάθηση μηχανής Azure για την εκπαίδευση, την ανάπτυξη, την αυτοματοποίηση, τη διαχείριση και την παρακολούθηση μοντέλων εκμάθησης μηχανής.

Αποθήκη δεδομένων

Στην καρδιά μιας πλατφόρμας BI βρίσκεται η αποθήκη δεδομένων, η οποία φιλοξενεί τα εταιρικά μοντέλα σας. Είναι μια πηγή εγκεκριμένων δεδομένων, ως σύστημα καταγραφής και ως κόμβος, που εξυπηρετούν εταιρικά μοντέλα για αναφορές, BI και επιστήμη δεδομένων.

Πολλές επιχειρηματικές υπηρεσίες, συμπεριλαμβανομένων των επιχειρηματικών εφαρμογών (LOB), μπορούν να βασίζονται στην αποθήκη δεδομένων ως έγκυρη και διαχειρισμένη πηγή επιχειρηματικής γνώσης.

Στη Microsoft, η αποθήκη δεδομένων μας φιλοξενείται στο Azure Data Lake Υπηρεσία αποθήκευσης Gen2 (ADLS Gen2) και το Azure Synapse Analytics.

• Το ADLS Gen2 καθιστά το Azure Υπηρεσία αποθήκευσης το θεμέλιο για τη δημιουργία εταιρικών λιμνών δεδομένων στο Azure. Έχει σχεδιαστεί για την εξυπηρέτηση πολλών petabyte πληροφοριών, διατηρώντας εκατοντάδες gigabit απόδοσης. Επίσης, προσφέρει χωρητικότητα αποθήκευσης και συναλλαγές χαμηλού κόστους. Επιπλέον, υποστηρίζει πρόσβαση συμβατή με Hadoop, η οποία σας επιτρέπει να διαχειρίζεστε και να αποκτάτε πρόσβαση σε δεδομένα όπως ακριβώς θα κάνατε με ένα διανεμημένο σύστημα αρχείων Hadoop (HDFS). Στην πραγματικότητα, το Azure HDInsight, το Azure Databricks και το Azure Synapse Analytics μπορούν όλα να έχουν πρόσβαση σε δεδομένα αποθηκευμένα στο ADLS Gen2. Επομένως, σε μια πλατφόρμα BI, είναι μια καλή επιλογή να αποθηκεύετε δεδομένα ανεπεξέργαστης προέλευσης, ημι-επεξεργασμένα ή σκηνοθετημένα δεδομένα και δεδομένα έτοιμα για παραγωγή. Την χρησιμοποιούμε για την αποθήκευση όλων των εταιρικών δεδομένων μας.
• Το Azure Synapse Analytics είναι μια υπηρεσία ανάλυσης που συγκεντρώνει τις εταιρικές αποθήκευσης δεδομένων και τις μεγάλες αναλύσεις δεδομένων. Σας παρέχει τη δυνατότητα να υποβάλετε ερωτήματα για δεδομένα με τους δικούς σας όρους, χρησιμοποιώντας είτε πόρους κατ' απαίτηση χωρίς τη χρήση διακομιστή είτε εκχωρημένους πόρους, σε κλίμακα. Το Synapse SQL, ένα στοιχείο του Azure Synapse Analytics, υποστηρίζει ολοκληρωμένες αναλύσεις που βασίζονται σε T-SQL, επομένως είναι ιδανικό για τη φιλοξενία εταιρικών μοντέλων που περιλαμβάνουν πίνακες διαστάσεων και δεδομένων. Οι πίνακες μπορούν να φορτωθούν αποτελεσματικά από το ADLS Gen2, χρησιμοποιώντας απλά ερωτήματα Polybase T-SQL . Στη συνέχεια, έχετε τη δυνατότητα MPP για την εκτέλεση αναλύσεων υψηλών επιδόσεων.

Πλαίσιο μηχανισμού επιχειρησιακών κανόνων

Αναπτύξαμε ένα πλαίσιο μηχανισμού επιχειρησιακών κανόνων (BRE) για την καταγραφή τυχόν επιχειρηματικής λογικής που μπορεί να υλοποιηθεί στο επίπεδο αποθήκης δεδομένων. Ένα BRE μπορεί να σημαίνει πολλά πράγματα, αλλά στο περιβάλλον μιας αποθήκης δεδομένων είναι χρήσιμο για τη δημιουργία υπολογιζόμενων στηλών σε σχεσιακόυς πίνακες. Αυτές οι υπολογιζόμενες στήλες συνήθως αναπαρίστανται ως μαθηματικοί υπολογισμοί ή παραστάσεις χρησιμοποιώντας προτάσεις υπό όρους.

Πρόθεση είναι να διαχωριστεί η επιχειρηματική λογική από τον βασικό κώδικα BI. Κατά παράδοση, οι επιχειρηματικοί κανόνες κωδικοποιούνται σε αποθηκευμένες διαδικασίες SQL, επομένως συχνά καταβάλλεται μεγάλη προσπάθεια για τη διατήρησή τους όταν αλλάζουν οι επιχειρηματικές ανάγκες. Σε ένα BRE, οι επιχειρησιακοί κανόνες ορίζονται μία φορά και χρησιμοποιούνται πολλές φορές όταν εφαρμόζονται σε διαφορετικές οντότητες αποθήκης δεδομένων. Εάν η λογική υπολογισμού πρέπει να αλλάξει, χρειάζεται να ενημερωθεί μόνο σε ένα σημείο και όχι σε πολυάριθμες αποθηκευμένες διαδικασίες. Υπάρχει επίσης ένα δευτερεύον όφελος: ένα πλαίσιο BRE προωθεί τη διαφάνεια και την ορατότητα στην εφαρμοσμένη επιχειρηματική λογική, η οποία μπορεί να εκτεθεί μέσω ενός συνόλου αναφορών που δημιουργούν αυτοεγγραφή τεκμηρίωσης.

Προελεύσεις δεδομένων

Μια αποθήκη δεδομένων μπορεί να ενοποιήσει δεδομένα από σχεδόν οποιαδήποτε προέλευση δεδομένων. Βασίζεται κυρίως σε προελεύσεις δεδομένων LOB, οι οποίες είναι συνήθως σχεσιακές βάσεις δεδομένων που αποθηκεύουν συγκεκριμένα δεδομένα για πωλήσεις, μάρκετινγκ, χρηματοοικονομικά κ.λπ. Αυτές οι βάσεις δεδομένων μπορούν να φιλοξενούνται στο cloud ή να βρίσκονται σε εσωτερική εγκατάσταση. Άλλες προελεύσεις δεδομένων μπορεί να βασίζονται σε αρχεία, ιδιαίτερα αρχεία καταγραφής Web ή δεδομένα IOT που προέρχονται από συσκευές. Επιπλέον, τα δεδομένα μπορούν να προέρχονται από προμηθευτές Λογισμικού ως υπηρεσίας (SaaS).

Στη Microsoft, ορισμένα από τα εσωτερικά μας συστήματα παράγουν λειτουργικά δεδομένα απευθείας στο ADLS Gen2 χρησιμοποιώντας ακατέργαστες μορφές αρχείων. Εκτός από τη λίμνη δεδομένων μας, άλλα συστήματα προέλευσης περιλαμβάνουν σχεσιακές εφαρμογές LOB, βιβλία εργασίας του Excel, άλλες προελεύσεις που βασίζονται σε αρχεία και κύριες Διαχείριση δεδομένων (MDM) και προσαρμοσμένα αποθετήρια δεδομένων. Τα αποθετήρια MDM μάς επιτρέπουν να διαχειριζόμαστε τα κύρια δεδομένα μας για να εξασφαλίσουμε έγκυρες, τυποποιημένες και επικυρωμένες εκδόσεις δεδομένων.

Κατάποση δεδομένων

Σε τακτά χρονικά διαστήματα και σύμφωνα με τους ρυθμούς της επιχείρησης, τα δεδομένα προσλαμβάνεται από τα συστήματα προέλευσης και φορτώνονται στην αποθήκη δεδομένων. Μπορεί να είναι μία φορά την ημέρα ή σε συχνότερα χρονικά διαστήματα. Η πρόσληψη δεδομένων αφορά την εξαγωγή, τον μετασχηματισμό και τη φόρτωση δεδομένων. Ή, ίσως το αντίστροφο: εξαγωγή, φόρτωση και, στη συνέχεια, μετασχηματισμός δεδομένων. Η διαφορά προέρχεται από το σημείο όπου πραγματοποιείται ο μετασχηματισμός. Οι μετασχηματισμοί εφαρμόζονται για την εκκαθάριση, τη συμμόρφωση, την ενοποίηση και την τυποποίηση δεδομένων. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Εξαγωγή, μετασχηματισμός και φόρτωση (ETL).

Τελικά, ο στόχος είναι να φορτώσετε τα σωστά δεδομένα στο εταιρικό μοντέλο σας όσο το δυνατόν ταχύτερα και αποτελεσματικότερα.

Στη Microsoft, χρησιμοποιούμε το Azure Data Factory (ADF). Οι υπηρεσίες χρησιμοποιούνται για τον προγραμματισμό και την ενορχήστρωση επικυρώσεων δεδομένων, μετασχηματισμών και μαζικών φορτίων από εξωτερικά συστήματα προέλευσης στη λίμνη δεδομένων μας. Η διαχείριση γίνεται από προσαρμοσμένα πλαίσια για την επεξεργασία δεδομένων παράλληλα και σε κλίμακα. Επιπλέον, πραγματοποιείται ολοκληρωμένη καταγραφή για την υποστήριξη αντιμετώπισης προβλημάτων, παρακολούθησης επιδόσεων και ενεργοποίησης ειδοποιήσεων όταν πληρούνται συγκεκριμένες συνθήκες.

Εν τω μεταξύ, το Azure Databricks, μια πλατφόρμα ανάλυσης που βασίζεται στο Apache Spark και είναι βελτιστοποιημένη για την πλατφόρμα υπηρεσιών cloud Azure, εκτελεί μετασχηματισμούς ειδικά για την επιστήμη δεδομένων. Επίσης, δημιουργεί και εκτελεί μοντέλα εκμάθησης μηχανής που χρησιμοποιούν σημειωματάρια Python. Οι βαθμολογίες από αυτά τα μοντέλα εκμάθησης μηχανής φορτώνονται στην αποθήκη δεδομένων για την ενσωμάτωση προβλέψεων με εταιρικές εφαρμογές και αναφορές. Καθώς το Azure Databricks αποκτά απευθείας πρόσβαση στα αρχεία της λίμνης δεδομένων, εξαλείφει ή ελαχιστοποιεί την ανάγκη αντιγραφής ή απόκτησης δεδομένων.

Πλαίσιο πρόσληψης

Αναπτύξαμε ένα πλαίσιο πρόσληψης ως σύνολο πινάκων και διαδικασιών ρύθμισης παραμέτρων. Υποστηρίζει μια προσέγγιση που βασίζεται σε δεδομένα για την απόκτηση μεγάλου όγκου δεδομένων με μεγάλη ταχύτητα και με ελάχιστο κώδικα. Με λίγα λόγια, αυτό το πλαίσιο απλοποιεί τη διαδικασία απόκτησης δεδομένων για τη φόρτωση της αποθήκης δεδομένων.

Το πλαίσιο εξαρτάται από πίνακες ρύθμισης παραμέτρων που αποθηκεύουν πληροφορίες που σχετίζονται με την προέλευση δεδομένων και τον προορισμό δεδομένων, όπως τον τύπο προέλευσης, τον διακομιστή, τη βάση δεδομένων, το σχήμα και τις λεπτομέρειες που σχετίζονται με τον πίνακα. Αυτή η προσέγγιση σχεδίασης σημαίνει ότι δεν χρειάζεται να αναπτύξουμε συγκεκριμένες διοχετεύσεις ADF ή πακέτα Υπηρεσιών ενοποίησης SQL Server (SSIS ). Αντί για αυτό, οι διαδικασίες συντάσσονται στη γλώσσα της επιλογής μας για τη δημιουργία διοχετεύσεων ADF που δημιουργούνται δυναμικά και εκτελούνται κατά τον χρόνο εκτέλεσης. Επομένως, η απόκτηση δεδομένων μετατρέπεται σε μια άσκηση ρύθμισης παραμέτρων που λειτουργεί εύκολα. Κατά παράδοση, θα απαιτούσε εκτεταμένους πόρους ανάπτυξης για τη δημιουργία ενσωματωμένων πακέτων ADF ή SSIS.

Το πλαίσιο πρόσληψης έχει σχεδιαστεί για την απλοποίηση της διαδικασίας χειρισμού των ανοψιών αλλαγών σχήματος προέλευσης. Είναι εύκολο να ενημερώσετε τα δεδομένα ρύθμισης παραμέτρων, με μη αυτόματο τρόπο ή αυτόματα, όταν ανιχνεύονται αλλαγές σχήματος για την απόκτηση χαρακτηριστικών που προστέθηκαν πρόσφατα στο σύστημα προέλευσης.

Πλαίσιο ενορχήστρωσης

Αναπτύξαμε ένα πλαίσιο ενορχήστρωσης για την αξιοποίηση και την ενορχήστρωση των διοχετεύσεων δεδομένων μας. Χρησιμοποιεί μια σχεδίαση βάσει δεδομένων που εξαρτάται από ένα σύνολο πινάκων ρύθμισης παραμέτρων. Αυτοί οι πίνακες αποθηκεύουν μετα-δεδομένα που περιγράφουν τις εξαρτήσεις διοχέτευσης και τον τρόπο αντιστοίχισης δεδομένων προέλευσης σε δομές δεδομένων προορισμού. Έκτοτε, η επένδυση για την ανάπτυξη αυτού του προσαρμόσιμου πλαισίου έχει εξοφληθεί. δεν απαιτείται πλέον προγραμματισμός κάθε μετακίνησης δεδομένων.

Χώρος αποθήκευσης δεδομένων

Μια λίμνη δεδομένων μπορεί να αποθηκεύσει μεγάλους όγκους ανεπεξέργαστων δεδομένων για μελλοντική χρήση μαζί με μετασχηματισμούς δεδομένων προεργασίας.

Στη Microsoft, χρησιμοποιούμε το ADLS Gen2 ως μοναδική πηγή αλήθειας. Αποθηκεύει ανεπεξέργαστα δεδομένα μαζί με δεδομένα στάδια και έτοιμα για παραγωγή δεδομένα. Παρέχει μια εξαιρετικά κλιμακούμενη και οικονομικά αποδοτική λύση λίμνης δεδομένων για μεγάλες αναλύσεις δεδομένων. Συνδυάζοντας την ισχύ ενός συστήματος αρχείων υψηλών επιδόσεων με μαζική κλίμακα, βελτιστοποιείται για φόρτους εργασίας ανάλυσης δεδομένων, επιταχύνοντας τον χρόνο λήψης πληροφοριών.

Το ADLS Gen2 παρέχει τα καλύτερα στοιχεία δύο κόσμων: είναι χώρος αποθήκευσης αντικειμένων BLOB και χώρος ονομάτων συστήματος αρχείων υψηλών επιδόσεων, τον οποίο διαμορφώνουμε με λεπτομερή δικαιώματα πρόσβασης.

Στη συνέχεια, τα επεξεργασμένα δεδομένα αποθηκεύονται σε μια σχεσιακή βάση δεδομένων για την παροχή ενός χώρου αποθήκευσης δεδομένων υψηλών επιδόσεων και υψηλής κλιμάκωσης για εταιρικά μοντέλα, με ασφάλεια, διαχείριση και διαχειρισιμότητα. Τα δεδομένα που αφορούν συγκεκριμένο θέμα αποθηκεύονται στο Azure Synapse Analytics, το οποίο φορτώνεται από ερωτήματα Azure Databricks ή Polybase T-SQL.

Κατανάλωση δεδομένων

Στο επίπεδο αναφοράς, οι επιχειρηματικές υπηρεσίες καταναλώνουν εταιρικά δεδομένα που προέρχονται από την αποθήκη δεδομένων. Έχουν επίσης πρόσβαση σε δεδομένα απευθείας στη λίμνη δεδομένων για ad hoc αναλύσεις ή εργασίες επιστήμης δεδομένων.

Τα λεπτομερή δικαιώματα επιβάλλονται σε όλα τα επίπεδα: στη λίμνη δεδομένων, τα εταιρικά μοντέλα και τα σημασιολογικά μοντέλα BI. Τα δικαιώματα εξασφαλίζουν ότι οι καταναλωτές δεδομένων μπορούν να βλέπουν μόνο τα δεδομένα στα οποία έχουν δικαιώματα πρόσβασης.

Στη Microsoft, χρησιμοποιούμε αναφορές και πίνακες εργαλείων Power BI και σελιδοποιημένες αναφορές Power BI. Ορισμένες αναφορές και ad hoc αναλύσεις γίνονται στο Excel, ιδιαίτερα για χρηματοοικονομικές αναφορές.

Δημοσιεύουμε λεξικά δεδομένων, τα οποία παρέχουν πληροφορίες αναφοράς σχετικά με τα μοντέλα δεδομένων μας. Διατίθενται στους χρήστες μας, ώστε να μπορούν να ανακαλύψουν πληροφορίες σχετικά με την πλατφόρμα BI μας. Τα λεξικά σχεδιάζουν μοντέλα εγγράφων, παρέχοντας περιγραφές σχετικά με οντότητες, μορφές, δομή, καταγωγή δεδομένων, σχέσεις και υπολογισμούς. Χρησιμοποιούμε το Azure Data Catalog για να κάνουμε τις προελεύσεις δεδομένων μας εύκολα ανιχνεύσιμες και κατανοητές.

Συνήθως, τα μοτίβα κατανάλωσης δεδομένων διαφέρουν ανάλογα με τον ρόλο:

• Οι αναλυτές δεδομένων συνδέονται απευθείας σε βασικά σημασιολογικά μοντέλα BI. Όταν τα βασικά σημασιολογικά μοντέλα BI περιέχουν όλα τα δεδομένα και τη λογική που χρειάζονται, χρησιμοποιούν δυναμικές συνδέσεις για τη δημιουργία αναφορών και πινάκων εργαλείων Power BI. Όταν πρέπει να επεκτείνουν τα μοντέλα με δεδομένα τμήματος, δημιουργούν σύνθετα μοντέλα Power BI. Εάν υπάρχει ανάγκη για αναφορές στυλ υπολογιστικού φύλλου, χρησιμοποιούν το Excel για να παράγουν αναφορές που βασίζονται σε βασικά σημασιολογικά μοντέλα BI ή σημασιολογικά μοντέλα τμημάτων BI.
• Οι προγραμματιστές BI και οι συντάκτες επιχειρησιακών αναφορών συνδέονται απευθείας με εταιρικά μοντέλα. Χρησιμοποιούν το Power BI Desktop για τη δημιουργία αναφορών ανάλυσης δυναμικών συνδέσεων. Μπορούν επίσης να συντάξουν αναφορές BI επιχειρησιακού τύπου ως σελιδοποιημένες αναφορές Power BI, συντάξτε εγγενή ερωτήματα SQL για πρόσβαση σε δεδομένα από τα εταιρικά μοντέλα Azure Synapse Analytics, χρησιμοποιώντας T-SQL ή σημασιολογικά μοντέλα Power BI χρησιμοποιώντας DAX ή MDX.
• Οι επιστήμονες δεδομένων συνδέονται απευθείας με τα δεδομένα στη λίμνη δεδομένων. Χρησιμοποιούν σημειωματάρια Azure Databricks και Python για την ανάπτυξη μοντέλων εκμάθησης μηχανής, τα οποία συχνά είναι πειραματικά και απαιτούν εξειδικευμένες δεξιότητες για χρήση στην παραγωγή.

Σχετικό περιεχόμενο

Για περισσότερες πληροφορίες σχετικά με αυτό το άρθρο, ανατρέξτε στους παρακάτω πόρους:

• Οδικός χάρτης υιοθέτησης fabric: Κέντρο αριστείας
• Εταιρικό BI στο Azure με Azure Synapse Analytics
• Ερωτήσεις; Δοκιμάστε να ρωτήσετε τον Κοινότητα Power BI
• Προτάσεις? Συνεισφέρετε ιδέες για τη βελτίωση του Power BI

Επαγγελματικές υπηρεσίες

Πιστοποιημένοι συνεργάτες Power BI είναι διαθέσιμοι για να βοηθήσουν τον οργανισμό σας να επιτύχει κατά τη ρύθμιση ενός COE. Μπορούν να σας παρέχουν οικονομική εκπαίδευση ή έναν έλεγχο των δεδομένων σας. Για να προσελκύσετε έναν συνεργάτη Power BI, επισκεφθείτε την πύλη συνεργατών Power BI.

Μπορείτε επίσης να συνεργαστείτε με έμπειρους συνεργάτες συμβούλους. Μπορούν να σας βοηθήσουν να αξιολογήσετε, αξιολογήσετε ή υλοποιήσετε το Power BI.