Αντιγραφή δεδομένων με χρήση δραστηριότητας αντιγραφής

Άρθρο
03/04/2024

Στη Διοχέτευση δεδομένων, μπορείτε να χρησιμοποιήσετε τη δραστηριότητα αντιγραφής για να αντιγράψετε δεδομένα μεταξύ των καταστημάτων δεδομένων που βρίσκονται στο cloud.

Αφού αντιγράψετε τα δεδομένα, μπορείτε να χρησιμοποιήσετε άλλες δραστηριότητες για περαιτέρω μετασχηματισμό και ανάλυσή τους. Μπορείτε επίσης να χρησιμοποιήσετε τη δραστηριότητα αντιγραφής για να δημοσιεύσετε αποτελέσματα μετασχηματισμού και ανάλυσης για επιχειρηματική ευφυΐα (BI) και κατανάλωση εφαρμογών.

Για να αντιγράψετε δεδομένα από μια προέλευση σε έναν προορισμό, η υπηρεσία που εκτελεί τη δραστηριότητα Αντιγραφή εκτελεί τα εξής βήματα:

Διαβάζει δεδομένα από ένα χώρο αποθήκευσης δεδομένων προέλευσης.
Εκτελεί σειριοποίηση/αποριριοποίηση, συμπίεση/αποσυμπίεση, αντιστοίχιση στηλών και ούτω καθεξής. Εκτελεί αυτές τις λειτουργίες με βάση τη ρύθμιση παραμέτρων.
Εγγράφει δεδομένα στον χώρο αποθήκευσης δεδομένων προορισμού.

Προαπαιτούμενα στοιχεία

Για να ξεκινήσετε, πρέπει να συμπληρώσετε τις ακόλουθες προϋποθέσεις:

Ένας λογαριασμός μισθωτή Microsoft Fabric με ενεργή συνδρομή. Δημιουργήστε έναν λογαριασμό δωρεάν.
Βεβαιωθείτε ότι έχετε έναν χώρο εργασίας με δυνατότητα Microsoft Fabric.

Προσθήκη δραστηριότητας αντιγραφής με χρήση βοηθού αντιγραφής

Ακολουθήστε τα παρακάτω βήματα για να ρυθμίσετε τη δραστηριότητα αντιγραφής χρησιμοποιώντας τον βοηθό αντιγραφής.

Έναρξη με τον βοηθό αντιγραφής

Ανοίξτε μια υπάρχουσα διοχέτευση δεδομένων ή δημιουργήστε μια νέα διοχέτευση δεδομένων.
Επιλέξτε Αντιγραφή δεδομένων στον καμβά για να ανοίξετε το εργαλείο Αντιγραφή βοηθού για να ξεκινήσετε. Εναλλακτικά, επιλέξτε Χρήση βοηθού αντιγραφής από την αναπτυσσόμενη λίστα Αντιγραφή δεδομένων στην καρτέλα Δραστηριότητες στην κορδέλα.

Ρύθμιση παραμέτρων της προέλευσής σας

Επιλέξτε έναν τύπο προέλευσης δεδομένων από την κατηγορία. Θα χρησιμοποιήσετε το Azure Blob Υπηρεσία αποθήκευσης ως παράδειγμα. Επιλέξτε Azure Blob Υπηρεσία αποθήκευσης και, στη συνέχεια, επιλέξτε Επόμενο.
Δημιουργήστε μια σύνδεση με την προέλευση δεδομένων σας, επιλέγοντας Δημιουργία νέας σύνδεσης.

Αφού επιλέξετε Δημιουργία νέας σύνδεσης, συμπληρώστε τις απαιτούμενες πληροφορίες σύνδεσης και, στη συνέχεια, επιλέξτε Επόμενο. Για λεπτομέρειες σχετικά με τη δημιουργία σύνδεσης για κάθε τύπο προέλευσης δεδομένων, μπορείτε να ανατρέξετε σε κάθε άρθρο σύνδεσης.

Εάν έχετε υπάρχουσες συνδέσεις, μπορείτε να επιλέξετε Υπάρχουσα σύνδεση και να επιλέξετε τη σύνδεσή σας από την αναπτυσσόμενη λίστα.
Επιλέξτε το αρχείο ή τον φάκελο που θα αντιγραφούν σε αυτό το βήμα ρύθμισης παραμέτρων προέλευσης και, στη συνέχεια, επιλέξτε Επόμενο.

Ρύθμιση παραμέτρων του προορισμού σας

Επιλέξτε έναν τύπο προέλευσης δεδομένων από την κατηγορία. Θα χρησιμοποιήσετε το Azure Blob Υπηρεσία αποθήκευσης ως παράδειγμα. Επιλέξτε Azure Blob Υπηρεσία αποθήκευσης και, στη συνέχεια, επιλέξτε Επόμενο.
Μπορείτε είτε να δημιουργήσετε μια νέα σύνδεση που συνδέεται σε ένα νέο λογαριασμό Blob Azure Υπηρεσία αποθήκευσης, ακολουθώντας τα βήματα της προηγούμενης ενότητας είτε να χρησιμοποιήσετε μια υπάρχουσα σύνδεση από την αναπτυσσόμενη λίστα σύνδεσης. Οι δυνατότητες δοκιμής σύνδεσης και επεξεργασίας είναι διαθέσιμες σε κάθε επιλεγμένη σύνδεση.
Ρυθμίστε τις παραμέτρους και αντιστοιχίστε τα δεδομένα προέλευσής σας στον προορισμό σας. Στη συνέχεια, επιλέξτε Επόμενο για να ολοκληρώσετε τις ρυθμίσεις παραμέτρων προορισμού σας.

Έλεγχος και δημιουργία δραστηριότητας αντιγραφής

Εξετάστε τις ρυθμίσεις δραστηριότητας αντιγραφής στα προηγούμενα βήματα και επιλέξτε OK για να ολοκληρώσετε. Εναλλακτικά, μπορείτε να επιστρέψετε στα προηγούμενα βήματα για να επεξεργαστείτε τις ρυθμίσεις σας, εάν είναι απαραίτητο στο εργαλείο.

Μόλις ολοκληρωθεί, η δραστηριότητα αντιγραφής θα προστεθεί έπειτα στον καμβά διοχέτευσης δεδομένων. Όλες οι ρυθμίσεις, συμπεριλαμβανομένων των σύνθετων ρυθμίσεων για αυτήν τη δραστηριότητα αντιγραφής, είναι διαθέσιμες στις καρτέλες όταν επιλεγεί.

Τώρα μπορείτε είτε να αποθηκεύσετε τη διοχέτευση δεδομένων με αυτήν τη δραστηριότητα αντιγραφής είτε να συνεχίσετε να σχεδιάζετε τη διοχέτευση δεδομένων σας.

Προσθήκη δραστηριότητας αντιγραφής απευθείας

Ακολουθήστε αυτά τα βήματα για να προσθέσετε ένα αντίγραφο δραστηριότητας απευθείας.

Προσθήκη δραστηριότητας αντιγραφής

Ανοίξτε μια υπάρχουσα διοχέτευση δεδομένων ή δημιουργήστε μια νέα διοχέτευση δεδομένων.
Προσθέστε μια δραστηριότητα αντιγραφής είτε επιλέγοντας Προσθήκη δραστηριότητας διοχέτευσης Αντιγραφή δραστηριότητας> είτε επιλέγοντας Αντιγραφή δεδομένων>Προσθήκη στον καμβά στην καρτέλα Δραστηριότητες.

Ρύθμιση των γενικών ρυθμίσεων στην καρτέλα "Γενικά"

Για να μάθετε πώς μπορείτε να ρυθμίσετε τις γενικές ρυθμίσεις σας, ανατρέξτε στο θέμα Γενικά.

Ρύθμιση παραμέτρων της προέλευσης στην καρτέλα προέλευσης

Επιλέξτε + Νέο δίπλα στην Σύνδεση ion για να δημιουργήσετε μια σύνδεση με την προέλευση δεδομένων σας.
1. Επιλέξτε τον τύπο προέλευσης δεδομένων από το αναδυόμενο παράθυρο. Θα χρησιμοποιήσετε το Azure Βάση δεδομένων SQL ως παράδειγμα. Επιλέξτε Azure Βάση δεδομένων SQL και, στη συνέχεια, επιλέξτε Συνέχεια.
2. Μεταβαίνει στη σελίδα δημιουργίας σύνδεσης. Συμπληρώστε τις απαιτούμενες πληροφορίες σύνδεσης στον πίνακα και, στη συνέχεια, επιλέξτε Δημιουργία. Για λεπτομέρειες σχετικά με τη δημιουργία σύνδεσης για κάθε τύπο προέλευσης δεδομένων, μπορείτε να ανατρέξετε σε κάθε άρθρο σύνδεσης.
3. Όταν η σύνδεσή σας δημιουργηθεί με επιτυχία, θα σας μεταφέρει πίσω στη σελίδα διοχέτευσης δεδομένων. Στη συνέχεια, επιλέξτε Ανανέωση για να λάβετε τη σύνδεση που δημιουργήσατε από την αναπτυσσόμενη λίστα. Μπορείτε επίσης να επιλέξετε μια υπάρχουσα σύνδεση Azure Βάση δεδομένων SQL απευθείας από την αναπτυσσόμενη λίστα, εάν την έχετε δημιουργήσει ήδη. Οι δυνατότητες δοκιμής σύνδεσης και επεξεργασίας είναι διαθέσιμες σε κάθε επιλεγμένη σύνδεση. Στη συνέχεια, επιλέξτε Azure Βάση δεδομένων SQL τύπου Σύνδεση.
Καθορίστε έναν πίνακα που θα αντιγραφεί. Επιλέξτε Προεπισκόπηση δεδομένων για να κάνετε προεπισκόπηση του πίνακα προέλευσής σας. Μπορείτε επίσης να χρησιμοποιήσετε τη διαδικασία Ερώτημα και Αποθηκευμένη για την ανάγνωση δεδομένων από την προέλευσή σας.
Αναπτύξτε το στοιχείο Για προχωρημένους για πιο σύνθετες ρυθμίσεις.

Ρύθμιση παραμέτρων του προορισμού σας στην καρτέλα προορισμού

Επιλέξτε τον τύπο προορισμού σας. Θα μπορούσε να είναι είτε ο εσωτερικός σας χώρος αποθήκευσης δεδομένων πρώτης κατηγορίας από τον χώρο εργασίας σας, όπως το Lakehouse, είτε οι εξωτερικοί σας χώροι αποθήκευσης δεδομένων. Θα χρησιμοποιήσετε το Lakehouse ως παράδειγμα.
Επιλέξτε να χρησιμοποιήσετε το Lakehouse στον τύπο χώρου αποθήκευσης δεδομένων χώρου εργασίας. Επιλέξτε + Νέο και θα σας καθοδηγήσει στη σελίδα δημιουργίας του Lakehouse. Καθορίστε το όνομά σας Lakehouse και, στη συνέχεια, επιλέξτε Δημιουργία.
Όταν η σύνδεσή σας δημιουργηθεί με επιτυχία, θα σας μεταφέρει πίσω στη σελίδα διοχέτευσης δεδομένων. Στη συνέχεια, επιλέξτε Ανανέωση για να λάβετε τη σύνδεση που δημιουργήσατε από την αναπτυσσόμενη λίστα. Μπορείτε επίσης να επιλέξετε μια υπάρχουσα σύνδεση Lakehouse από την αναπτυσσόμενη λίστα απευθείας, εάν την έχετε δημιουργήσει ήδη πριν.
Καθορίστε έναν πίνακα ή ρυθμίστε τη διαδρομή αρχείου για να ορίσετε το αρχείο ή το φάκελο ως προορισμό. Εδώ επιλέξτε Πίνακες και καθορίστε έναν πίνακα για την εγγραφή δεδομένων.
Αναπτύξτε το στοιχείο Για προχωρημένους για πιο σύνθετες ρυθμίσεις.

Ρύθμιση παραμέτρων των αντιστοιχίσεων στην καρτέλα αντιστοίχισης

Εάν η σύνδεση που εφαρμόζετε υποστηρίζει την αντιστοίχιση, μπορείτε να μεταβείτε στην καρτέλα Αντιστοίχιση για να ρυθμίσετε τις παραμέτρους της αντιστοίχισης.

Επιλέξτε Εισαγωγή σχημάτων για να εισαγάγετε το σχήμα δεδομένων σας.
Μπορείτε να δείτε ότι εμφανίζεται η αυτόματη αντιστοίχιση. Καθορίστε τη στήλη Source και τη στήλη Destination . Εάν δημιουργήσετε έναν νέο πίνακα στον προορισμό, μπορείτε να προσαρμόσετε το όνομα στήλης Προορισμός εδώ. Εάν θέλετε να κάνετε εγγραφή δεδομένων στον υπάρχοντα πίνακα προορισμού, δεν μπορείτε να τροποποιήσετε το υπάρχον όνομα στήλης Προορισμός . Μπορείτε επίσης να προβάλετε τις στήλες Τύπος προέλευσης και προορισμού.

Εκτός αυτού, μπορείτε να επιλέξετε + Νέα αντιστοίχιση για να προσθέσετε νέα αντιστοίχιση, να επιλέξετε Απαλοιφή για να καταργήσετε όλες τις ρυθμίσεις αντιστοίχισης και να επιλέξετε Επαναφορά για να επαναφέρετε όλες τις αντιστοιχίσεις στήλης Προέλευση .

Ρύθμιση παραμέτρων μετατροπής τύπου

Αναπτύξτε τις ρυθμίσεις μετατροπής τύπου για να ρυθμίσετε τις παραμέτρους της μετατροπής τύπου σας, εάν είναι απαραίτητο.

Ανατρέξτε στον παρακάτω πίνακα για τις λεπτομέρειες της ρύθμισης.

Ρύθμιση	Description
Να επιτρέπεται η εκτέλεση δεδομένων	Να επιτρέπεται η εκτέλεση δεδομένων κατά τη μετατροπή δεδομένων προέλευσης σε προορισμό με διαφορετικό τύπο κατά την αντιγραφή. Για παράδειγμα, από δεκαδικό έως ακέραιο, από DatetimeOffset σε Datetime.
Χειρισμός δυαδικής τιμής ως αριθμού	Χειρισμός δυαδικής τιμής ως αριθμού. Για παράδειγμα, να αντιμετωπίζετε την τιμή true ως 1.
Μορφή ημερομηνίας	Συμβολοσειρά μορφοποίησης κατά τη μετατροπή μεταξύ ημερομηνιών και συμβολοσειρών, π.χ. "εεεε-ΜΜ-ηη". Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Προσαρμοσμένες συμβολοσειρές μορφής ημερομηνίας και ώρας. Η στήλη ημερομηνίας μπορεί να διαβαστεί ως τύπος ημερομηνίας για: • Amazon RDS για SQL Server • Azure Βάση δεδομένων SQL • Azure Βάση δεδομένων SQL διαχειριζόμενη παρουσία • Azure Synapse Analytics • Οριοθετημένη μορφή κειμένου • Πίνακας Lakehouse • Μορφή παρκέ • SQL Server
Μορφή ημερομηνίας/ώρας	Συμβολοσειρά μορφοποίησης κατά τη μετατροπή μεταξύ ημερομηνιών χωρίς μετατόπιση ζώνης ώρας και συμβολοσειρές. Για παράδειγμα, "yyyy-MM-dd HH:mm:ss.fff".
Μορφή DateTimeOffset	Συμβολοσειρά μορφοποίησης κατά τη μετατροπή μεταξύ ημερομηνιών με μετατόπιση ζώνης ώρας και συμβολοσειρές. Για παράδειγμα, "yyyy-MM-dd HH:mm:ss.fff zzz".
Μορφή χρονικού ωρών	Μορφοποιήστε τη συμβολοσειρά κατά τη μετατροπή μεταξύ χρονικών περιόδων και συμβολοσειρών. Για παράδειγμα, "dd.hh:mm:ss".
Πολιτισμού	Πληροφορίες κουλτούρας που θα χρησιμοποιηθούν κατά τη μετατροπή τύπων. Για παράδειγμα, "en-us", "fr-fr".

Ρύθμιση παραμέτρων των άλλων ρυθμίσεων σας στην καρτέλα "Ρυθμίσεις"

Η καρτέλα Ρυθμίσεις περιέχει τις ρυθμίσεις επιδόσεων, προεργασίας και ούτω καθεξής.

Ανατρέξτε στον παρακάτω πίνακα για την περιγραφή κάθε ρύθμισης.

Ρύθμιση	Description
Έξυπνη βελτιστοποίηση απόδοσης	Καθορίστε για βελτιστοποίηση της ταχύτητας μετάδοσης. Μπορείτε να επιλέξετε μεταξύ των εξής: • Αυτόματη • Τυπικό • Ισορροπημένη • Μέγιστο Όταν επιλέγετε Αυτόματο, η βέλτιστη ρύθμιση εφαρμόζεται δυναμικά με βάση το ζεύγος προέλευσης-προορισμού και το μοτίβο δεδομένων. Μπορείτε επίσης να προσαρμόσετε την ταχύτητα μετάδοσης και η προσαρμοσμένη τιμή μπορεί να είναι 2-256, ενώ η υψηλότερη τιμή συνεπάγεται περισσότερα κέρδη.
Βαθμός παράλληλης αντιγραφής	Καθορίστε τον βαθμό παραλληλισμού που θα χρησιμοποιούσε η φόρτωση δεδομένων.
Ανοχή	Όταν ενεργοποιήσετε αυτήν την επιλογή, μπορείτε να αγνοήσετε ορισμένα σφάλματα που προέκυψαν στο μέσο της διαδικασίας αντιγραφής. Για παράδειγμα, μη συμβατές γραμμές μεταξύ χώρου αποθήκευσης προέλευσης και προορισμού, αρχείου που διαγράφεται κατά τη μετακίνηση δεδομένων κ.λπ.
Ενεργοποίηση καταγραφής	Κατά την επιλογή αυτή, μπορείτε να καταγράψετε αρχεία που έχουν αντιγραφεί, παραλείψει αρχεία και γραμμές
Ενεργοποίηση προεργασίας	Καθορίστε εάν θα αντιγράψετε δεδομένα μέσω ενός χώρου αποθήκευσης ενδιάμεσων προεργασίας. Ενεργοποίηση προεργασίας μόνο για τα ευεργετικά σενάρια.
Σύνδεση λογαριασμού προεργασίας	Όταν επιλέγετε Ενεργοποίηση προεργασίας, καθορίστε τη σύνδεση μιας προέλευσης δεδομένων αποθήκευσης Azure ως ενδιάμεσο χώρο αποθήκευσης προεργασίας. Επιλέξτε + Δημιουργία για να δημιουργήσετε μια σύνδεση προεργασίας, εάν δεν την έχετε.

Ρύθμιση παραμέτρων σε δραστηριότητα αντιγραφής

Οι παράμετροι μπορούν να χρησιμοποιηθούν για τον έλεγχο της συμπεριφοράς μιας διοχέτευσης και των δραστηριοτήτων της. Μπορείτε να χρησιμοποιήσετε την επιλογή Προσθήκη δυναμικού περιεχομένου για να καθορίσετε παραμέτρους για τις ιδιότητές σας αντιγραφής δραστηριότητας. Ας δούμε ως παράδειγμα τον καθορισμό του Lakehouse/Data Warehouse/KQL Database για να δούμε πώς μπορείτε να το χρησιμοποιήσετε.

Στην προέλευση ή τον προορισμό σας, αφού επιλέξετε Χώρος εργασίας ως τύπος χώρου αποθήκευσης δεδομένων και καθορίσετε τη Βάση δεδομένων Data Warehouse/KQL του Lakehouse/ως τύπο χώρου αποθήκευσης δεδομένων χώρου εργασίας, επιλέξτε Προσθήκη δυναμικού περιεχομένου στην αναπτυσσόμενη λίστα Lakehouse ή Αποθήκη δεδομένων ή Βάση δεδομένων KQL.
Στο αναδυόμενο παράθυρο Προσθήκη δυναμικού περιεχομένου , στην καρτέλα Παράμετροι , επιλέξτε +.
Καθορίστε το όνομα για την παράμετρο και δώστε της μια προεπιλεγμένη τιμή εάν θέλετε ή μπορείτε να καθορίσετε την τιμή για την παράμετρο αφού επιλέξετε Εκτέλεση στη διοχέτευση.

Σημειώστε ότι η τιμή παραμέτρου πρέπει να είναι Lakehouse/Data Warehouse/KQL Database object ID. Για να λάβετε το αναγνωριστικό αντικειμένου Lakehouse/Data Warehouse/KQL Database, ανοίξτε τη βάση δεδομένων Lakehouse/Data Warehouse/KQL στον χώρο εργασίας σας και το αναγνωριστικό βρίσκεται μετά /lakehouses/ή /datawarehouses//databases/ στη διεύθυνση URL σας.
- Αναγνωριστικό αντικειμένου Lakehouse:
- Αναγνωριστικό αντικειμένου Αποθήκης δεδομένων:
- Αναγνωριστικό αντικειμένου βάσης δεδομένων KQL:
Επιλέξτε Αποθήκευση για να επιστρέψετε στο τμήμα παραθύρου Προσθήκη δυναμικού περιεχομένου . Στη συνέχεια, επιλέξτε την παράμετρο ώστε να εμφανίζεται στο πλαίσιο παράστασης. Στη συνέχεια επιλέξτε OK. Θα επιστρέψετε στη σελίδα διοχέτευσης και μπορείτε να δείτε ότι η παράσταση παραμέτρου καθορίζεται μετά το αναγνωριστικό αντικειμένου Data/Warehouse αντικειμένου ID/KQL Αναγνωριστικό αντικειμένου βάσης δεδομένων Lakehouse.

Κοινή χρήση μέσω

Αντιγραφή δεδομένων με χρήση δραστηριότητας αντιγραφής

Προαπαιτούμενα στοιχεία