Αυτόματη καταχώρηση στο Microsoft Fabric

Η Synapse Data Science στο Microsoft Fabric περιλαμβάνει την αυτόματη καταχώρηση, η οποία μειώνει σημαντικά την ποσότητα κώδικα που απαιτείται για την αυτόματη καταγραφή των παραμέτρων, των μετρικών και των στοιχείων ενός μοντέλου εκμάθησης μηχανής κατά τη διάρκεια της εκπαίδευσης. Αυτό το άρθρο περιγράφει την αυτόματη καταχώρηση για Synapse Data Science στο Microsoft Fabric.

Η αυτόματη καταχώρηση επεκτείνει τις δυνατότητες παρακολούθησης ροής ML και ενσωματώνεται σε βάθος στην εμπειρία Synapse Data Science στο Microsoft Fabric. Η αυτόματη καταγραφή μπορεί να καταγράψει διάφορα μετρικά, όπως την ακρίβεια, την απώλεια, τη βαθμολογία F1 και τα προσαρμοσμένα μετρικά που καθορίζετε. Με τη χρήση της αυτόματης καταγραφής, οι προγραμματιστές και οι επιστήμονες δεδομένων μπορούν εύκολα να παρακολουθούν και να συγκρίνουν τις επιδόσεις διαφορετικών μοντέλων και πειραμάτων χωρίς μη αυτόματη παρακολούθηση.

Υποστηριζόμενα πλαίσια

Η αυτόματη καταχώρηση υποστηρίζει ένα ευρύ φάσμα πλαισίων εκμάθησης μηχανής, όπως TensorFlow, PyTorch, Scikit-learn και XGBoost. Για να μάθετε περισσότερα σχετικά με τις ιδιότητες πλαισίου που καταγράφει η αυτόματη καταγραφή, ανατρέξτε στην τεκμηρίωση της MLflow.

Ρύθμιση παραμέτρων

Η αυτόματη καταγραφή λειτουργεί καταγράφοντας αυτόματα τιμές παραμέτρων εισόδου, μετρικών εξόδου και στοιχείων εξόδου ενός μοντέλου εκμάθησης μηχανής καθώς εκπαιδεύεται. Αυτές οι πληροφορίες καταγράφονται στον χώρο εργασίας σας Microsoft Fabric, όπου μπορείτε να αποκτήσετε πρόσβαση και να τις απεικονίσετε χρησιμοποιώντας τα API MLflow ή τα αντίστοιχα στοιχεία πειράματος και μοντέλου στον χώρο εργασίας σας Microsoft Fabric.

Κατά την εκκίνηση ενός σημειωματάριου Synapse Data Science, το Microsoft Fabric καλεί το mlflow.autolog() για να ενεργοποιήσει άμεσα την παρακολούθηση και φόρτωση των αντίστοιχων εξαρτήσεων. Κατά την εκπαίδευση μοντέλων στο σημειωματάριό σας, η MLflow παρακολουθεί αυτόματα αυτές τις πληροφορίες μοντέλου.

Η ρύθμιση παραμέτρων πραγματοποιείται αυτόματα στο παρασκήνιο κατά την εκτέλεση import mlflowτου . Η προεπιλεγμένη ρύθμιση παραμέτρων για το σημειωματάριο mlflow.autolog() hook είναι:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Προσαρμογή

Για να προσαρμόσετε τη συμπεριφορά καταγραφής, μπορείτε να χρησιμοποιήσετε τη ρύθμιση παραμέτρων mlflow.autolog(). Αυτή η ρύθμιση παραμέτρων παρέχει παραμέτρους για την ενεργοποίηση της καταγραφής μοντέλου, τη συλλογή δειγμάτων εισόδου, τη ρύθμιση προειδοποιήσεων ή την ενεργοποίηση της καταγραφής για πρόσθετο περιεχόμενο που καθορίζετε.

Παρακολούθηση περισσότερων μετρικών, παραμέτρων και ιδιοτήτων

Για εκτελέσεις που δημιουργήθηκαν με MLflow, ενημερώστε τη ρύθμιση παραμέτρων αυτόματης καταχώρησης ροής ML για την παρακολούθηση πρόσθετων μετρικών, παραμέτρων, αρχείων και μετα-δεδομένων ως εξής:

1. Ενημερώστε την κλήση mlflow.autolog() για να ορίσετε exclusive=Falseτο .

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Χρησιμοποιήστε τα API παρακολούθησης MLflow για να καταγράψετε πρόσθετες παραμέτρους και μετρικά. Το παρακάτω παράδειγμα κώδικα σάς επιτρέπει να καταγράφετε τα προσαρμοσμένα μετρικά και τις παραμέτρους σας μαζί με πρόσθετες ιδιότητες.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Απενεργοποίηση αυτόματης καταχώρησης στο Microsoft Fabric

Μπορείτε να απενεργοποιήσετε την αυτόματη καταχώρηση στο Microsoft Fabric για μια συγκεκριμένη περίοδο λειτουργίας σημειωματάριου. Μπορείτε επίσης να απενεργοποιήσετε την αυτόματη καταχώρηση σε όλα τα σημειωματάρια, χρησιμοποιώντας τη ρύθμιση χώρου εργασίας.

Σημείωμα

Εάν η αυτόματη καταγραφή είναι απενεργοποιημένη, πρέπει να καταγράψετε με μη αυτόματο τρόπο τις παραμέτρους και τα μετρικά σας, χρησιμοποιώντας τα API MLflow.

Απενεργοποίηση της αυτόματης καταχώρησης για μια περίοδο λειτουργίας σημειωματάριου

Για να απενεργοποιήσετε την αυτόματη καταχώρηση του Microsoft Fabric για μια συγκεκριμένη περίοδο λειτουργίας σημειωματάριου, καλέστε το mlflow.autolog() και ορίστε disable=True.

import mlflow
mlflow.autolog(disable=True)

Απενεργοποίηση της αυτόματης καταχώρησης για όλα τα σημειωματάρια και περιόδους λειτουργίας

Οι διαχειριστές χώρου εργασίας μπορούν να ενεργοποιήσουν ή να απενεργοποιήσουν την αυτόματη καταγραφή του Microsoft Fabric για όλα τα σημειωματάρια και περιόδους λειτουργίας στον χώρο εργασίας τους, χρησιμοποιώντας τις ρυθμίσεις χώρου εργασίας. Για να ενεργοποιήσετε ή να απενεργοποιήσετε την αυτόματη καταχώρηση της επιστήμης δεδομένων Synapse:

1. Στον χώρο εργασίας σας Synapse Data Science, επιλέξτε Ρυθμίσεις χώρου εργασίας.

   

2. Στην οθόνη Ρυθμίσεις χώρου εργασίας, αναπτύξτε το Μηχανικός δεδομένων/Επιστήμη στην αριστερή γραμμή περιήγησης και επιλέξτε Ρυθμίσεις Spark.

3. Στην οθόνη Ρυθμίσεις Spark, επιλέξτε την καρτέλα Αυτόματο αρχείο καταγραφής.

4. Ορίστε την επιλογή Αυτόματη παρακολούθηση πειραμάτων και μοντέλων εκμάθησης μηχανής σε Ενεργοποίηση ή Απενεργοποίηση.

5. Επιλέξτε Αποθήκευση.

   

Σχετικό περιεχόμενο

• Δημιουργία μοντέλου εκμάθησης μηχανής με το Apache Spark MLlib
• Πειράματα εκμάθησης μηχανής στο Microsoft Fabric