แชร์ผ่าน

การล็อกอัตโนมัติใน Microsoft Fabric

  • บทความ

Synapse Data Science ใน Microsoft Fabric รวมถึงการล็อกอัตโนมัติซึ่งจะช่วยลดจํานวนโค้ดที่จําเป็นในการบันทึกพารามิเตอร์ เมตริก และรายการของแบบจําลองการเรียนรู้ของเครื่องในระหว่างการฝึกอบรมโดยอัตโนมัติ บทความนี้อธิบายการล็อกอัตโนมัติสําหรับ Synapse Data Science ใน Microsoft Fabric

การล็อกอัตโนมัติขยาย ความสามารถในการติดตาม กระแส ML และผสานรวมเข้ากับวิทยาศาสตร์ข้อมูล Synapse ใน Microsoft Fabric อย่างลึกซึ้ง การบันทึกอัตโนมัติสามารถจับภาพเมตริกต่าง ๆ รวมถึงความแม่นยํา การสูญเสีย คะแนน F1 และเมตริกที่กําหนดเองที่คุณกําหนด นักพัฒนาซอฟต์แวร์และนักวิทยาศาสตร์ข้อมูลสามารถติดตามและเปรียบเทียบประสิทธิภาพของแบบจําลองและการทดลองที่แตกต่างกันได้อย่างง่ายดายโดยไม่ต้องติดตามด้วยตนเอง

เฟรมเวิร์กที่รองรับ

การล็อกอัตโนมัติสนับสนุนเฟรมเวิร์กการเรียนรู้ของเครื่องที่หลากหลาย รวมถึง TensorFlow, PyTorch, Scikit-learn และ XGBoost หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับคุณสมบัติเฉพาะของเฟรมเวิร์กที่บันทึกโดยอัตโนมัติ โปรดดูเอกสาร MLflow

การตั้งค่าคอนฟิก

การล็อกอัตโนมัติทํางานโดยการจับค่าของพารามิเตอร์อินพุต เมตริกผลลัพธ์ และรายการผลลัพธ์ของแบบจําลองการเรียนรู้ของเครื่องโดยอัตโนมัติขณะที่กําลังได้รับการฝึก ข้อมูลนี้จะถูกบันทึกไปยังพื้นที่ทํางาน Microsoft Fabric ของคุณ ซึ่งคุณสามารถเข้าถึงและแสดงภาพได้โดยใช้ API ของ MLflow หรือรายการการทดลองและแบบจําลองที่สอดคล้องกันในพื้นที่ทํางาน Microsoft Fabric ของคุณ

เมื่อคุณเปิดใช้งานสมุดบันทึก Synapse Data Science แล้ว Microsoft Fabric จะเรียกใช้ mlflow.autolog() เพื่อเปิดใช้งานการติดตามและโหลดการขึ้นต่อกันที่เกี่ยวข้องทันที เมื่อคุณฝึกแบบจําลองในสมุดบันทึกของคุณ MLflow จะติดตามข้อมูลแบบจําลองนี้โดยอัตโนมัติ

การกําหนดค่าเกิดขึ้นเบื้องหลังโดยอัตโนมัติเมื่อคุณเรียกใช้import mlflow การกําหนดค่าเริ่มต้นสําหรับ mlflow.autolog() hook ของสมุดบันทึกคือ:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

การกำหนดเอง

หากต้องการกําหนดลักษณะการทํางานการบันทึก เอง คุณสามารถใช้การกําหนดค่า mlflow.autolog() ได้ การกําหนดค่านี้มีพารามิเตอร์เพื่อเปิดใช้งานการบันทึกแบบจําลอง รวบรวมตัวอย่างการป้อนข้อมูล กําหนดค่าคําเตือน หรือเปิดใช้งานการบันทึกสําหรับเนื้อหาที่เพิ่มที่คุณระบุ

ติดตามเมตริก พารามิเตอร์ และคุณสมบัติเพิ่มเติม

สําหรับการเรียกใช้ที่สร้างขึ้นด้วย MLflow ให้อัปเดตการกําหนดค่าการบันทึกอัตโนมัติของ MLflow เพื่อติดตามเมตริก พารามิเตอร์ ไฟล์ และเมตาดาต้าเพิ่มเติมดังนี้:

  1. อัปเดตการเรียก mlflow.autolog() เพื่อตั้งค่าexclusive=False

        mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=False, # Update this property to enable custom logging
    disable_for_unsupported_versions=True,
    silent=True
)

  2. ใช้ API การติดตาม MLflow เพื่อบันทึกพารามิเตอร์และเมตริกเพิ่มเติม โค้ดตัวอย่างต่อไปนี้ช่วยให้คุณสามารถบันทึกเมตริกและพารามิเตอร์แบบกําหนดเองของคุณควบคู่ไปกับคุณสมบัติเพิ่มเติมได้

    import mlflow
mlflow.autolog(exclusive=False)

with mlflow.start_run():
  mlflow.log_param("parameter name", "example value")
  # <add model training code here>
  mlflow.log_metric("metric name", 20)

ปิดใช้งานการล็อกโดยอัตโนมัติของ Microsoft Fabric

คุณสามารถปิดใช้งานการล็อกโดยอัตโนมัติของ Microsoft Fabric สําหรับเซสชันสมุดบันทึกที่เฉพาะเจาะจง คุณยังสามารถปิดใช้งานการล็อกอัตโนมัติในสมุดบันทึกทั้งหมดได้โดยใช้การตั้งค่าพื้นที่ทํางาน

หมายเหตุ

หากปิดใช้งานการล็อกอัตโนมัติ คุณต้องบันทึกพารามิเตอร์และเมทริกซ์ของคุณด้วยตนเองโดยใช้ API ของ MLflow

ปิดใช้งานการล็อกอัตโนมัติสําหรับเซสชันสมุดบันทึก

เมื่อต้องการปิดใช้งานการล็อกโดยอัตโนมัติของ Microsoft Fabric สําหรับเซสชันสมุดบันทึกที่เฉพาะเจาะจง ให้เรียกใช้ mlflow.autolog() และตั้งค่าdisable=True

import mlflow
mlflow.autolog(disable=True)

ปิดใช้งานการล็อกอัตโนมัติสําหรับสมุดบันทึกและเซสชันทั้งหมด

ผู้ดูแลระบบพื้นที่ทํางานสามารถเปิดหรือปิดใช้งานการล็อกอัตโนมัติของ Microsoft Fabric สําหรับสมุดบันทึกและเซสชันทั้งหมดในพื้นที่ทํางานของพวกเขาโดยใช้การตั้งค่าพื้นที่ทํางาน เมื่อต้องการเปิดใช้งานหรือปิดใช้งานการล็อกอัตโนมัติของ Synapse Data Science:

  1. ในพื้นที่ทํางาน Synapse Data Science ของคุณ ให้เลือก การตั้งค่าพื้นที่ทํางาน

    สกรีนช็อตของหน้า Synapse Data Science พร้อมการตั้งค่าพื้นที่ทํางานที่เน้น

  2. บนหน้าจอ การตั้งค่าพื้นที่ทํางาน ให้ขยาย วิศวกรข้อมูล ing/วิทยาศาสตร์ บนแถบนําทางด้านซ้ายและเลือก การตั้งค่า Spark

  3. บนหน้าจอ การตั้งค่า Spark เลือกแท็บ บันทึก อัตโนมัติ

  4. ตั้งค่า ติดตามการทดลองและแบบจําลองการเรียนรู้ของเครื่องโดยอัตโนมัติเป็น เปิดหรือปิด

  5. เลือก บันทึก

    สกรีนช็อตของการตั้งค่าพื้นที่ทํางานวิทยาศาสตร์ข้อมูลสําหรับการล็อกอัตโนมัติ

เนื้อหาที่เกี่ยวข้อง