แชร์ผ่าน

สร้างแบบจําลอง SynapseML แรกของคุณ

  • บทความ

บทความนี้แนะนําวิธีการสร้างแบบจําลองการเรียนรู้ของเครื่องแรกของคุณโดยใช้ SynapseML และแสดงให้เห็นว่า SynapseML ช่วยลดความซับซ้อนของงานการเรียนรู้ของเครื่องได้อย่างไร เราใช้ SynapseML เพื่อสร้างไปป์ไลน์การฝึกอบรม ML ขนาดเล็กที่มีขั้นตอนการทําให้เกิดคุณลักษณะและขั้นตอนการถดถอยของ LightGBM ไปป์ไลน์คาดการณ์การให้คะแนนตามข้อความรีวิวจากชุดข้อมูลรีวิว Amazon book ในตอนท้าย เราจะแสดงให้เห็นว่า SynapseML ลดความซับซ้อนของการใช้แบบจําลองจัดทําสําเร็จเพื่อแก้ไขปัญหา ML อย่างไร

ข้อกำหนดเบื้องต้น

ตั้งค่าสภาพแวดล้อม

นําเข้าไลบรารี SynapseML และเริ่มต้นเซสชัน Spark ของคุณ

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

โหลดชุดข้อมูล

โหลดชุดข้อมูลของคุณ และแยกชุดข้อมูลลงในชุดการฝึกและการทดสอบ

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

สร้างไปป์ไลน์การฝึกอบรม

สร้างไปป์ไลน์ที่มีข้อมูลโดยใช้ TextFeaturizer จาก synapse.ml.featurize.text ไลบรารี และได้รับการจัดอันดับโดยใช้ LightGBMRegressor ฟังก์ชัน

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating"),
    ]
).fit(train)

คาดการณ์ผลลัพธ์ของข้อมูลทดสอบ

transformเรียกใช้ฟังก์ชันบนแบบจําลองเพื่อทํานายและแสดงผลลัพธ์ของข้อมูลทดสอบเป็น dataframe

display(model.transform(test))

ใช้บริการ Azure AI เพื่อแปลงข้อมูลในขั้นตอนเดียว

อีกวิธีหนึ่งคือ สําหรับงานประเภทเหล่านี้ที่มีโซลูชันจัดทําสําเร็จ คุณสามารถใช้การรวมกันของ SynapseML กับบริการ Azure AI เพื่อแปลงข้อมูลของคุณในขั้นตอนเดียว

from synapse.ml.cognitive import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("cognitive-api-key"), # Replace it with your cognitive service key, check prerequisites for more details
).setLocation("eastus")

display(model.transform(test))

เนื้อหาที่เกี่ยวข้อง