Κοινή χρήση μέσω

Δημιουργία του πρώτου σας μοντέλου SynapseML

  • Άρθρο

Αυτό το άρθρο παρουσιάζει τον τρόπο δημιουργίας του πρώτου σας μοντέλου εκμάθησης μηχανής χρησιμοποιώντας το SynapseML και παρουσιάζει τον τρόπο με τον οποίο το SynapseML απλοποιεί σύνθετες εργασίες εκμάθησης μηχανής. Χρησιμοποιούμε το SynapseML για τη δημιουργία μιας μικρής διοχέτευσης εκπαίδευσης εκμάθησης μηχανής που περιλαμβάνει ένα στάδιο δυνατότητας και ένα στάδιο παλινδρόμησης LightGBM. Η διοχέτευση προβλέπει αξιολογήσεις με βάση το κείμενο αναθεώρησης από ένα σύνολο δεδομένων κριτικών βιβλίων amazon. Τέλος, παρουσιάζουμε τον τρόπο με τον οποίο το SynapseML απλοποιεί τη χρήση προκατασκευασμένων μοντέλων για την επίλυση προβλημάτων εκμάθησης μηχανής.

Προαπαιτούμενα στοιχεία

  • Λάβετε μια συνδρομή Microsoft Fabric. Εναλλακτικά, εγγραφείτε για μια δωρεάν δοκιμαστική έκδοση του Microsoft Fabric.

  • Εισέλθετε στο Microsoft Fabric.

  • Χρησιμοποιήστε την εναλλαγή εμπειρίας στην αριστερή πλευρά της αρχικής σελίδας σας για να μεταβείτε στην εμπειρία Synapse Data Science.

    Screenshot of the experience switcher menu, showing where to select Data Science.

Ρύθμιση του περιβάλλοντος

Εισαγάγετε βιβλιοθήκες SynapseML και προετοιμάστε την περίοδο λειτουργίας Spark.

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

Φόρτωση συνόλου δεδομένων

Φορτώστε το σύνολο δεδομένων σας και διαιρέστε το σε σύνολα εκπαίδευσης και δοκιμών.

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

Δημιουργία της διοχέτευσης εκπαίδευσης

Δημιουργήστε μια διοχέτευση που διαθέτει δεδομένα χρησιμοποιώντας TextFeaturizer από τη synapse.ml.featurize.text βιβλιοθήκη και αντλεί μια αξιολόγηση χρησιμοποιώντας τη LightGBMRegressor συνάρτηση .

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating"),
    ]
).fit(train)

Πρόβλεψη της εξόδου των δεδομένων δοκιμής

Καλέστε τη transform συνάρτηση στο μοντέλο για να προβλέψετε και να εμφανίσετε την έξοδο των δεδομένων δοκιμής ως πλαίσιο δεδομένων.

display(model.transform(test))

Χρήση των υπηρεσιών AI του Azure για τον μετασχηματισμό δεδομένων σε ένα βήμα

Εναλλακτικά, για αυτές τις εργασίες που έχουν μια προκατασκευασμένο λύση, μπορείτε να χρησιμοποιήσετε την ενοποίηση του SynapseML με τις υπηρεσίες AI του Azure για να μετασχηματίσετε τα δεδομένα σας σε ένα βήμα.

from synapse.ml.cognitive import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("cognitive-api-key"), # Replace it with your cognitive service key, check prerequisites for more details
).setLocation("eastus")

display(model.transform(test))

Σχετικό περιεχόμενο