Verwenden von Apache Spark MLlib in Azure Databricks
Diese Seite enthält Beispielnotebooks, die zeigen, wie MLlib in Azure Databricks verwendet wird.
Apache Spark MLlib ist die Machine Learning-Bibliothek von Apache Spark mit allgemeinen Lernalgorithmen und Hilfsprogrammen – einschließlich Klassifizierung, Regression, Clustering, kombinierten Filtern sowie Reduzierung der Dimensionalität und zugrunde liegender Optimierungsprimitiven. Für Referenzinformationen zu MLlib-Features werden von Azure Databricks folgende Referenzen zur Apache Spark-API empfohlen:
Informationen zur Verwendung von Apache Spark MLlib aus R finden Sie in der Dokumentation zum R-Machine Learning.
Beispielnotebook für die binäre Klassifizierung
Dieses Notebook veranschaulicht, wie Sie eine binäre Klassifizierungsanwendung mithilfe der API für Apache Spark MLlib-Pipelines erstellen.
Notebook für die binäre Klassifizierung
Beispielnotebooks für Entscheidungsstrukturen
Diese Beispiele veranschaulichen verschiedene Anwendungen von Entscheidungsstrukturen mithilfe der API für Apache Spark MLlib-Pipelines.
Entscheidungsstrukturen
Diese Notebooks zeigen, wie Klassifizierungen mit Entscheidungsstrukturen durchgeführt werden.
Entscheidungsstrukturen für ein Notebook zur Ziffernerkennung
Entscheidungsstrukturen für ein Notebook für SFO-Umfragen
GBT-Regression mithilfe von MLlib-Pipelines
Dieses Notebook zeigt, wie Sie mithilfe von MLlib-Pipelines eine Regression mithilfe von Gradient-Boosted-Strukturen durchführen können, um die Anzahl der Fahrradvermietungen (pro Stunde) basierend auf Informationen wie Wochentag, Wetter, Saison usw. vorherzusagen.
Regressionsnotebook für Fahrradvermietungen
Apache Spark MLlib-Pipelines und strukturiertes Streaming: Beispiel
Dieses Notebook zeigt, wie Sie eine Apache Spark MLlib-Pipeline basierend auf historischen Daten trainieren und auf Streamingdaten anwenden.
Notebook für MLlib-Pipelines und strukturiertes Streaming
Apache Spark-MLlib: Erweitertes Beispielnotebook
Dieses Notebook veranschaulicht, wie ein benutzerdefinierter Transformator erstellt wird.