Azure Databricks で Apache Spark MLlib を使用する
このページでは、Azure Databricks 上で MLlib を使用する方法を示すノートブックの例を提示します。
Apache Spark MLlib は、分類、回帰、クラスタリング、協調フィルタリング、次元縮小、基になっている最適化プリミティブなど、一般的な学習アルゴリズムとユーティリティで構成された Apache Spark 機械学習ライブラリです。 MLlib 機能に関するリファレンス情報について、Azure Databricks では次の Apache Spark API リファレンスが勧められています。
R からの Apache Spark MLlib の使用法についての情報は、R 機械学習のドキュメントをご参照ください。
二項分類の例のノートブック
このノートブックでは、Apache Spark MLlib Pipelines API を使用して二項分類アプリケーションを構築する方法を示します。
二項分類ノートブック
デシジョン ツリーの例のノートブック
これらの例は、Apache Spark MLlib Pipelines API を使用したデシジョン ツリーのさまざまなアプリケーションを示しています。
デシジョン ツリー
これらのノートブックは、デシジョン ツリーで分類を実行する方法を示しています。
数字認識ノートブックのデシジョン ツリー
SFO アンケート ノートブックのデシジョンツリー
MLlib パイプラインを使用した GBT 回帰
このノートブックでは、MLlib パイプラインを使用して、曜日、天気、季節などの情報から自転車のレンタル数 (1 時間あたり) を予測する、勾配ブースティング回帰を実行する方法について説明します。
自転車シェアリング回帰ノートブック
Apache Spark MLlib パイプラインと構造化ストリーミングの例
このノートブックでは、履歴データで Apache Spark MLlib パイプラインをトレーニングし、ストリーミング データに適用する方法を示します。
MLlib パイプライン構造化ストリーミング ノートブック
高度な Apache Spark MLlib ノートブックの例
このノートブックは、カスタム トランスフォーマーを作成する方法を示しています。