SQL Server ビッグ データ クラスター上の Azure Data Studio で Spark ジョブを送信する

適用対象: はいSQL Server 2019 (15.x)

ビッグ データ クラスターの主なシナリオの 1 つに、SQL Server 用の Spark ジョブを送信する機能があります。 Spark ジョブ送信機能を使用すると、SQL Server 2019 ビッグ データ クラスターへの参照を含むローカル Jar ファイルまたは Py ファイルを送信できます。 また、HDFS ファイル システムに既に配置されている Jar ファイルまたは Py ファイルを実行することもできます。

前提条件

Spark ジョブの送信ダイアログを開く

Spark ジョブの送信ダイアログを開くには、いくつかの方法があります。 ダッシュボード、オブジェクト エクスプローラーのコンテキスト メニュー、コマンド パレットなどの方法があります。

  • Spark ジョブの送信ダイアログを開くには、ダッシュボードで [New Spark Job](新しい Spark ジョブ) をクリックします。

    ダッシュボードをクリックした [Submit](送信) メニュー

  • または、オブジェクト エクスプローラーでクラスターを右クリックし、コンテキスト メニューから [Submit Spark Job](Spark ジョブの送信) を選択します。

    ファイルを右クリックした [Submit](送信) メニュー

  • Jar/Py フィールドが事前に設定された状態で Spark ジョブの送信ダイアログを開くには、オブジェクト エクスプローラーで Jar/Py ファイルを右クリックし、コンテキスト メニューから [Submit Spark Job](Spark ジョブの送信) を選択します。

    クラスターを右クリックした [Submit](送信) メニュー

  • コマンド パレットから [Submit Spark Job](Spark ジョブの送信) を使用するには、Ctrl + Shift + P キー (Windows の場合 ) と Cmd + Shift + P キー (Mac の場合) を入力します。

    Windows の [Submit](送信) メニュー コマンド パレット

    Mac の [Submit](送信) メニュー コマンド パレット

Spark ジョブを送信する

Spark ジョブの送信ダイアログは、次のように表示されます。 ジョブ名、JAR/Py ファイル パス、メイン クラス、およびその他のフィールドを入力します。 Jar/Py ファイル ソースは、ローカルまたは HDFS のものである可能性があります。 Spark ジョブに参照 Jar、Py ファイル、または追加ファイルがある場合は、 [ADVANCED](詳細設定) タブをクリックし、対応するファイル パスを入力します。 [Submit](送信) をクリックして Spark ジョブを送信します。

新しい Spark ジョブ ダイアログ

[Advanced](詳細設定) ダイアログ

Spark ジョブの送信を監視する

Spark ジョブが送信されると、Spark ジョブの送信と実行状態の情報が、左側の [Task History](タスク履歴) に表示されます。 進行状況とログの詳細も、 [OUTPUT](出力) ウィンドウの下部に表示されます。

  • Spark ジョブが進行中の場合、進行状況に合わせて [Task History](タスク履歴) パネルと [OUTPUT](出力) ウィンドウが更新されます。

    進行中の Spark ジョブを監視する

  • Spark ジョブが正常に完了すると、 [OUTPUT](出力) ウィンドウに Spark UI と Yarn UI のリンクが表示されます。 詳細については、リンクをクリックしてください。

    出力の Spark ジョブ リンク

次のステップ

SQL Server ビッグ データ クラスターと関連するシナリオの詳細については、「SQL Server ビッグ データ クラスターとは」を参照してください。