Apache Spark コネクタを使用した SQL データベース SQL Databases using the Apache Spark Connector

Azure SQL Database および SQL Server 用の Spark コネクタを使用すると、これらのデータベースを入力データソースとして動作させることができ、Apache Spark ジョブの出力データシンクとして機能します。The Spark connector for Azure SQL Database and SQL Server enables these databases to act as input data sources and output data sinks for Apache Spark jobs. ビッグ Data Analytics でリアルタイムのトランザクションデータを使用して、アドホッククエリやレポートの結果を保持することができます。It allows you to use real-time transactional data in big data analytics and persist results for ad-hoc queries or reporting.

組み込みの JDBC コネクタに比べて、このコネクタには、SQL データベースにデータを一括挿入する機能があります。Compared to the built-in JDBC connector, this connector provides the ability to bulk insert data into SQL databases. 20倍のパフォーマンスを向上させるために、10倍の行単位で挿入できます。It can outperform row-by-row insertion with 10x to 20x faster performance. SQL Server および Azure SQL Database 用の Spark コネクタは、Azure Active Directory (AAD) 認証もサポートしています。The Spark connector for SQL Server and Azure SQL Database also supports Azure Active Directory (AAD) authentication. これにより、AAD アカウントを使用して Azure Databricks から Azure SQL データベースに安全に接続できます。It allows you to securely connect to your Azure SQL databases from Azure Databricks using your AAD account. 組み込みの JDBC コネクタに似たインターフェイスを提供します。It provides interfaces that are similar to the built-in JDBC connector. このコネクタを使用するには、既存の Spark ジョブを簡単に移行できます。It is easy to migrate your existing Spark jobs to use this connector.

前提条件Requirements

コンポーネントComponent サポートされているバージョンVersions Supported
Apache SparkApache Spark 2.0.2 以上2.0.2 and above
ScalaScala 2.10 以上2.10 and above
Microsoft JDBC Driver for SQL ServerMicrosoft JDBC Driver for SQL Server 6.2 以上6.2 and above
の接続文字列Microsoft SQL Server 2008以降の SQL ServerSQL Server 2008 and above
Azure SQL DatabaseAzure SQL Database サポート対象Supported

Spark コネクタライブラリの作成とインストールCreate and install Spark connector library

  1. Spark コネクタの Azure Databricks ライブラリをMaven ライブラリとして作成します。Create an Azure Databricks library for the Spark connector as a Maven library. 座標: com.microsoft.azure:azure-sqldb-spark:1.0.2 を使用します。Use the coordinate: com.microsoft.azure:azure-sqldb-spark:1.0.2.
  2. データベースにアクセスするクラスターにライブラリをインストールします。Install the library in the cluster that will access the database.

Spark コネクタを使用するUse the Spark connector

Spark コネクタを使用する手順については、 Azure SQL Database と SQL Server の spark コネクタを使用したリアルタイムのビッグ Data Analytics の高速化に関する説明を参照してください。For instructions on using the Spark connector, see Accelerate real-time big data analytics with Spark connector for Azure SQL Database and SQL Server.