Apache Spark コネクタを使用した SQL データベース SQL Databases using the Apache Spark connector

Azure SQL Database と SQL Server の Apache Spark connectorを使用すると、これらのデータベースを入力データソースとして機能させることができ、Apache Spark ジョブの出力データシンクとして機能します。The Apache Spark connector for Azure SQL Database and SQL Server enables these databases to act as input data sources and output data sinks for Apache Spark jobs. ビッグ Data Analytics でリアルタイムのトランザクションデータを使用して、アドホッククエリやレポートの結果を保持することができます。It allows you to use real-time transactional data in big data analytics and persist results for ad-hoc queries or reporting.

組み込みの JDBC コネクタに比べて、このコネクタには、SQL データベースにデータを一括挿入する機能があります。Compared to the built-in JDBC connector, this connector provides the ability to bulk insert data into SQL databases. 行単位の挿入に比べ、パフォーマンスを 10 倍から 20 倍も向上させることができます。It can outperform row-by-row insertion with 10x to 20x faster performance. SQL Server および Azure SQL Database 用の Spark コネクタは Azure Active Directory (Azure AD) 認証もサポートしているため、Azure Databricks アカウントを使用して Azure AD から Azure SQL データベースに安全に接続できます。The Spark connector for SQL Server and Azure SQL Database also supports Azure Active Directory (Azure AD) authentication, enabling you to connect securely to your Azure SQL databases from Azure Databricks using your Azure AD account. 組み込みの JDBC コネクタに似たインターフェイスを提供します。It provides interfaces that are similar to the built-in JDBC connector. このコネクタを使用するには、既存の Spark ジョブを簡単に移行できます。It is easy to migrate your existing Spark jobs to use this connector.

要件Requirements

SQL Server 用の Spark コネクタには2つのバージョンがあります。1つは Spark 2.4 用、もう1つは Spark 3.0 用です。There are two versions of the Spark connector for SQL Server: one for Spark 2.4 and one for Spark 3.0. Spark 3.0 コネクタはプレビューで使用でき、Databricks Runtime 6.x 以降で動作します。The Spark 3.0 connector is available in preview and works with Databricks Runtime 7.x and above. コネクタはコミュニティでサポートされており、Microsoft の SLA サポートは含まれていません。The connector is community-supported and does not include Microsoft SLA support. コミュニティを支援するために、GitHub の問題をすべてファイルします。File any issues on GitHub to engage the community for help.

コンポーネントComponent サポートされているバージョンVersions Supported
Apache SparkApache Spark 3.0 .x および 2.4 x3.0.x and 2.4x
Databricks ランタイムDatabricks Runtime Apache Spark 3.0 コネクタ: Databricks Runtime 2.x 以降Apache Spark 3.0 connector: Databricks Runtime 7.x and above

Apache Spark 2.4 コネクタ: Databricks Runtime 5.5 LTS 以降Apache Spark 2.4 connector: Databricks Runtime 5.5 LTS and above
ScalaScala Apache Spark 3.0 コネクタ: 2.12Apache Spark 3.0 connector: 2.12

Apache Spark 2.4 コネクタ: 2.11Apache Spark 2.4 connector: 2.11
SQL Server 用 Microsoft JDBC ドライバーMicrosoft JDBC Driver for SQL Server 8.28.2
Microsoft SQL ServerMicrosoft SQL Server 2008以降の SQL ServerSQL Server 2008 and above
Azure SQL データベースAzure SQL Database サポートされていますSupported

Spark コネクタを使用するUse the Spark connector

Spark コネクタの使用方法については、「 Apache Spark connector: SQL Server & AZURE SQL」を参照してください。For instructions on using the Spark connector, see Apache Spark connector: SQL Server & Azure SQL.