适用于 API for NoSQL 的 Azure Cosmos DB Apache Spark 2 OLTP 连接器:发行说明和资源
适用范围: NoSQL
可以通过使用适用于 NoSQL 的 Azure Cosmos DB Apache Spark 2 OLTP 连接器加速大数据分析。 利用 Spark 连接器,可以对 Azure Cosmos DB 中存储的数据运行 Spark 作业。 支持批处理和流处理。
可以将连接器用于 Azure Databricks 或 Azure HDInsight,它们在 Azure 上提供 Spark 托管群集。 下表显示了支持的版本:
组件 | 版本 |
---|---|
Apache Spark | 2.4.x、2.3.x、2.2.x 和 2.1.x |
Scala | 2.11 |
Azure Databricks(运行时版本) | 晚于 3.4 |
警告
此连接器支持 Azure Cosmos DB 的 API for NoSQL。 对于 Azure Cosmos DB for MongoDB,请使用MongoDB Spark 连接器。 对于 Azure Cosmos DB for Apache Cassandra,请使用 Cassandra Spark 连接器。
资源
链接 | |
---|---|
SDK 下载 | 下载最新的 .jar,Maven |
参与编写 SDK | GitHub 上适用于 Apache Spark 的 Azure Cosmos DB 连接器 |
入门 | 使用 Apache Spark 到 Azure Cosmos DB 连接器 - 加速大数据分析将 Apache Spark 结构化流式处理与 Apache Kafka 和 Azure Cosmos DB 配合使用 |
相关内容
- 常见问题解答
- 发行说明
- 了解有关 Azure Cosmos DB 的详细信息。
- 详细了解 Apache Spark。