适用于 API for NoSQL 的 Azure Cosmos DB Apache Spark 2 OLTP 连接器：发行说明和资源

  • 项目

适用范围： NoSQL

可以通过使用适用于 NoSQL 的 Azure Cosmos DB Apache Spark 2 OLTP 连接器加速大数据分析。 利用 Spark 连接器，可以对 Azure Cosmos DB 中存储的数据运行 Spark 作业。 支持批处理和流处理。

可以将连接器用于 Azure Databricks 或 Azure HDInsight，它们在 Azure 上提供 Spark 托管群集。 下表显示了支持的版本：

组件 版本
Apache Spark 2.4.x、2.3.x、2.2.x 和 2.1.x
Scala 2.11
Azure Databricks（运行时版本） 晚于 3.4

警告

此连接器支持 Azure Cosmos DB 的 API for NoSQL。 对于 Azure Cosmos DB for MongoDB，请使用MongoDB Spark 连接器。 对于 Azure Cosmos DB for Apache Cassandra，请使用 Cassandra Spark 连接器。

资源

链接
SDK 下载 下载最新的 .jar，Maven
参与编写 SDK GitHub 上适用于 Apache Spark 的 Azure Cosmos DB 连接器
入门 使用 Apache Spark 到 Azure Cosmos DB 连接器 - 加速大数据分析将 Apache Spark 结构化流式处理与 Apache Kafka 和 Azure Cosmos DB 配合使用

相关内容