Azure Cosmos DB Apache Spark 2 OLTP Connector for API for NoSQL: заметки о выпуске и ресурсы

ОБЛАСТЬ ПРИМЕНЕНИЯ: NoSQL

Вы можете ускорить аналитику больших данных с помощью соединителя AZURE Cosmos DB Apache Spark 2 OLTP для NoSQL. Соединитель Spark позволяет выполнять задания Spark для данных, хранящихся в Azure Cosmos DB. Поддерживаются пакетная и потоковая обработка.

Вы можете использовать соединитель с Azure Databricks или Azure HDInsight, который предоставляет управляемые кластеры Spark в Azure. В следующей таблице указаны поддерживаемые версии:

Компонент Версия
Apache Spark 2.4.x, 2.3.x, 2.2.x и 2.1.x
Scala 2,11
Azure Databricks (версия среды выполнения) Выше 3.4

Предупреждение

Этот соединитель поддерживает API для NoSQL Azure Cosmos DB. Для Azure Cosmos DB для MongoDB используйте соединитель MongoDB для Spark. Для Azure Cosmos DB для Apache Cassandra используйте соединитель Cassandra Spark.

Ресурсы

Ссылка
Скачивание пакета SDK Скачайте последнюю версию файла JAR, Maven
Участие в разработке QDK Соединитель Azure Cosmos DB для Apache Spark на GitHub
Начало работы Ускорение аналитики больших данных с помощью соединителя Apache Spark для Azure Cosmos DB - Использование структурированной потоковой передачи Apache Spark с Apache Kafka и Azure Cosmos DB