Core(SQL) API용 Azure Cosmos DB Apache Spark 2 OLTP 커넥터: 릴리스 정보 및 리소스

적용 대상: SQL API

Core(SQL)용 Azure Cosmos DB Apache Spark 2 OLTP 커넥터를 사용하여 빅 데이터 분석을 가속화할 수 있습니다. Spark 커넥터를 사용하면 Azure Cosmos DB에 저장된 데이터에서 Spark 작업을 실행할 수 있습니다. 일괄 처리 및 스트림 처리가 지원됩니다.

Azure에서 관리형 Spark 클러스터를 제공하는 Azure Databricks 또는 Azure HDInsight와 함께 커넥터를 사용할 수 있습니다. 다음 표에서는 지원되는 버전을 보여 줍니다.

구성 요소 버전
Apache Spark 2.4.x, 2.3.x, 2.2.x 및 2.1.x
스칼라 2.11
Azure Databricks(런타임 버전) 3.4 이상

Warning

이 커넥터는 Azure Cosmos DB의 Core(SQL) API를 지원합니다. MongoDB용 Cosmos DB API의 경우 MongoDB Connector for Spark(Spark용 MongoDB 커넥터)를 사용합니다. Cosmos DB Cassandra API의 경우 Cassandra Spark connector(Cassandra Spark 커넥터)를 사용합니다.

리소스

리소스 링크
SDK 다운로드 최신 .jar 다운로드, Maven
API 설명서 Spark 커넥터 참조
SDK에 기여 GitHub의 Apache Spark용 Azure Cosmos DB 커넥터
시작하기 Apache Spark-Azure Cosmos DB 커넥터를 사용하여 빅 데이터 분석 가속화
Apache Kafka 및 Azure Cosmos DB에서 Apache Spark 정형 스트림 사용

릴리스 기록

3.3.0

새로운 기능

  • 변경 피드를 처리해야 하는 시작 시간을 지정하는 데 사용할 수 있는 새 구성 옵션인 changefeedstartfromdatetime을 추가합니다. 자세한 내용은 Config options(구성 옵션)를 참조하세요.

3.2.0

주요 버그 수정

  • 큰 결과 집합(예: 수백만 개의 행)에 대해 실행기에서 과도한 메모리를 사용하게 하여 결국 java.lang.OutOfMemoryError: GC overhead limit exceeded 오류를 발생시키는 회귀를 수정합니다.

3.1.1

주요 버그 수정

  • IDChangeFeedMaxPagesPerBatch 구성이 적용된 파이프 문자(|)가 포함되는 스트리밍 검사점 에지 사례를 수정합니다.

3.1.0

새로운 기능

  • 중첩된 파티션 키가 사용되는 경우 대량 업데이트에 대한 지원을 추가합니다.
  • Azure Cosmos DB에 쓰는 동안 Decimal 및 Float 데이터 형식에 대한 지원을 추가합니다.
  • Long(Unix epoch)을 값으로 사용하는 경우 타임스탬프 형식에 대한 지원을 추가합니다.

3.0.8

주요 버그 수정

  • WriteThroughputBudget 구성을 사용할 때 발생하는 형식 캐스팅 예외를 수정합니다.

3.0.7

새로운 기능

  • 대량 실패에 대한 오류 정보를 예외 및 로그에 추가합니다.

3.0.6

주요 버그 수정

  • 스트리밍 검사점 문제를 수정합니다.

3.0.5

주요 버그 수정

  • 노이즈를 줄이기 위해 의도치 않게 ERROR 수준으로 유지되는 메시지의 로그 수준을 수정합니다.

3.0.4

주요 버그 수정

  • 파티션을 분할하는 동안 구조적 스트리밍의 버그를 수정합니다. 버그로 인해 몇 가지 변경 피드 레코드가 누락되거나 검사점 쓰기에 대해 Null 예외가 발생할 수 있습니다.

3.0.3

주요 버그 수정

  • readStream에 대해 제공된 사용자 지정 스키마를 무시하는 버그를 수정합니다.

3.0.2

주요 버그 수정

  • 빌드 시간을 50%까지 늘리는 회귀(음영 처리되지 않은 JAR에 모든 음영 처리된 종속성 포함)을 수정합니다.

3.0.1

주요 버그 수정

  • RequestTimeoutException으로 인해 TCP를 통한 직접 전송이 실패하게 하는 종속성 문제를 수정합니다.

3.0.0

새로운 기능

  • 연결 관리 및 연결 풀링을 개선하여 메타데이터 호출 수를 줄입니다.

FAQ

SDK 사용 중지에 대한 알림을 어떻게 받나요?

Microsoft는 지원되는 SDK로 매끄럽게 전환할 수 있도록 사용 중지되는 SDK 지원이 종료되기 12개월 전에 사전 알림을 제공합니다. Azure Portal, Azure 업데이트, 할당된 서비스 관리자에 대한 직접 통신 등 다양한 통신 채널을 통해 알려드립니다.

12개월 동안 사용 중지 예정된 Azure Cosmos DB SDK를 사용하여 애플리케이션을 제작할 수 있나요?

예, 12개월 알림 기간 동안 사용 중지 예정된 Azure Cosmos DB SDK를 사용하여 애플리케이션을 제작, 배포 및 수정할 수 있습니다. 12개월 알림 기간 동안 지원되는 최신 버전의 Azure Cosmos DB SDK로 적절하게 마이그레이션하는 것이 좋습니다.

사용 중지 날짜 후에는 지원되지 않는 Azure Cosmos DB SDK를 사용하는 애플리케이션은 어떻게 되나요?

사용 중지 날짜가 지나면 Azure Cosmos DB는 더 이상 버그를 수정하거나 새 기능을 추가하거나 사용 중지된 SDK 버전을 지원하지 않습니다. 업그레이드하지 않으려는 경우 SDK의 사용 중지 버전에서 보낸 요청은 Azure Cosmos DB 서비스에서 계속 제공됩니다.

최신 기능과 업데이트를 포함하는 SDK 버전은 무엇인가요?

새 기능 및 업데이트는 지원되는 최신 주요 SDK 버전의 최신 부 버전에만 추가됩니다. 항상 최신 버전을 사용하여 새로운 기능, 성능 향상 및 버그 수정을 활용하는 것이 좋습니다. 사용 중지되지 않은 오래된 버전의 SDK를 사용하는 경우 Azure Cosmos DB 요청이 작동하지만 새로운 기능에 액세스할 수는 없습니다.

마감 날짜 전에 내 애플리케이션을 업데이트할 수 없는 경우 어떻게 해야 하나요?

가능한 한 빨리 최신 SDK로 업그레이드하는 것이 좋습니다. SDK가 사용 중지로 태깅된 후 12개월 내에 애플리케이션을 업데이트해야 합니다. 사용 중지 날짜까지 업데이트할 수 없는 경우 SDK 사용 중지 버전에서 전송된 요청은 Azure Cosmos DB에서 계속 제공되므로 실행 중인 애플리케이션은 계속 작동합니다. 그러나 Azure Cosmos DB는 더 이상 버그를 수정하거나 새 기능을 추가하거나 사용 중지된 SDK 버전을 지원하지 않습니다.

지원 계획이 있고 기술 지원이 필요한 경우 지원 티켓을 제출하여 문의해주세요.

다음 단계

Azure Cosmos DB에 대해 자세히 알아보세요.

Apache Spark에 대해 자세히 알아봅니다.