솔루션 아이디어
이 문서는 솔루션 아이디어입니다. 잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보로 콘텐츠를 확장하려면 GitHub 피드백을 제공하여 알려주세요.
LDW(논리 데이터 웨어하우스) 패턴은 데이터 레이크 또는 데이터베이스에 저장된 데이터 위에 간단한 가상화된 관계형 계층을 배치합니다. 이 가상화 계층은 데이터 이동 없이 데이터 웨어하우스 액세스를 제공합니다. 이 솔루션은 BI(비즈니스 인텔리전스) 및 분석 워크로드를 제공하는 복잡성이 낮고 대기 시간이 짧은 방법을 위해 OLTP(온라인 트랜잭션 처리) 데이터를 데이터 레이크의 분석 데이터와 결합할 수 있습니다.
Apache Spark™는 미국 및/또는 기타 국가/지역에서 Apache Software Foundation의 등록 상표입니다. 이 마크를 사용한다고 해서 Apache Software Foundation의 보증을 암시하지 않습니다.
아키텍처
이 문서에 있는 모든 다이어그램의 PowerPoint 파일을 다운로드합니다.
데이터 흐름
Azure Data Factory는 원본 시스템의 데이터를 엔터프라이즈 데이터 레이크에 통합합니다.
디바이스 및 센서 데이터도 Azure IoT Hub를 통해 에지 디바이스에서 클라우드로 스트리밍됩니다. Azure Stream Analytics는 데이터를 처리하고 엔터프라이즈 데이터 레이크로 보냅니다.
Azure Synapse 서버리스 SQL 풀은 Azure Synapse 작업 영역 서버리스 SQL 풀 주문형 엔드포인트를 통해 액세스할 수 있는 논리 테이블 및 보기가 있는 LDW를 정의합니다.
Azure Cosmos DB용 Azure Synapse Link는 Azure Synapse 서버리스 SQL 풀을 통해 실시간 트랜잭션 데이터를 쿼리합니다. 이 데이터는 엔터프라이즈 데이터 레이크의 콜드 일괄 처리 및 핫 스트리밍 데이터와 조인되어 논리적 보기를 만듭니다.
보고, BI 및 기타 분석 애플리케이션은 Azure Synapse 작업 영역 서버리스 SQL 엔드포인트를 사용하여 LDW 데이터 및 보기에 액세스합니다.
참고
Azure Synapse 작업 영역 서버리스 SQL 엔드포인트는 SQL Server에 대한 TDS(테이블 형식 데이터 스트림) 연결을 지원하는 모든 도구 또는 서비스에서 액세스할 수 있습니다.
구성 요소
- Azure Synapse Analytics는 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅 데이터 분석을 모두 결합하는 무제한 분석 서비스입니다.
- Azure Synapse 서버리스 SQL 풀은 T-SQL 및 서버리스 SQL 주문형 엔드포인트를 사용하여 데이터 레이크를 쿼리합니다.
- Azure Cosmos DB용 Azure Synapse Link는 Azure Synapse 서버리스 SQL 풀을 사용하여 Azure Cosmos DB OLTP 데이터를 쿼리합니다.
- Data Factory는 클라우드 규모 데이터 통합 및 데이터 흐름 오케스트레이션을 제공합니다.
- IoT Hub는 IoT(사물 인터넷) 애플리케이션과 디바이스 간에 안전하고 안정적인 통신을 가능하게 합니다.
- Stream Analytics는 서버리스 실시간 스트리밍 분석 파이프라인을 제공합니다.
- Azure Data Lake Storage는 확장 가능하고 비용 효율적인 클라우드 스토리지를 제공합니다.
- Azure Cosmos DB는 최신 앱을 개발하기 위한 완전 관리형 NoSQL 데이터베이스입니다.
시나리오 정보
Azure Synapse 서버리스 SQL 풀의 LDW를 사용하면 콜드 일괄 처리 데이터, 핫 스트리밍 데이터 및 라이브 트랜잭션 데이터를 단일 T-SQL 쿼리 또는 보기 정의에 조인할 수 있습니다.
이 솔루션은 복잡하고 비용이 많이 들고 대기 시간이 발생하기 쉬운 ETL(추출, 변환 및 로드) 파이프라인을 통해 데이터를 이동하는 것을 방지합니다. LDW 개념은 데이터 레이크하우스와 비슷하지만 Azure Synapse Analytics의 LDW에는 HTAP(하이브리드 트랜잭션/분석 처리)에 대한 지원이 포함되어 있습니다. HTAP는 Azure Synapse 서버리스 SQL 풀을 사용하여 Azure Cosmos DB에 저장된 OLTP 데이터를 쿼리합니다.
Azure Synapse Analytics LDW는 모든 Azure Synapse 작업 영역에서 사용할 수 있는 서버리스 SQL 풀을 기반으로 합니다. 향상된 버전의 OPENROWSET 함수를 사용하면 서버리스 SQL 풀이 Data Lake Storage의 데이터에 액세스할 수 있습니다.
이 데이터 액세스를 사용하면 제품, 고객 및 판매 트랜잭션과 같은 논리적 엔터티를 나타내는 데이터 파일의 컬렉션에 대한 테이블 및 보기와 같은 관계형 데이터베이스 개체를 만들 수 있습니다. 표준 SQL Server 엔드포인트를 사용하여 연결하는 BI 도구는 이러한 논리 엔터티를 차원 및 팩트 테이블로 사용할 수 있습니다.
Azure Cosmos DB용 Azure Synapse Link를 통해 Azure Cosmos DB와 같은 트랜잭션 데이터 저장소에 액세스하는 기능은 이러한 기능을 확장합니다. HTAP 아키텍처를 사용하여 OLTP 데이터에 액세스하면 라이브 트랜잭션을 방해하지 않고 즉각적인 업데이트를 제공합니다.
각 Azure Synapse 작업 영역에는 주문형 SQL 엔드포인트가 포함됩니다. 엔드포인트를 사용하면 SQL Server 관리자와 개발자가 친숙한 환경을 사용하여 Azure Synapse 서버리스 SQL 풀이 정의하는 LDW로 작업할 수 있습니다.
다음 스크린샷은 Azure Synapse 서버리스 SQL 풀에 연결된 SSMS(SQL Server Management Studio)를 보여 줍니다.
Azure Synapse 서버리스 SQL 풀은 다음 파일 형식을 지원합니다.
- CSV, TSV 및 TXT와 같은 구분된 텍스트
- JSON
- Parquet
Azure Synapse 서버리스 SQL 풀은 Delta Lake 형식을 지원합니다. 이 지원을 통해 Azure Databricks 또는 Azure Synapse의 Apache Spark 풀과 같은 Apache Spark™ 서비스가 데이터를 엔지니어링하여 데이터 레이크에 큐레이팅된 데이터 세트를 만드는 SQL과 함께 제공되는 Spark의 보강과 같은 패턴이 허용됩니다. 이러한 데이터 세트를 실제 데이터 웨어하우스에 로드하는 대신 데이터 레이크를 통해 LDW를 정의하여 보고에 대한 모델/서비스 계층을 제공할 수 있습니다.
Azure Synapse 서버리스 SQL 풀의 LDW는 Data Lakehouse 패턴의 구현입니다. Databricks SQL을 사용하여 LDW를 구현하는 것이 대체 솔루션입니다. 그러나 Databricks SQL에는 Cosmos DB용 Azure Synapse Link의 HTAP 기능이 부족합니다.
잠재적인 사용 사례
이 패턴은 다음 상황에서 유용합니다.
- BI 및 기타 분석 사용 사례에 대한 데이터 웨어하우스 서비스 계층.
- 데이터 레이크에서 원시 데이터를 임시로 탐색.
- 데이터를 작성하는 데 자체 컴퓨팅 리소스가 필요하지 않은 데이터 레이크로의 비용 효율적인 데이터 스트리밍. 논리 데이터베이스 테이블, 보기 또는 임시 T-SQL 쿼리는 데이터 레이크에서 즉시 데이터에 액세스할 수 있습니다.
- Azure Cosmos DB 트랜잭션 데이터에 즉시 액세스하여 실시간 집계 파이프라인을 빌드 또는 데이터 레이크에 저장된 분석 데이터와 조인.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Jon Dobrzeniecki | 수석 클라우드 솔루션 설계자
비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.
다음 단계
- Azure Synapse Analytics에서 서버리스 SQL 풀을 사용하여 스토리지 파일 쿼리
- 자습서: 서버리스 SQL 풀을 사용하여 Logical Data Warehouse 만들기
- Microsoft Azure Cosmos DB용 Synapse Link란?
- POLARIS: Azure Synapse의 분산 SQL 엔진
- Delta Lake란?