Azure Stream Analytics 시작
Azure Stream Analytics는 대기 시간이 밀리초 미만인 대용량 스트리밍 데이터를 분석 및 처리하도록 설계된 완전 관리 스트림 처리 엔진입니다. Stream Analytics를 사용하여 스트리밍 데이터 파이프라인을 빌드하여 애플리케이션, 디바이스, 센서, 클릭스트림 및 소셜 미디어 피드를 비롯한 다양한 입력 원본에서 발생하는 데이터의 패턴과 관계를 식별할 수 있습니다. 그런 다음 이러한 패턴을 사용하여 작업을 트리거하고 경고 발생, 보고 도구에 정보 제공, 나중에 사용하기 위해 변환된 데이터 저장 등의 워크플로를 시작할 수 있습니다. Stream Analytics는 IoT 디바이스에서 직접 데이터를 처리할 수 있도록 하는 Azure IoT Edge 런타임에서도 사용할 수 있습니다.
Azure Stream Analytics를 사용할 수 있는 몇 가지 시나리오 예는 다음과 같습니다.
- 급증, 하락, 느린 긍정적 및 부정적 변화를 검색하기 위한 센서 데이터의 이상 탐지
- fleet 관리 및 드라이버가 없는 자동차에 대한 지리 공간적 분석
- 원격 모니터링 및 높은 가치 자산의 예측 유지 관리
- 고객 동작을 결정하기 위한 클릭스트림 분석
- 애플리케이션 및 IoT 디바이스의 실시간 원격 분석 스트림 및 로그 분석
주요 기능 및 이점
완전히 관리되는 서비스
Azure Stream Analytics는 Azure의 완전 관리형(PaaS) 제품입니다. 하드웨어 또는 인프라를 프로비전하거나 OS 또는 소프트웨어를 업데이트할 필요가 없습니다. Azure Stream Analytics는 작업을 완벽하게 관리하므로 인프라가 아닌 비즈니스 논리에 집중할 수 있습니다.
사용 편의성
Azure Stream Analytics는 쉽게 시작할 수 있습니다. 몇 번의 클릭만으로 여러 원본과 싱크에 연결되는 엔드투엔드 스트리밍 데이터 파이프라인을 만들 수 있습니다.
스트리밍 데이터 수집을 위해 Azure Event Hubs 및 Azure IoT Hub에 연결할 수 있고 기록 데이터를 수집하기 위해 Azure Blob Storage 또는 Azure Data Lake Storage Gen2에 연결할 수 있는 Stream Analytics 작업을 만들 수 있습니다. Stream Analytics 작업에 대한 입력에는 조회 작업을 수행하기 위해 스트리밍 데이터와 조인할 수 있는 Azure Blob Storage 또는 SQL Database의 정적 또는 느리게 변경되는 참조 데이터도 포함될 수 있습니다. Stream Analytics 입력에 대한 자세한 내용은 Stream Analytics 입력으로 데이터 스트리밍을 참조하세요.
Stream Analytics 작업의 출력을 Azure Blob Storage, Azure SQL Database, Azure Data Lake Store 및 Azure Cosmos DB와 같은 여러 스토리지 시스템으로 라우팅할 수 있습니다. Azure Synapse Analytics 또는 HDInsight를 사용하여 스트림 출력에 대해 일괄 처리 분석을 실행하거나, 사용을 위한 Event Hubs 또는 실시간 시각화를 위한 Power BI와 같은 다른 서비스로 출력을 보낼 수도 있습니다. Stream Analytics 출력의 전체 목록은 Azure Stream Analytics의 출력 이해를 참조하세요.
Azure Stream Analytics 코드 없음 편집기는 코드를 작성할 필요 없이 끌어서 놓기 기능을 사용하여 Stream Analytics 작업을 손쉽게 개발할 수 있는 코드 없는 환경을 제공합니다. Stream Analytics 작업 개발 환경을 더욱 간소화합니다. 코드 없는 편집기에 대해 자세히 알아보려면 Azure Stream Analytics의 코드 없는 스트림 처리를 참조하세요.
프로그래머 생산성
Azure Stream Analytics는 강력한 임시 제약 조건으로 강화된 SQL 쿼리 언어를 사용하여 이동 중인 데이터를 분석합니다. Azure Portal을 사용하여 Stream Analytics 작업을 만들 수 있습니다. 다음과 같은 개발자 도구를 사용하여 작업을 만들 수도 있습니다.
개발자 도구를 사용하면 변환 쿼리를 오프라인에서 개발하고 CI/CD 파이프라인을 사용하여 Azure에 작업을 제출할 수 있습니다.
Stream Analytics 쿼리 언어에서는 스트리밍 데이터를 분석하는 다양한 함수 배열을 제공하여 CEP(Complex Event Processing)를 수행할 수 있습니다. 이 쿼리 언어는 간단한 데이터 조작, 집계 및 분석 함수, 지리 공간적 함수, 패턴 일치 및 변칙 검색을 지원합니다. 포털 또는 개발 도구를 사용하여 쿼리를 편집하고 라이브 스트림에서 추출된 샘플 데이터를 사용하여 테스트할 수 있습니다.
추가 함수를 정의하고 호출하여 쿼리 언어의 기능을 확장할 수 있습니다. Azure Machine Learning에서 함수 호출을 정의하여 Azure Machine Learning 솔루션을 활용하고, JavaScript/C# UDF(사용자 정의 함수) 또는 사용자 정의 집계를 통합하여 Stream Analytics 쿼리의 일환으로 복잡한 계산을 수행할 수 있습니다.
클라우드 또는 인텔리전트 에지에서 실행
Azure Stream Analytics는 대규모 분석을 위해 클라우드에서 실행하거나, 대기 시간이 매우 짧은 분석을 위해 IoT Edge 또는 Azure Stack에서 실행할 수 있습니다. Azure Stream Analytics는 클라우드와 에지 모두에서 동일한 도구와 쿼리 언어를 사용하므로 개발자가 스트림 처리를 위한 진정한 하이브리드 아키텍처를 구축할 수 있습니다.
낮은 총 소유 비용
클라우드 서비스인 Stream Analytics는 비용에 최적화되어 있습니다. 선불 비용은 없습니다. 사용하는 스트리밍 단위에 대해서만 지불하면 됩니다. 약정 또는 클러스터 프로비전이 필요하지 않으며 비즈니스 요구 사항에 따라 작업을 강화하거나 규모 축소할 수 있습니다.
중요 업무에 적합
Azure Stream Analytics는 전세계 여러 지역에서 사용할 수 있으며 안정성, 보안 및 규정 준수 요구 사항을 지원하여 중요 업무용 워크로드를 실행하도록 설계되었습니다.
안정성
Azure Stream Analytics는 이벤트를 정확히 한 번 처리하고 이벤트를 한 번만 전달하기 때문에 이벤트가 손실되지 않습니다. 정확히 한 번 처리는 이벤트 전송 보장에서 설명한 대로 선택한 출력을 사용하여 보장됩니다.
Azure Stream Analytics에는 이벤트 전달이 실패할 경우를 대비하여 복구 기능이 내장되어 있습니다. 또한 Stream Analytics는 기본 제공 검사점을 제공하여 작업 상태를 유지하고, 반복 가능한 결과를 제공합니다.
관리형 서비스인 Stream Analytics는 분 수준에서 99.9%의 가용성으로 이벤트 처리를 보장합니다.
보안
보안 측면에서 Azure Stream Analytics는 들어오고 나가는 모든 통신을 암호화하고 TLS(전송 계층 보안) 1.2를 지원합니다. 기본 제공 검사점도 암호화됩니다. 모든 처리가 메모리에서 완료되기 때문에 Stream Analytics는 들어오는 데이터를 저장하지 않습니다. Stream Analytics는 Stream Analytics 클러스터에서 작업을 실행할 때 Azure Virtual Network도 지원합니다.
성능
Stream Analytics는 매초 수백만 개의 이벤트를 처리할 수 있으며 매우 짧은 대기 시간으로 결과를 제공할 수 있습니다. 워크로드에 맞게 확장할 수 있습니다. Stream Analytics는 분할을 통해 더 높은 성능을 지원하므로 복잡한 쿼리를 여러 스트리밍 노드에서 병렬로 처리하고 실행할 수 있습니다. Azure Stream Analytics는 Microsoft Research와의 협업을 통해 개발된 고성능 메모리 내 스트리밍 분석 엔진인 Trill을 기반으로 합니다.
다음 단계
체험 Azure 구독을 통해 Azure Stream Analytics을 사용해 볼 수 있습니다.
Azure Stream Analytics에 대한 개요가 있습니다. 다음으로 Stream Analytics 작업을 심층적으로 알아보고 첫 번째 Stream Analytics 작업을 만들 수 있습니다.