Azure IoT 데이터 프로세서 미리 보기 파이프라인을 사용하여 에지에서 데이터 처리
Important
Azure IoT 작업 미리 보기 - Azure Arc에서 지원되는 Azure IoT 작업은 현재 미리 보기로 제공됩니다. 프로덕션 환경에서는 이 미리 보기 소프트웨어를 사용하면 안 됩니다.
베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.
산업용 자산은 다양한 형식으로 데이터를 생성하고 다양한 통신 프로토콜을 사용합니다. 이러한 다양한 데이터 원본을 다양한 스키마 및 단위 측정값과 함께 사용하면 원시 산업 데이터를 효과적으로 사용하고 분석하기가 어렵습니다. 또한 규정 준수, 보안 및 성능상의 이유로 모든 데이터 세트를 클라우드에 업로드할 수는 없습니다.
이 데이터를 처리하려면 일반적으로 비용이 많이 들고 복잡하며 시간이 오래 걸리는 데이터 엔지니어링이 필요합니다. Azure IoT 데이터 프로세서 미리 보기는 산업 데이터의 복잡성과 다양성을 관리할 수 있는 구성 가능한 데이터 처리 서비스입니다. 데이터 프로세서를 사용하여 서로 다른 원본의 데이터를 더 이해하기 쉽고, 유용하고, 가치 있게 만듭니다.
Azure IoT 데이터 프로세서 미리 보기란?
Azure IoT 데이터 프로세서 미리 보기는 Azure IoT Operations Preview의 구성 요소입니다. 데이터 프로세서를 사용하면 디바이스에서 데이터를 집계, 보강, 정규화, 필터링할 수 있습니다. 데이터 프로세서는 에지나 클라우드의 다른 서비스로 데이터를 보내기 전에 에지에서 데이터를 처리할 수 있게 해주는 파이프라인 기반 데이터 처리 엔진입니다.
데이터 프로세서는 OPC UA 서버, 히스토리언 및 기타 산업 시스템과 같은 원본에서 실시간 스트리밍 데이터를 수집합니다. 다양한 데이터 형식을 표준화된 구조적 형식으로 변환하여 이 데이터를 정규화하므로 쿼리 및 분석이 더 쉬워집니다. 또한 데이터 프로세서는 데이터를 컨텍스트화하여 참조 데이터 또는 LKV(마지막으로 알려진 값)로 보강하여 산업 운영에 대한 포괄적인 보기를 제공할 수 있습니다.
데이터 프로세서의 출력은 실시간 분석 및 인사이트 도구와 같은 다운스트림 애플리케이션에 대해 준비된 정제되고 보강되고 표준화된 데이터입니다. 데이터 프로세서는 원시 데이터를 실행 가능한 인사이트로 변환하는 데 필요한 시간을 크게 줄입니다.
주요 데이터 프로세서 기능은 다음과 같습니다.
여러 데이터 형식을 표준화된 구조로 변환하는 유연한 데이터 정규화.
참조 또는 LKV 데이터를 사용하여 데이터 스트림을 보강하여 컨텍스트를 향상시키고 더 나은 인사이트를 가능하게 합니다.
클린 데이터 분석을 간소화하기 위한 기본 제공 Microsoft Fabric 통합.
다양한 원본에서 데이터를 처리하고 다양한 대상에 데이터를 게시하는 기능.
데이터 중립적 데이터 처리 플랫폼인 데이터 프로세서는 모든 형식으로 데이터를 수집하고 처리한 다음 대상에 쓸 수 있습니다. 이러한 기능을 지원하기 위해 데이터 프로세서는 다양한 형식을 역직렬화 및 직렬화할 수 있습니다. 예를 들어 Microsoft Fabric에 파일을 쓰기 위해 parquet으로 직렬화할 수 있습니다.
클라우드 대상으로 데이터를 보낼 때 일시적인 오류를 처리하는 자동 및 구성 가능한 재시도 정책입니다.
파이프라인이란?
데이터 프로세서 파이프라인에는 데이터를 읽는 입력 원본, 처리된 데이터를 쓰는 대상, 데이터를 처리하기 위한 중간 스테이지(개수는 가변적)가 있습니다.
중간 스테이지는 사용 가능한 다양한 데이터 처리 기능을 나타냅니다.
- 파이프라인에 필요한 만큼 중간 스테이지를 추가할 수 있습니다.
- 필요에 따라 파이프라인의 중간 스테이지를 주문할 수 있습니다. 파이프라인을 만든 후 스테이지의 순서를 변경할 수 있습니다.
- 각 스테이지는 정의된 구현 인터페이스 및 입력/출력 스키마 계약을 준수합니다.
- 각 스테이지는 파이프라인의 다른 스테이지와 독립적입니다.
- 모든 스테이지는 파티션 범위 내에서 작동합니다. 데이터는 파티션 간에 공유되지 않습니다.
- 데이터는 한 스테이지에서 다음 스테이지로만 흐릅니다.
데이터 프로세서 파이프라인은 다음과 같은 스테이지를 사용할 수 있습니다.
| 단계 | 설명 |
|---|---|
| 원본 - MQ | MQTT 브로커에서 데이터를 검색합니다. |
| 원본 - HTTP 엔드포인트 | HTTP 엔드포인트에서 데이터를 검색합니다. |
| 원본 - SQL | Microsoft SQL Server 데이터베이스에서 데이터를 검색합니다. |
| Source - InfluxDB | InfluxDB 데이터베이스에서 데이터를 검색합니다. |
| Filter | 스테이지를 통해 들어오는 데이터를 필터링합니다. 예를 들어 온도가 50F-150F 범위를 벗어난 메시지를 필터링합니다. |
| 변환 | 데이터의 구조를 정규화합니다. 예를 들어 구조를 {"Name": "Temp", "value": 50}에서 {"temp": 50}으로 변경합니다. |
| LKV | 선택한 메트릭 값을 LKV 저장소에 저장합니다. 예를 들어 온도 및 습도 측정값만 LKV에 저장하고 나머지는 무시합니다. 후속 스테이지에서는 저장된 LKV 데이터를 사용하여 메시지를 보강할 수 있습니다. |
| 보강 | 참조 데이터 저장소의 데이터를 사용하여 메시지를 보강합니다. 예를 들어 연산자 데이터 세트에서 연산자 이름 및 loT 번호를 추가합니다. |
| Aggregate | 스테이지를 통과하는 값을 집계합니다. 예를 들어 온도 값이 100밀리초마다 전송되는 경우 30초마다 평균 온도 메트릭을 내보냅니다. |
| 호출 | 외부 HTTP 또는 gRPC 서비스를 호출합니다. 예를 들어 Azure 함수를 호출하여 사용자 지정 메시지 형식에서 JSON으로 변환합니다. |
| 대상 - MQ | 처리, 클린 및 상황별 데이터를 MQTT 토픽에 씁니다. |
| 대상 - 참조 | 처리된 데이터를 기본 제공 참조 저장소에 씁니다. 다른 파이프라인은 참조 저장소를 사용하여 메시지를 보강할 수 있습니다. |
| 대상 - gRPC | 처리되고 클린 컨텍스트화된 데이터를 gRPC 엔드포인트로 보냅니다. |
| 대상 - HTTP | 처리되고 클린 컨텍스트화된 데이터를 HTTP 엔드포인트로 보냅니다. |
| 대상 - 패브릭 레이크하우스 | 처리, 클린 및 컨텍스트화된 데이터를 클라우드의 Microsoft Fabric Lakehouse로 보냅니다. |
| 대상 - Azure Data Explorer | 처리되고 클린 컨텍스트화된 데이터를 클라우드의 Azure Data Explorer 엔드포인트로 보냅니다. |
| 대상 - Azure Blob Storage | 처리되고 클린 컨텍스트화된 데이터를 클라우드의 Azure Blob Storage 엔드포인트로 보냅니다. |
다음 단계
데이터 프로세서 파이프라인을 사용해 보려면 Azure IoT Operations 빠른 시작을 참조하세요.
데이터 프로세서에 대한 자세한 내용은 다음을 참조하세요.