데이터 프로세서 파이프라인에서 Azure Blob Storage로 데이터 보내기
Important
Azure IoT 작업 미리 보기 - Azure Arc에서 지원되는 Azure IoT 작업은 현재 미리 보기로 제공됩니다. 프로덕션 환경에서는 이 미리 보기 소프트웨어를 사용하면 안 됩니다.
베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.
Azure Blob Storage 대상을 사용하여 스토리지 및 분석을 위해 Azure Blob Storage에 구조화되지 않은 데이터를 씁니다.
필수 조건
이 Azure Blob Storage 대상 파이프라인 단계를 구성하고 사용하려면 다음이 필요합니다.
- 데이터 프로세서의 배포된 인스턴스.
- Azure Blob Storage 계정
대상 단계 구성
Azure Blob Storage 대상 단계 JSON 구성은 단계의 세부 정보를 정의합니다. 스테이지를 작성하려면 양식 기반 UI와 상호 작용하거나 고급 탭에서 JSON 구성을 제공할 수 있습니다.
| 필드 | 형식 | 설명 | 필수 여부 | 기본값 | 예시 |
|---|---|---|---|---|---|
accountName |
string | Azure Blob Storage 계정의 이름입니다. | 예 | myBlobStorageAccount |
|
containerName |
string | Blob을 저장하기 위해 스토리지 계정에 만든 컨테이너의 이름입니다. | 예 | mycontainer |
|
authentication |
string | 스토리지 계정에 연결할 인증 정보입니다. , systemAssignedManagedIdentity및 accessKey. 중 servicePrincipal하나 |
예 | 샘플 구성을 참조하세요. | |
format |
개체입니다. | 데이터에 대한 서식 지정 정보입니다. 모든 형식이 지원됩니다. | 예 | {"type": "json"} |
|
blobPath |
템플릿 | 파일을 쓸 경로를 식별하는 템플릿 문자열입니다. 기본값에 표시된 모든 템플릿 구성 요소가 필요합니다. | 아니요 | {{{instanceId}}}/{{{pipelineId}}}/{{{partitionId}}}/{{{YYYY}}}/{{{MM}}}/{{{DD}}}/{{{HH}}}/{{{mm}}}/{{{fileNumber}}} |
{{{instanceId}}}/{{{pipelineId}}}/{{{partitionId}}}/{{{YYYY}}}/{{{MM}}}/{{{DD}}}/{{{HH}}}/{{{mm}}}/{{{fileNumber}}}.xyz |
batch |
Batch | Blob Storage에 쓰기 전에 데이터를 일괄 처리하는 방법입니다. | 아니요 | {"time": "60s"} |
{"time": "60s"} |
retry |
재시도 | Blob Storage 작업이 실패할 때 사용할 재시도 메커니즘입니다. | 아니요 | (비어 있음) | {"type": "fixed"} |
샘플 구성
다음 JSON은 Azure Blob Storage 대상 단계에 대한 샘플 구성을 보여 줍니다.
{
"displayName": "Sample blobstorage output",
"description": "An example blobstorage output stage",
"type": "output/blobstorage@v1",
"accountName": "myStorageAccount",
"containerName": "mycontainer",
"blobPath": "{{{instanceId}}}/{{{pipelineId}}}/{{{partitionId}}}/{{{YYYY}}}/{{{MM}}}/{{{DD}}}/{{{HH}}}/{{{mm}}}/{{{fileNumber}}}",
"authentication": {
"type": "systemAssignedManagedIdentity"
},
"format": {
"type": "json"
},
"batch": {
"time": "60s",
"path": ".payload"
},
"retry": {
"type": "fixed"
}
}