Azure Data Factory 및 Synapse Analytics의 이진 형식
적용 대상:
Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
이진 형식은 Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage 및 SFTP 커넥터에 지원됩니다.
복사 작업, GetMetadata 작업 또는 삭제 작업에서 이진 데이터 세트를 사용할 수 있습니다. 이진 데이터 세트를 사용하는 경우 서비스는 파일 콘텐츠를 구문 분석하지 않고 그대로 처리합니다.
참고 항목
복사 작업에서 이진 데이터 세트를 사용하는 경우 이진 데이터 세트에서 이진 데이터 세트로만 복사할 수 있습니다.
데이터 세트 속성
데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 이진 데이터 세트에서 지원하는 속성의 목록을 제공합니다.
| 속성 | 설명 | 필수 |
|---|---|---|
| type | 데이터 세트의 형식 속성을 이진으로 설정해야 합니다. | 예 |
| location | 파일의 위치 설정입니다. 각 파일 기반 커넥터에는 location의 고유한 위치 형식 및 지원되는 속성이 있습니다. 자세한 내용은 커넥터 문서 -> 데이터 세트 속성 섹션을 참조하세요. |
예 |
| 압축 | 파일 압축을 구성하는 속성 그룹입니다. 작업 실행 중 압축/압축 풀기를 수행하려는 경우 이 섹션을 구성합니다. | 아니요 |
| type | 이진 파일을 읽고/쓰는 데 사용되는 압축 코덱입니다. 허용 값은 bzip2, gzip, deflate, ZipDeflate, Tar또는 TarGzip입니다. 참고 복사 작업을 통해 ZipDeflate/TarGzip/Tar 파일의 압축을 풀고 파일 기반 싱크 데이터 저장소에 쓸 때, 기본적으로 파일은 <path specified in dataset>/<folder named as source compressed file>/과 같이 폴더로 추출됩니다. 즉, 복사 작업 원본에서 preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolder를 사용하여 압축된 파일의 이름을 폴더 구조로 유지할지 여부를 제어합니다. |
아니요 |
| 수준 | 압축 비율입니다. 복사 작업 싱크에서 데이터 세트를 사용하는 경우에 적용됩니다. 허용 값은 최적 또는 가장 빠름입니다. - 가장 빠름: 결과 파일이 최적으로 압축되지 않은 경우에도 압축 작업을 최대한 빨리 완료해야 합니다. - 최적: 작업이 완료되는 데 시간이 오래 걸리더라도 최적으로 압축해야 합니다. 자세한 내용은 압축 수준 항목을 참조하세요. |
아니요 |
다음은 Azure Blob Storage에서의 이진 데이터 세트의 예입니다.
{
"name": "BinaryDataset",
"properties": {
"type": "Binary",
"linkedServiceName": {
"referenceName": "<Azure Blob Storage linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties": {
"location": {
"type": "AzureBlobStorageLocation",
"container": "containername",
"folderPath": "folder/subfolder",
},
"compression": {
"type": "ZipDeflate"
}
}
}
}
복사 작업 속성
작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 이진 원본 및 싱크에서 지원하는 속성 목록을 제공합니다.
참고 항목
복사 작업에서 이진 데이터 세트를 사용하는 경우 이진 데이터 세트에서 이진 데이터 세트로만 복사할 수 있습니다.
이진을 원본으로
복사 작업 *source* 섹션에서 지원되는 속성은 다음과 같습니다.
| 속성 | 설명 | 필수 |
|---|---|---|
| type | 복사 작업 원본의 형식 속성은 BinarySource로 설정해야 합니다. | 예 |
| formatSettings | 속성 그룹입니다. 아래의 이진 읽기 설정 표를 참조하세요. | 아니요 |
| storeSettings | 데이터 저장소에서 데이터를 읽는 방법에 대한 속성 그룹입니다. 각 파일 기반 커넥터에는 storeSettings 아래에 고유의 지원되는 읽기 설정이 있습니다. 자세한 내용은 커넥터 문서 -> 복사 작업 속성 섹션을 참조하세요. |
아니요 |
formatSettings 아래에서 지원되는 이진 읽기 설정은 다음과 같습니다.
| 속성 | 설명 | 필수 |
|---|---|---|
| type | FormatSettings의 유형을 Binaryreadsettings로 설정해야 합니다. | 예 |
| compressionProperties | 지정된 압축 코덱에 대한 데이터의 압축을 푸는 방법에 대한 속성 그룹입니다. | 아니요 |
| preserveZipFileNameAsFolder ( compressionProperties->type 아래 ZipDeflateReadSettings으로) |
ZipDeflate 압축을 사용하여 입력 데이터 세트를 구성할 때 적용됩니다. 원본 zip 파일 이름을 복사 중에 폴더 구조로 유지할지 여부를 나타냅니다. - true(기본값)로 설정하면, 서비스가 압축을 푼 파일을 <path specified in dataset>/<folder named as source zip file>/에 씁니다.- false로 설정하면, 서비스가 압축을 푼 파일을 <path specified in dataset>에 직접 씁니다. 경합 또는 예기치 않은 동작을 방지하기 위해, 다른 원본 zip 파일에 중복된 파일 이름이 없는지 확인합니다. |
아니요 |
| preserveCompressionFileNameAsFolder ( compressionProperties->type 아래 TarGZipReadSettings 또는 TarReadSettings으로) |
입력 데이터 세트가 TarGzip/Tar 압축을 사용하여 구성될 때 적용됩니다. 원본 압축 파일 이름을 복사 중에 폴더 구조로 유지할지 여부를 나타냅니다. - true(기본값)로 설정하면, 서비스가 압축 해제한 파일을 <path specified in dataset>/<folder named as source compressed file>/에 씁니다. - false로 설정하면, 서비스가 압축 해제한 파일을 <path specified in dataset>에 직접 씁니다. 경합 또는 예기치 않은 동작을 방지하기 위해 다른 원본 파일에 중복된 파일 이름이 없는지 확인합니다. |
아니요 |
"activities": [
{
"name": "CopyFromBinary",
"type": "Copy",
"typeProperties": {
"source": {
"type": "BinarySource",
"storeSettings": {
"type": "AzureBlobStorageReadSettings",
"recursive": true,
"deleteFilesAfterCompletion": true
},
"formatSettings": {
"type": "BinaryReadSettings",
"compressionProperties": {
"type": "ZipDeflateReadSettings",
"preserveZipFileNameAsFolder": false
}
}
},
...
}
...
}
]
이진을 싱크로
복사 작업 *sink* 섹션에서 지원되는 속성은 다음과 같습니다.
| 속성 | 설명 | 필수 |
|---|---|---|
| type | 복사 작업 원본의 형식 속성은 BinarySink로 설정해야 합니다. | 예 |
| storeSettings | 데이터 저장소에 데이터를 쓰는 방법에 대한 속성 그룹입니다. 각 파일 기반 커넥터에는 storeSettings 아래에 고유의 지원되는 쓰기 설정이 있습니다. 자세한 내용은 커넥터 문서 -> 복사 작업 속성 섹션을 참조하세요. |
아니요 |