Azure Data Factory での区切りテキスト形式Delimited text format in Azure Data Factory

区切りテキスト ファイルの解析または区切りテキスト形式へのデータの書き込みを行う場合は、この記事に従ってください。Follow this article when you want to parse the delimited text files or write the data into delimited text format.

区切りテキスト形式は次のコネクタでサポートされています。Amazon S3Azure BlobAzure Data Lake Storage Gen1Azure Data Lake Storage Gen2Azure File Storageファイル システムFTPGoogle Cloud StorageHDFSHTTP、および SFTPDelimited text format is supported for the following connectors: Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure File Storage, File System, FTP, Google Cloud Storage, HDFS, HTTP, and SFTP.

データセットのプロパティDataset properties

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。For a full list of sections and properties available for defining datasets, see the Datasets article. このセクションでは、区切りテキスト データセットでサポートされるプロパティの一覧を示します。This section provides a list of properties supported by the delimited text dataset.

プロパティProperty 説明Description 必須Required
typetype データセットの type プロパティは、DelimitedText に設定する必要があります。The type property of the dataset must be set to DelimitedText. はいYes
locationlocation ファイルの場所の設定。Location settings of the file(s). ファイル ベースの各コネクタには、固有の場所の種類と location でサポートされるプロパティがあります。Each file-based connector has its own location type and supported properties under location. 詳細については、コネクタの記事でデータセットのプロパティに関するセクションを参照してくださいSee details in connector article -> Dataset properties section. はいYes
columnDelimitercolumnDelimiter ファイル内の列を区切るために使用する文字。The character(s) used to separate columns in a file. 現時点では、複数文字の区切り記号はマッピング データ フローについてのみサポートされており、コピー アクティビティではサポートされていません。Currently, multi-char delimiter is only supported for Mapping Data Flow but not Copy activity.
既定値はコンマ , です。列区切り記号が区切り記号なしを意味する空の文字列として定義されている場合は、行全体が 1 つの列と見なされます。The default value is comma ,, When the column delimiter is defined as empty string which means no delimiter, the whole line is taken as a single column.
いいえNo
rowDelimiterrowDelimiter ファイル内の行を区切るために使われる 1 文字または "\r\n"。The single character or "\r\n" used to separate rows in a file.
既定値は、読み取りでは "\r\n"、"\r"、"\n" のいずれか、書き込みでは "\n" または "\r\n" (それぞれ、マッピング データ フローおよびコピー アクティビティ)。The default value is any of the following values on read: ["\r\n", "\r", "\n"], and "\n" or “\r\n” on write by Mapping Data Flow and Copy activity respectively.
rowDelimiter を区切り記号なし (空の文字列) に設定するときは、columnDelimiter も区切り記号なし (空の文字列) に設定する必要があります。これは、コンテンツ全体を 1 つの値として扱うことを意味します。When rowDelimiter is set to no delimiter (empty string), the columnDelimiter must be set as no delimiter (empty string) as well, which means to treat the entire content as a single value.
いいえNo
quoteCharquoteChar 列区切り記号が含まれる場合に列の値を引用符で囲むための 1 文字です。The single character to quote column values if it contains column delimiter.
既定値は二重引用符 " です。The default value is double quotes ".
マッピング データ フローの場合は、quoteChar を空の文字列にすることはできません。For Mapping Data Flow, quoteChar cannot be an empty string.
コピー アクティビティの場合は、quoteChar が空の文字列として定義されているときは、引用符がなく、列の値が引用符で囲まれないことを意味し、列区切り記号とそれ自体をエスケープするには escapeChar が使われます。For Copy activity, when quoteChar is defined as empty string, it means there is no quote char and column value is not quoted, and escapeChar is used to escape the column delimiter and itself.
いいえNo
escapeCharescapeChar 引用符で囲まれた値の内部の引用符をエスケープするための 1 文字です。The single character to escape quotes inside a quoted value.
既定値はバックスラッシュ (円記号) \ です。The default value is backslash \.
マッピング データ フローの場合は、escapeChar を空の文字列にすることはできません。For Mapping Data Flow, escapeChar cannot be an empty string.
コピー アクティビティの場合は、escapeChar が空の文字列として定義されているときは、quoteChar も空の文字列として設定する必要があり、その場合は、すべての列の値に区切り記号が含まれないことを確認します。For Copy activity, when escapeChar is defined as empty string, the quoteChar must be set as empty string as well, in which case make sure all column values don’t contain delimiters.
いいえNo
firstRowAsHeaderfirstRowAsHeader 1 行目を列の名前が含まれるヘッダー行として扱うかどうか、またはヘッダー行にするかどうかを指定します。Specifies whether to treat/make the first row as a header line with names of columns.
使用できる値は truefalse (既定値) です。Allowed values are true and false (default).
いいえNo
nullValuenullValue null 値の文字列表現を指定します。Specifies the string representation of null value.
既定値は空の文字列です。The default value is empty string.
いいえNo
encodingNameencodingName テスト ファイルの読み取り/書き込みに使用するエンコードの種類です。The encoding type used to read/write test files.
使用できる値は次のとおりです。"UTF-8"、"UTF-16"、"UTF-16BE"、"UTF-32"、"UTF-32BE"、"US-ASCII"、"UTF-7"、"BIG5"、"EUC-JP"、"EUC-KR"、"GB2312"、"GB18030"、"JOHAB"、"SHIFT-JIS"、"CP875"、"CP866"、"IBM00858"、"IBM037"、"IBM273"、"IBM437"、"IBM500"、"IBM737"、"IBM775"、"IBM850"、"IBM852"、"IBM855"、"IBM857"、"IBM860"、"IBM861"、"IBM863"、"IBM864"、"IBM865"、"IBM869"、"IBM870"、"IBM01140"、"IBM01141"、"IBM01142"、"IBM01143"、"IBM01144"、"IBM01145"、"IBM01146"、"IBM01147"、"IBM01148"、"IBM01149"、"ISO-2022-JP"、"ISO-2022-KR"、"ISO-8859-1"、"ISO-8859-2"、"ISO-8859-3"、"ISO-8859-4"、"ISO-8859-5"、"ISO-8859-6"、"ISO-8859-7"、"ISO-8859-8"、"ISO-8859-9"、"ISO-8859-13"、"ISO-8859-15"、"WINDOWS-874"、"WINDOWS-1250"、"WINDOWS-1251"、"WINDOWS-1252"、"WINDOWS-1253"、"WINDOWS-1254"、"WINDOWS-1255"、"WINDOWS-1256"、"WINDOWS-1257"、"WINDOWS-1258"。Allowed values are as follows: "UTF-8", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "US-ASCII", “UTF-7”, "BIG5", "EUC-JP", "EUC-KR", "GB2312", "GB18030", "JOHAB", "SHIFT-JIS", "CP875", "CP866", "IBM00858", "IBM037", "IBM273", "IBM437", "IBM500", "IBM737", "IBM775", "IBM850", "IBM852", "IBM855", "IBM857", "IBM860", "IBM861", "IBM863", "IBM864", "IBM865", "IBM869", "IBM870", "IBM01140", "IBM01141", "IBM01142", "IBM01143", "IBM01144", "IBM01145", "IBM01146", "IBM01147", "IBM01148", "IBM01149", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-3", "ISO-8859-4", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "ISO-8859-13", "ISO-8859-15", "WINDOWS-874", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255", "WINDOWS-1256", "WINDOWS-1257", "WINDOWS-1258”.
マッピング データ フローでは UTF-7 エンコードはサポートされないことに注意してください。Note Mapping Data Flow doesn’t support UTF-7 encoding.
いいえNo
compressionCodeccompressionCodec テキスト ファイルの読み取り/書き込みに使用される圧縮コーデックです。The compression codec used to read/write text files.
使用できる値は、bzip2gzipdeflateZipDeflatesnappylz4 です。Allowed values are bzip2, gzip, deflate, ZipDeflate, snappy, or lz4. ファイルを保存するときに使用します。to use when saving the file.
現在、コピー アクティビティでは "snappy" と "lz4" はサポートされておらず、マッピング データ フローでは "ZipDeflate" はサポートされていないことに注意してください。Note currently Copy activity doesn’t support “snappy” & “lz4”, and Mapping Data Flow doesn’t support “ZipDeflate”.
いいえNo
compressionLevelcompressionLevel 圧縮率です。The compression ratio.
使用できる値は、Optimal または Fastest です。Allowed values are Optimal or Fastest.
- Fastest: 圧縮操作は可能な限り短時間で完了しますが、圧縮後のファイルが最適に圧縮されていない場合があります。- Fastest: The compression operation should complete as quickly as possible, even if the resulting file is not optimally compressed.
- Optimal: 圧縮操作で最適に圧縮されますが、操作が完了するまでに時間がかかる場合があります。- Optimal: The compression operation should be optimally compressed, even if the operation takes a longer time to complete. 詳細については、 圧縮レベル に関するトピックをご覧ください。For more information, see Compression Level topic.
いいえNo

Azure Blob Storage の区切りテキスト データセットの例を次に示します。Below is an example of delimited text dataset on Azure Blob Storage:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

コピー アクティビティのプロパティCopy activity properties

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。For a full list of sections and properties available for defining activities, see the Pipelines article. このセクションでは、区切りテキストのソースとシンクでサポートされるプロパティの一覧を示します。This section provides a list of properties supported by the delimited text source and sink.

ソースとしての区切りテキストDelimited text as source

コピー アクティビティの *source* セクションでは、次のプロパティがサポートされます。The following properties are supported in the copy activity *source* section.

プロパティProperty 説明Description 必須Required
typetype コピー アクティビティのソースの type プロパティは DelimitedTextSource に設定する必要があります。The type property of the copy activity source must be set to DelimitedTextSource. はいYes
formatSettingsformatSettings プロパティのグループ。A group of properties. 後の区切りテキストの読み取り設定に関する表をご覧ください。Refer to Delimited text read settings table below. いいえNo
storeSettingsstoreSettings データ ストアからデータを読み取る方法を指定するプロパティのグループ。A group of properties on how to read data from a data store. ファイル ベースの各コネクタには、storeSettings に、固有のサポートされる読み取り設定があります。Each file-based connector has its own supported read settings under storeSettings. 詳細については、コネクタの記事でコピー アクティビティのプロパティに関するセクションを参照してくださいSee details in connector article -> Copy activity properties section. いいえNo

formatSettings でサポートされている区切りテキストの読み取り設定:Supported delimited text read settings under formatSettings:

プロパティProperty 説明Description 必須Required
typetype formatSettings の type は、DelimitedTextReadSetting に設定する必要があります。The type of formatSettings must be set to DelimitedTextReadSetting. はいYes
skipLineCountskipLineCount 入力ファイルからのデータ読み取り時にスキップする空でない行数を示します。Indicates the number of non-empty rows to skip when reading data from input files.
skipLineCount と firstRowAsHeader の両方を指定した場合は、まず行がスキップされ、次に入力ファイルからヘッダー情報が読み取られます。If both skipLineCount and firstRowAsHeader are specified, the lines are skipped first and then the header information is read from the input file.
いいえNo

シンクとしての区切りテキストDelimited text as sink

コピー アクティビティの *sink* セクションでは、次のプロパティがサポートされます。The following properties are supported in the copy activity *sink* section.

プロパティProperty 説明Description 必須Required
typetype コピー アクティビティのソースの type プロパティは DelimitedTextSink に設定する必要があります。The type property of the copy activity source must be set to DelimitedTextSink. はいYes
formatSettingsformatSettings プロパティのグループ。A group of properties. 後の区切りテキストの書き込み設定に関する表をご覧ください。Refer to Delimited text write settings table below.
storeSettingsstoreSettings データ ストアにデータを書き込む方法を指定するプロパティのグループ。A group of properties on how to write data to a data store. ファイル ベースの各コネクタには、storeSettings に、固有のサポートされる書き込み設定があります。Each file-based connector has its own supported write settings under storeSettings. 詳細については、コネクタの記事でコピー アクティビティのプロパティに関するセクションを参照してくださいSee details in connector article -> Copy activity properties section. いいえNo

formatSettings でサポートされている区切りテキストの書き込み設定:Supported delimited text write settings under formatSettings:

プロパティProperty 説明Description 必須Required
typetype formatSettings の type は、DelimitedTextWriteSetting に設定する必要があります。The type of formatSettings must be set to DelimitedTextWriteSetting. はいYes
fileExtensionfileExtension 出力ファイルの名前に使用するファイル拡張子 (.csv.txt など)。The file extension used to name the output files, e.g. .csv, .txt. 出力の DelimitedText データセットで fileName が指定されていない場合、指定する必要があります。It must be specified when the fileName is not specified in the output DelimitedText dataset. 出力データセットでファイル名が指定されていない場合、はいYes when file name is not specified in output dataset

マッピング データ フローのプロパティMapping Data Flow properties

Mapping Data Flow のソース変換シンク変換に関する記事で詳細を確認してください。Learn details from source transformation and sink transformation in Mapping Data Flow.

次の手順Next steps