スコープ付きリソース セットの構成ルールを作成するCreate scoped resource set configuration rules

大規模なデータ処理システムでは、通常、1 つのテーブルが複数のファイルとしてディスクに格納されます。At-scale data processing systems typically store a single table on a disk as multiple files. Azure Purview では、この概念がリソース セットを使用して表されます。This concept is represented in Azure Purview by using resource sets. リソース セットは、データ カタログにおいて、ストレージ内の多数の資産を表す単一のオブジェクトです。A resource set is a single object in the data catalog that represents a large number of assets in storage. 詳細については、「リソース セットについて」を参照してください。To learn more, see Understanding resource sets.

Azure Purview では、ストレージ アカウントをスキャンするときに、一連の定義済みパターンを使用して、資産のグループがリソース セットであるかどうかを判断します。When scanning a storage account, Azure Purview uses a set of defined patterns to determine if a group of assets is a resource set. 場合によっては、Azure Purview のリソース セットのグループ化がデータ資産を正確に反映しないことがあります。In some cases, Azure Purview's resource set grouping may not accurately reflect your data estate. スコープ付きリソース セットのルールを使用すると、Azure Purview がリソース セットとしてグループ化される資産を検出する方法と、カタログ内での資産の表示方法をカスタマイズまたは上書きできます。Scoped resource set rules allow you to customize or override how Azure Purview detects which assets are grouped as resource sets and how they are displayed within the catalog.

スコープ付きリソース セットの構成を作成する方法How to create a scoped resource set configuration

スコープ付きリソース セットの構成を新しく作成するには、次の手順に従います。Follow the steps below to create a new scoped resource set configuration:

  1. 管理センターに移動します。Go to the management center. メニューから [スコープ付きリソース セット] を選択します。Select Scoped resource sets from the menu. [+ 新規] を選択して、新しい構成ルール セットを作成します。Select + New to create a new configuration rule set.

    新しいスコープ付きリソース セット ルールを作成する

  2. スコープ付きリソース セットの構成のスコープを入力します。Enter the scope of your scoped resource set configuration. ストレージ アカウントの種類と、ルール セットを作成するストレージ アカウントの名前を選択します。Select your storage account type and the name of the storage account you wish to create a rule set on. 各ルールのセットは、 [フォルダー パス] フィールドで指定されたフォルダー パス スコープに対して相対的に適用されます。Each set of rules is applied relative to a folder path scope specified in the Folder path field.

    スコープ付きリソース セット構成の作成

  3. 構成スコープのルールを入力するには、 [+ 新しいルール] を選択します。To enter a rule for a configuration scope, select + New Rule.

  4. ルールを作成するには、次のフィールドを入力します。Enter in the following fields to create a rule:

    1. ルールの名前: 構成ルールの名前。Rule name: The name of the configuration rule. このフィールドは、ルールが適用される資産には影響しません。This field has no effect on the assets the rule applies to.

    2. 修飾名: 資産を構成ルールと照合するために、テキスト、動的置換関数、および静的置換関数を組み合わせて使用する修飾パス。Qualified name: A qualified path that uses a combination of text, dynamic replacers, and static replacers to match assets to the configuration rule. このパスは、構成ルールのスコープを基準としたものです。This path is relative to the scope of the configuration rule. 修飾名を指定する方法の詳細については、以下の構文に関するセクションを参照してください。See the syntax section below for detailed instructions on how to specify qualified names.

    3. 表示名: 資産の表示名。Display name: The display name of the asset. このフィールドは省略可能です。This field is optional. プレーン テキストと静的置換関数を使用して、資産をカタログに表示する方法をカスタマイズします。Use plain text and static replacers to customize how an asset is displayed in the catalog. 詳細な手順については、以下の構文に関するセクションを参照してください。For more detailed instructions, see the syntax section below.

    4. リソース セットとしてグループ化しない: 有効な場合、一致したリソースはリソース セットにグループ化されません。Do not group as resource set: If enabled, matched resource won't be grouped into a resource set.

      新しい構成ルールを作成する。

  5. [追加] をクリックしてルールを保存します。Save the rule by clicking Add.

スコープ付きリソース セットの構文Scoped resource set syntax

スコープ付きリソース セットのルールを作成する場合、次の構文を使用して、ルールが適用される資産を指定します。When creating scoped resource set rules, use the following syntax to specify which assets rules apply to.

動的置換関数 (単一かっこ)Dynamic replacers (single brackets)

単一かっこは、スコープ付きリソース セット ルールで 動的置換関数 として使用されます。Single brackets are used as dynamic replacers in a scoped resource set rule. {<replacerName:<replacerType>} の形式を使用して、修飾名に動的置換関数を指定します。Specify a dynamic replacer in the qualified name using format {<replacerName:<replacerType>}. 一致した場合、動的置換関数は、資産がリソース セットとして表される必要があることを示すグループ化条件として使用されます。If matched, dynamic replacers are used as a grouping condition that indicate assets should be represented as a resource set. 資産がリソース セットにグループ化されている場合は、リソース セットの修飾パスには、置換関数が指定された {replacerName} が含まれます。If the assets are grouped into a resource set, the resource set qualified path would contain {replacerName} where the replacer was specified.

たとえば、folder1/file-1.csv および folder2/file-2.csv という 2 つの資産がルール {folder:string}/file-{NUM:int}.csv と一致した場合は、リソース セットは 1 つのエンティティ {folder}/file-{NUM}.csv になります。For example, If two assets folder1/file-1.csv and folder2/file-2.csv matched to rule {folder:string}/file-{NUM:int}.csv, the resource set would be a single entity {folder}/file-{NUM}.csv.

特殊なケース: リソース セットにグループ化しない場合の動的置換関数Special case: Dynamic replacers when not grouping into resource set

スコープ付きリソース セット ルールに対して [リソース セットとしてグループ化しない] が有効になっている場合、置換関数名は任意のフィールドです。If Do not group as resource set is enabled for a scoped resource set rule, the replacer name is an optional field. {:<replacerType>} が有効な構文です。{:<replacerType>} is valid syntax. たとえば、file-{:int}.csvfile-1.csvfile-2.csv について正常に一致すると、リソース セットの代わりに 2 つの異なる資産が作成されます。For example, file-{:int}.csv would successfully match for file-1.csv and file-2.csv and create two different assets instead of a resource set.

静的置換関数 (二重かっこ)Static replacers (double brackets)

二重かっこは、スコープ付きリソース セット ルールの修飾名で、静的置換関数 として使用されます。Double brackets are used as static replacers in the qualified name of a scoped resource set rule. {{<replacerName>:<replacerType>}} の形式を使用して、修飾名に静的置換関数を指定します。Specify a static replacer in the qualified name using format {{<replacerName>:<replacerType>}}. 一致した場合、一意の静的置換関数値の各セットによって、異なるリソース セット グループが作成されます。If matched, each set of unique static replacer values will create different resource set groupings.

たとえば、folder1/file-1.csv および folder2/file-2.csv という 2 つの資産がルール {{folder:string}}/file-{NUM:int}.csv と一致した場合は、2 つのリソース セットが folder1/file-{NUM}.csv および folder2/file-{NUM}.csv で作成されます。For example, If two assets folder1/file-1.csv and folder2/file-2.csv matched to rule {{folder:string}}/file-{NUM:int}.csv, two resource sets would be created folder1/file-{NUM}.csv and folder2/file-{NUM}.csv.

静的置換関数を使用すると、スコープ付きリソース セット ルールに一致する資産の表示名を指定できます。Static replacers can be used to specify the display name of an asset matching to a scoped resource set rule. ルールの表示名に {{<replacerName>}} を使用すると、資産名の一致する値が使用されます。Using {{<replacerName>}} in the display name of a rule will use the matched value in the asset name.

利用可能な置換の型Available replacement types

静的および動的な置換関数に使用できる利用可能な型を以下に示します。Below are the available types that can be used in static and dynamic replacers:

TypeType 構造体Structure
stringstring スペースなどの区切り記号を含む 1 つ以上の Unicode 文字の文字列。A series of 1 or more Unicode characters including delimiters like spaces.
INTint 1 以上の 0 ~ 9 の ASCII 文字の文字列で、先頭に 0 を配置できる (0001 など)。A series of 1 or more 0-9 ASCII characters, it can be 0 prefixed (e.g. 0001).
guidguid RFC 4122 で定義されている UUID の 32 または 8-4-4-4-12 の文字列表現の文字列。A series of 32 or 8-4-4-4-12 string representation of an UUID as defineddefa in RFC 4122.
datedate 任意の区切り記号を含む 6 または 8 文字の 0 - 9 の ASCII 文字の文字列: RFC 3339 で指定されている yyyymmdd、yyyy-mm-dd、yymmdd、yy-mm-dd。A series of 6 or 8 0-9 ASCII characters with optionally separators: yyyymmdd, yyyy-mm-dd, yymmdd, yy-mm-dd, specified in RFC 3339.
timetime 任意の区切り記号を含む 4 または 6 文字の 0 - 9 の ASCII 文字の文字列: RFC 3339 で指定されている HHmm、HH:mm、HHmmss、HH:mm:ss。A series of 4 or 6 0-9 ASCII characters with optionally separators: HHmm, HH:mm, HHmmss, HH:mm:ss specified in RFC 3339.
timestamptimestamp 任意の区切り記号を含む 12 または 14 文字の 0 - 9 の ASCII 文字の文字列:RFC 3339 で指定されている yyyy-mm-ddTHH:mm、yyyymmddhhmm、yyyy-mm-ddTHH:mm:ss、yyyymmddHHmmss。A series of 12 or 14 0-9 ASCII characters with optionally separators: yyyy-mm-ddTHH:mm, yyyymmddhhmm, yyyy-mm-ddTHH:mm:ss, yyyymmddHHmmss specified in RFC 3339.
booleanboolean ‘true’ または ‘false’ を含めることができる (大文字と小文字は区別されない)。Can contain 'true' or 'false', case insensitive.
numbernumber 任意のドット ‘.’ に続いて、先頭に 0 を配置できる 0 以上の 0 - 9 の ASCII 文字の文字列 (0001 など) と、末尾に 0 を配置できる 1 以上の 0 - 9 の ASCII 文字の文字列 (.100 など)A series of 0 or more 0-9 ASCII characters, it can be 0 prefixed (e.g. 0001) followed by optionally a dot '.' and a series of 1 or more 0-9 ASCII characters, it can be 0 postfixed (e.g. .100)
hexhex セット 0 ~ 1 および A ~ F の 1 つ以上の ASCII 文字の文字列で、値の先頭には 0 を配置できるA series of 1 or more ASCII characters from the set 0-1 and A-F, the value can be 0 prefixed
localelocale RFC 5646 で指定された構文に一致する文字列。A string that matches the syntax specified in RFC 5646.

スコープ付きリソース セット ルールが適用される順序Order of scoped resource set rules getting applied

スコープ付きリソース セット ルールを適用する操作の順序を以下に示します。Below is the order of operations for applying scoped resource set rules:

  1. 資産が 2 つのルールと一致する場合は、より具体的なスコープが優先されます。More specific scopes will take priority if an asset matches to two rules. たとえば、スコープ container/folder のルールは、スコープ container のルールより前に適用されます。For example, rules in a scope container/folder will apply before rules in scope container.

  2. 特定のスコープ内のルールの順序。Order of rules within a specific scope. これは UX 内で編集可能です。This can be edited in the UX.

  3. 資産が指定したルールのどれとも一致しない場合は、既定のリソース セット ヒューリスティックが適用されます。If an asset doesn't match to any specified rule, the default resource set heuristics apply.

Examples

例 1Example 1

フル ロードとデルタ ロードに対する SAP データの抽出SAP data extraction into full and delta loads

入力Inputs

ファイル :Files:

  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

スコープ付きリソース セット ルールScoped Resource Set Rule

スコープ: https://myazureblob.blob.core.windows.net/bar/Scope: https://myazureblob.blob.core.windows.net/bar/

表示名: '外部の顧客'Display name: 'External Customer'

修飾名: customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txtQualified Name: customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

リソース セット: trueResource Set: true

出力Output

1 つのリソース セット資産One resource set asset

表示名: 外部の顧客Display Name: External Customer

修飾名: https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txtQualified Name: https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

例 2Example 2

AVRO 形式の IoT データIoT data in avro format

入力Inputs

ファイル :Files:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

スコープ付きリソース セット ルールScoped Resource Set Rules

スコープ: https://myazureblob.blob.core.windows.net/bar/Scope: https://myazureblob.blob.core.windows.net/bar/

規則 1Rule 1

表示名: 'machine-89'Display name: 'machine-89'

修飾名: raw/machinename-89/{date:date}/{time:time}-{id:int}.avroQualified Name: raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

リソース セット: trueResource Set: true

規則 2Rule 2

表示名: 'machine-90'Display name: 'machine-90'

修飾名: raw/machinename-90/{date:date}/{time:time}-{id:int}.avroQualified Name: raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

リソース セット: trueResource Set: true

出力Outputs

2 つのリソース セット2 resource sets

リソース セット 1Resource Set 1

表示名: machine-89Display Name: machine-89

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

リソース セット 2Resource Set 2

表示名: machine-90Display Name: machine-90

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

例 3Example 3

AVRO 形式の IoT データIoT data in avro format

入力Inputs

ファイル :Files:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

スコープ付きリソース セット ルールScoped resource set rule

スコープ: https://myazureblob.blob.core.windows.net/bar/Scope: https://myazureblob.blob.core.windows.net/bar/

表示名: 'Machine-{{machineid}}'Display name: 'Machine-{{machineid}}'

修飾名: raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avroQualified Name: raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

リソース セット: trueResource Set: true

出力Outputs

リソース セット 1Resource Set 1

表示名: machine-89Display name: machine-89

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

リソース セット 2Resource Set 2

表示名: machine-90Display name: machine-90

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

例 4Example 4

リソース セットにグループ化しないDon't group into resource sets

入力Inputs

ファイル :Files:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

スコープ付きリソース セット ルールScoped resource set rule

スコープ: https://myazureblob.blob.core.windows.net/bar/Scope: https://myazureblob.blob.core.windows.net/bar/

表示名: Machine-{{machineid}}Display name: Machine-{{machineid}}

修飾名名: raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avroQualified Name: raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

リソース セット: falseResource Set: false

出力Outputs

4 つの個別資産4 individual assets

資産 1Asset 1

表示名: machine-89Display name: machine-89

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

資産 2Asset 2

表示名: machine-89Display name: machine-89

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

資産 3Asset 3

表示名: machine-89Display name: machine-89

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

資産 4Asset 4

表示名: machine-90Display name: machine-90

修飾名: https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avroQualified Name: https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

次のステップNext steps

Azure Data Lake Gen2 ストレージ アカウントの登録とスキャンから始めます。Get started by registering and scanning an Azure Data Lake Gen2 storage account.