Azure Resource Graph のスロットルされた要求に関するガイダンス

[アーティクル]
01/05/2024

Azure Resource Graph データをプログラムで頻繁に使用する場合は、調整がクエリの結果に与える影響を考慮する必要があります。データの要求方法を変更することで、ユーザーと組織でのスロットルが回避され、Azure リソースに関するタイムリーなデータのフローを維持することができます。

この記事では、Azure Resource Graph でのクエリの作成に関連する 4 つの領域とパターンについて説明します。

調整ヘッダーについて理解します。
クエリのグループ化。
クエリの時間差。
改ページ位置の影響。

スロットリングヘッダーを理解する

Azure Resource Graph では、タイムウィンドウに基づいて各ユーザーにクォータ数が割り当てられます。たとえば、ユーザーは、5 秒間のウィンドウごとに最大 15 のクエリをスロットルなしで送信できます。クォータ値は多数の要因によって決定され、変更される可能性があります。

すべてのクエリ応答で、Azure Resource Graph によって、2 つのスロットリングヘッダーが追加されます。

x-ms-user-quota-remaining (int):ユーザーの残りリソースクォータ。この値はクエリカウントにマップされます。
x-ms-user-quota-resets-after (hh:mm:ss):ユーザーのクォータ消費量がリセットされるまでの期間。

セキュリティプリンシパルがテナントまたは管理グループクエリスコープ内の 10,000 を超えるサブスクリプションにアクセスできる場合、応答は最初の 10,000 サブスクリプションに限定され、x-ms-tenant-subscription-limit-hit ヘッダーは true として返されます。

ヘッダーの働きを示すために、ヘッダーと、値 x-ms-user-quota-remaining: 10 と x-ms-user-quota-resets-after: 00:00:03 が含まれているクエリ応答を検討してみましょう。

次の 3 秒以内に、スロットルなしで最大 10 個のクエリを送信できます。
3 秒で、それぞれの値x-ms-user-quota-remainingがx-ms-user-quota-resets-afterリセット1500:00:05されます。

ヘッダーを使用してクエリ要求をバックオフする例については、並列クエリのサンプルを参照してください。

クエリのグループ化

サブスクリプション、リソースグループ、または個々のリソースによるクエリのグループ化は、クエリの並列化よりも効率的です。大規模なクエリのクォータコストは、多くの場合、多数の小規模なターゲットクエリのクォータコストよりも小さくなります。グループサイズを 300 未満にすることが推奨されています。

最適化が不十分なアプローチの例。

// NOT RECOMMENDED
var header = /* your request header */
var subscriptionIds = /* A big list of subscriptionIds */

foreach (var subscriptionId in subscriptionIds)
{
    var userQueryRequest = new QueryRequest(
        subscriptions: new[] { subscriptionId },
        query: "Resoures | project name, type");

    var azureOperationResponse = await this.resourceGraphClient
        .ResourcesWithHttpMessagesAsync(userQueryRequest, header)
        .ConfigureAwait(false);

// ...
}

最適化されたグループ化アプローチの例。

// RECOMMENDED
var header = /* your request header */
var subscriptionIds = /* A big list of subscriptionIds */

const int groupSize = 100;
for (var i = 0; i <= subscriptionIds.Count / groupSize; ++i)
{
    var currSubscriptionGroup = subscriptionIds.Skip(i * groupSize).Take(groupSize).ToList();
    var userQueryRequest = new QueryRequest(
        subscriptions: currSubscriptionGroup,
        query: "Resources | project name, type");

    var azureOperationResponse = await this.resourceGraphClient
        .ResourcesWithHttpMessagesAsync(userQueryRequest, header)
        .ConfigureAwait(false);

  // ...
}

1 つのクエリで複数のリソースを取得するための最適化されたグループ化アプローチの例。

Resources | where id in~ ({resourceIdGroup}) | project name, type

// RECOMMENDED
var header = /* your request header */
var resourceIds = /* A big list of resourceIds */

const int groupSize = 100;
for (var i = 0; i <= resourceIds.Count / groupSize; ++i)
{
    var resourceIdGroup = string.Join(",",
        resourceIds.Skip(i * groupSize).Take(groupSize).Select(id => string.Format("'{0}'", id)));
    var userQueryRequest = new QueryRequest(
        subscriptions: subscriptionList,
        query: $"Resources | where id in~ ({resourceIdGroup}) | project name, type");

    var azureOperationResponse = await this.resourceGraphClient
        .ResourcesWithHttpMessagesAsync(userQueryRequest, header)
        .ConfigureAwait(false);

  // ...
}

クエリの時間差処理

スロットリングの実行方法のため、クエリを時間差で実行することをお勧めします。たとえば、同時に 60 個のクエリを送信する代わりに、クエリを 4 つの 5 秒のウィンドウにずらします。

非トリガークエリスケジュール。

クエリ数 60 0 0 0

期間 (秒) 0-5 5-10 10-15 15-20
時間差クエリスケジュール。

クエリ数 15 15 15 15

期間 (秒) 0-5 5-10 10-15 15-20

クエリ数	60	0	0	0
期間 (秒)	0-5	5-10	10-15	15-20

クエリ数	15	15	15	15
期間 (秒)	0-5	5-10	10-15	15-20

次のコードは、Azure Resource Graph に対してクエリを実行するときに調整ヘッダーを尊重する例です。

while (/* Need to query more? */)
{
    var userQueryRequest = /* ... */
    // Send post request to Azure Resource Graph
    var azureOperationResponse = await this.resourceGraphClient
        .ResourcesWithHttpMessagesAsync(userQueryRequest, header)
        .ConfigureAwait(false);

    var responseHeaders = azureOperationResponse.response.Headers;
    int remainingQuota = /* read and parse x-ms-user-quota-remaining from responseHeaders */
    TimeSpan resetAfter = /* read and parse x-ms-user-quota-resets-after from responseHeaders */
    if (remainingQuota == 0)
    {
        // Need to wait until new quota is allocated
        await Task.Delay(resetAfter).ConfigureAwait(false);
    }
}

並列クエリ

並列処理よりもグループ化が推奨されますが、クエリを簡単にグループ化できない場合があります。このような場合は、複数のクエリを並列で送信することで、Azure Resource Graph に対してクエリを実行できます。次の例は、調整ヘッダーに 基づいてバックオフ する方法を示しています。

IEnumerable<IEnumerable<string>> queryGroup = /* Groups of queries  */
// Run groups in parallel.
await Task.WhenAll(queryGroup.Select(ExecuteQueries)).ConfigureAwait(false);

async Task ExecuteQueries(IEnumerable<string> queries)
{
    foreach (var query in queries)
    {
        var userQueryRequest = new QueryRequest(
            subscriptions: subscriptionList,
            query: query);
        // Send post request to Azure Resource Graph.
        var azureOperationResponse = await this.resourceGraphClient
            .ResourcesWithHttpMessagesAsync(userQueryRequest, header)
            .ConfigureAwait(false);

        var responseHeaders = azureOperationResponse.response.Headers;
        int remainingQuota = /* read and parse x-ms-user-quota-remaining from responseHeaders */
        TimeSpan resetAfter = /* read and parse x-ms-user-quota-resets-after from responseHeaders */
        if (remainingQuota == 0)
        {
            // Delay by a random period to avoid bursting when the quota is reset.
            var delay = (new Random()).Next(1, 5) * resetAfter;
            await Task.Delay(delay).ConfigureAwait(false);
        }
    }
}

ページ区切り

Azure Resource Graph では 1 回のクエリ応答で最大 1,000 エントリが返されるため、必要な完全なデータセットを取得するためにクエリの改ページが必要になる場合があります。ただし、一部の Azure Resource Graph クライアントでは、他のクライアントとは異なる方法で改ページ処理が処理されます。

ResourceGraph SDK を使用する場合は、前のクエリ応答から返されるスキップトークンを次の改ページ調整されるクエリに渡すことで、改ページ位置の自動修正を処理する必要があります。この設計が意味しているのは、すべての改ページ調整された呼び出しの結果を収集し、それらを最後に結合する必要があることです。この場合、送信するページ分割されたクエリごとに 1 つのクエリクォータが割り当てられます。

var results = new List<object>();
var queryRequest = new QueryRequest(
  subscriptions: new[] { mySubscriptionId },
  query: "Resources | project id, name, type");
var azureOperationResponse = await this.resourceGraphClient
  .ResourcesWithHttpMessagesAsync(queryRequest, header)
  .ConfigureAwait(false);
while (!string.IsNullOrEmpty(azureOperationResponse.Body.SkipToken))
{
  queryRequest.Options ??= new QueryRequestOptions();
  queryRequest.Options.SkipToken = azureOperationResponse.Body.SkipToken;
  var azureOperationResponse = await this.resourceGraphClient
      .ResourcesWithHttpMessagesAsync(queryRequest, header)
      .ConfigureAwait(false);
  results.Add(azureOperationResponse.Body.Data.Rows);

// Inspect throttling headers in query response and delay the next call if needed.
}

引き続き調整中ですか?

この記事の推奨事項を使用していて、Azure Resource Graph クエリがまだ調整されている場合は、Azure Resource Graph チームにお問い合わせください。チームは Azure Resource Graph をサポートしていますが、Microsoft Graph の調整はサポートしていません。

Azure Resource Graph チームに問い合わせるときに、次の詳細を入力します。

スロットリング制限が高い具体的なユースケースとビジネス推進ニーズ。
アクセスするリソースの数。単一のクエリで返されるエントリの数。
関心のあるリソースの種類。
お使いのクエリパターン。 Y 秒あたり X 回のクエリなど。

次のステップ

初歩的なクエリで使用されている言語を確認します。
高度なクエリで高度な使用方法を確認します。
リソースを探索する方法について詳しく確認します。