Мониторинг службы хранилища AzureMonitor Azure Storage

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать эти ресурсы на предмет их доступности, производительности и функционирования.When you have critical applications and business processes that rely on Azure resources, you want to monitor those resources for their availability, performance, and operation. В этой статье описаны данные мониторинга, создаваемые службой хранилища Azure, и способы использования функций Azure Monitor для анализа оповещений об этих данных.This article describes the monitoring data that's generated by Azure Storage and how you can use the features of Azure Monitor to analyze alerts on this data.

Примечание

Журналы службы хранилища Azure в Azure Monitor предоставляются в общедоступной предварительной версии. Они также доступны для предварительного тестирования во всех регионах общедоступного облака.Azure Storage logs in Azure Monitor is in public preview and is available for preview testing in all public cloud regions. Чтобы зарегистрироваться для использования предварительной версии, см. эту страницу.To enroll in the preview, see this page. Эта предварительная версия включает журналы для больших двоичных объектов (в том числе Azure Data Lake Storage 2-го поколения), файлов, очередей и таблиц.This preview enables logs for blobs (which includes Azure Data Lake Storage Gen2), files, queues,and tables. Эта функция доступна для всех учетных записей хранения, созданных с помощью модели развертывания Azure Resource Manager.This feature is available for all storage accounts that are created with the Azure Resource Manager deployment model. См. раздел Общие сведения об учетной записи хранения.See Storage account overview.

Общие сведения о мониторингеMonitor overview

Страница Обзор на портале Azure для каждого ресурса хранилища содержит краткие сведения об использовании ресурсов, например запросы и данные почасового выставления счетов.The Overview page in the Azure portal for each storage resource includes a brief view of the resource usage, such as requests and hourly billing. Эти сведения полезны, но лишь небольшое количество данных мониторинга доступно.This information is useful, but only a small amount of the monitoring data is available. Некоторые из этих данных собираются автоматически. Они становятся доступными для анализа сразу после создания ресурса хранилища.Some of this data is collected automatically and is available for analysis as soon as you create the storage resource. Вы можете включить дополнительные типы сбора данных с помощью определенной конфигурации.You can enable additional types of data collection with some configuration.

Общие сведения об Azure MonitorWhat is Azure Monitor?

Служба хранилища Azure создает данные мониторинга с помощью Azure Monitor, комплексной службы мониторинга стека в Azure.Azure Storage creates monitoring data by using Azure Monitor, which is a full stack monitoring service in Azure. Azure Monitor предоставляет полный набор функций для мониторинга ресурсов Azure и ресурсов в других облаках, а также в локальной среде.Azure Monitor provides a complete set of features to monitor your Azure resources and resources in other clouds and on-premises.

Дополнительные сведения об Azure Monitor см. на странице Мониторинг ресурсов Azure с помощью Azure Monitor.To learn more about Azure Monitor, see Monitoring Azure resources with Azure Monitor. В этой статье описаны следующие темы:The article describes the following subjects:

  • Общие сведения об Azure MonitorWhat is Azure Monitor?
  • затраты, связанные с мониторингом;Costs associated with monitoring
  • данные мониторинга, собираемые в Azure;Monitoring data collected in Azure
  • настройка сбора данных;Configuring data collection
  • стандартные средства Azure для анализа данных мониторинга и оповещения.Standard tools in Azure for analyzing and alerting on monitoring data

В следующих разделах этой статьи описываются конкретные данные, собранные из службы хранилища Azure.The following sections build on this article by describing the specific data gathered from Azure Storage. В примерах показано, как настроить сбор данных и анализировать эти данные с помощью средств Azure.Examples show how to configure data collection and analyze this data with Azure tools.

Мониторинг данных из службы хранилища AzureMonitor data from Azure Storage

Служба хранилища Azure собирает те же данные мониторинга, что и другие ресурсы Azure, описанные в этом разделе.Azure Storage collects the same kinds of monitoring data as other Azure resources, which are described in Monitoring data from Azure resources. Дополнительные сведения о журналах и метриках, созданных службой хранилища Azure, см. на этой странице.For more information on the logs and metrics created by Azure Storage, see Azure Storage monitoring data reference.

Метрики и журналы в Azure Monitor поддерживают только учетные записи хранения Azure Resource Manager.Metrics and logs in Azure Monitor support only Azure Resource Manager storage accounts. Azure Monitor не поддерживает классические учетные записи хранения.Azure Monitor doesn't support classic storage accounts. Если вы хотите использовать метрики или журналы в классической учетной записи хранения, необходимо выполнить миграцию в учетную запись хранения Azure Resource Manager.If you want to use metrics or logs on a classic storage account, you need to migrate to an Azure Resource Manager storage account. См. статью Поддерживаемый платформой перенос ресурсов IaaS из классической модели в модель Azure Resource Manager.See Migrate to Azure Resource Manager.

При необходимости вы можете продолжить использование классических метрик и журналов.You can continue using classic metrics and logs if you want to. На самом деле, классические метрики и журналы доступны параллельно с метриками и журналами в Azure Monitor.In fact, classic metrics and logs are available in parallel with metrics and logs in Azure Monitor. Предусмотрена та же поддержка, пока в службе хранилища Azure обслуживаются устаревшие метрики и журналы.The support remains in place until Azure Storage ends the service on legacy metrics and logs.

Журналы в Azure Monitor (предварительная версия)Logs in Azure Monitor (preview)

Записи журнала создаются только при получении запроса к конечной точке службы.Log entries are created only if there are requests made against the service endpoint. Например, при обнаружении действия учетной записи хранения в конечной точке службы BLOB-объектов, но не в ее конечных точках служб таблиц или очередей, создаются журналы, которые относятся только к службе хранилища BLOB-объектов.For example, if a storage account has activity in its blob endpoint but not in its table or queue endpoints, only logs that pertain to the blob service are created. Журналы службы хранилища Azure содержат подробные сведения об успешных и неудачных запросах к службе хранилища.Azure Storage logs contain detailed information about successful and failed requests to a storage service. Эта информация может использоваться для мониторинга отдельных запросов и диагностики неполадок в службе хранилища.This information can be used to monitor individual requests and to diagnose issues with a storage service. Запросы вносятся в журнал наилучшим возможным образом.Requests are logged on a best-effort basis.

Ведение журналов запросов, прошедших аутентификациюLog authenticated requests

Регистрируются запросы, прошедшие аутентификацию, следующих типов:The following types of authenticated requests are logged:

  • Успешные запросы.Successful requests
  • Неудачные запросы, в том числе из-за ошибок, связанных с временем ожидания, регулированием, сетью, авторизацией и др.Failed requests, including timeout, throttling, network, authorization, and other errors
  • Запросы, в которых используется подписанный URL-адрес (SAS) или OAuth, в том числе неудачные и успешные запросы.Requests that use a shared access signature (SAS) or OAuth, including failed and successful requests
  • Запросы к данным аналитики (классические данные журнала в контейнере $logs и данные метрик класса в таблицах $metric).Requests to analytics data (classic log data in the $logs container and class metric data in the $metric tables)

Запросы, выполненные самой службой хранилища, например создание или удаление журнала, не регистрируются.Requests made by the storage service itself, such as log creation or deletion, aren't logged. Полный список регистрируемых данных приведен на страницах об операциях с протоколированием и сообщениях о состоянии службы хранилища и формате журналов службы хранилища.For a full list of the logged data, see Storage logged operations and status messages and Storage log format.

Ведение журналов анонимных запросовLog anonymous requests

Регистрируются анонимные запросы следующих типов:The following types of anonymous requests are logged:

  • Успешные запросы.Successful requests
  • ошибки сервера;Server errors
  • Ошибки времени ожидания для клиента и сервера.Time-out errors for both client and server
  • Неудачные запросы GET с кодом ошибки 304 (не изменено).Failed GET requests with the error code 304 (Not Modified)

Остальные неудачные анонимные запросы не регистрируются.All other failed anonymous requests aren't logged. Полный список регистрируемых данных приведен на страницах об операциях с протоколированием и сообщениях о состоянии службы хранилища и формате журналов службы хранилища.For a full list of the logged data, see Storage logged operations and status messages and Storage log format.

КонфигурацияConfiguration

Метрики платформы и журнал действий собираются автоматически, но необходимо создать параметр диагностики для сбора журналов ресурсов или их переадресации за пределы Azure Monitor.Platform metrics and the Activity log are collected automatically, but you must create a diagnostic setting to collect resource logs or forward them outside of Azure Monitor. Сведения о создании параметра диагностики с помощью портала Azure, Azure CLI или PowerShell см. на странице Создание параметра диагностики для сбора журналов и метрик платформы в Azure.For the process to create a diagnostic setting by using the Azure portal, the Azure CLI, or PowerShell, see Create diagnostic setting to collect platform logs and metrics in Azure.

При создании параметра диагностики выберите тип хранилища, для которого необходимо включить журналы, например большой двоичный объект, очередь, таблица или файл.When you create a diagnostic setting, choose the type of storage that you want to enable logs for, such as a blob, queue, table, or file. Data Lake Storage 2-го поколения не отображается как тип хранилища.Data Lake Storage Gen2 doesn't appear as a storage type. Это связано с тем, что Data Lake Storage 2-го поколения — это набор возможностей, доступных для хранилища BLOB-объектов.That's because Data Lake Storage Gen2 is a set of capabilities available to Blob storage.

При создании параметра диагностики на портале Azure можно выбрать ресурс из списка.If you create the diagnostic setting in the Azure portal, you can select the resource from a list. Для PowerShell или Azure CLI необходимо использовать ИД ресурса типа хранилища.If you use PowerShell or the Azure CLI, you need to use the resource ID of the storage type. ИД ресурса можно найти на портале Azure, открыв страницу свойств учетной записи хранения.You can find the resource ID in the Azure portal by opening the Properties page of your storage account.

Кроме того, необходимо указать категории операций, для которых требуется вести журнал.You also have to specify the categories of operations for which you want to collect logs. В приведенной ниже таблице перечислены категории для службы хранилища Azure.The categories for Azure Storage are listed in this table.

КатегорияCategory ОписаниеDescription
StorageReadStorageRead Операции чтения с объектами.Read operations on objects.
StorageWriteStorageWrite Операции записи в объекты.Write operations on objects.
StorageDeleteStorageDelete Удаление операций с объектами.Delete operations on objects.

Анализ данных метрикAnalyze metric data

Вы можете анализировать метрики для службы хранилища Azure с помощью метрик из других служб Azure, используя обозреватель метрик.You can analyze metrics for Azure Storage with metrics from other Azure services by using Metrics Explorer. Откройте обозреватель метрик, выбрав Метрики в меню Azure Monitor.Open Metrics Explorer by choosing Metrics from the Azure Monitor menu. Подробные сведения об использовании этого средства см. на странице Начало работы с обозревателем метрик Azure.For details on using this tool, see Getting started with Azure Metrics Explorer.

В этом примере показано, как просмотреть транзакции на уровне учетной записи.This example shows how to view Transactions at the account level.

Снимок экрана осуществления доступа к метрикам на портале Azure

Для метрик с поддержкой измерений можно выполнить фильтрацию по нужному значению измерения.For metrics that support dimensions, you can filter the metric with the desired dimension value. В этом примере объясняется, как просмотреть транзакции на уровне учетной записи для определенной операции, выбрав значения для измерения Имя API.This example shows how to view Transactions at the account level on a specific operation by selecting values for the API Name dimension.

Снимок экрана осуществления доступа к метрикам с поддержкой измерений на портале Azure

Полный список измерений, поддерживаемых службой хранилища Azure, см. в разделе Измерения метрик.For a complete list of the dimensions that Azure Storage supports, see Metrics dimensions.

Все метрики для службы хранилища Azure находятся в следующих пространствах имен:All metrics for Azure Storage are located in these namespaces:

  • Microsoft.Storage/storageAccountsMicrosoft.Storage/storageAccounts
  • Microsoft.Storage/storageAccounts/blobServicesMicrosoft.Storage/storageAccounts/blobServices
  • Microsoft.Storage/storageAccounts/fileServicesMicrosoft.Storage/storageAccounts/fileServices
  • Microsoft.Storage/storageAccounts/queueServicesMicrosoft.Storage/storageAccounts/queueServices
  • Microsoft.Storage/storageAccounts/tableServicesMicrosoft.Storage/storageAccounts/tableServices

Список всех метрик поддержки Azure Monitor, включая службу хранилища Azure, см. в на странице Поддерживаемые метрики Azure Monitor.For a list of all Azure Monitor support metrics, which includes Azure Storage, see Azure Monitor supported metrics.

Доступ к метрикамAccess metrics

Совет

Чтобы просмотреть примеры Azure CLI или .NET, выберите соответствующую вкладку ниже.To view Azure CLI or .NET examples, choose the corresponding tabs listed here.

Отображение определения метрикиList the metric definition

Вы можете отобразить определение метрик учетной записи хранения или отдельной службы хранилища, например службы BLOB-объектов, файлов, таблиц или очередей.You can list the metric definition of your storage account or the individual storage service, such as the blob, file, table, or queue service. Используйте командлет Get-AzMetricDefinition.Use the Get-AzMetricDefinition cmdlet.

В этом примере замените заполнитель <resource-ID> на ИД ресурса всей учетной записи хранения или ИД ресурса отдельной службы хранилища, например службы BLOB-объектов, файлов, таблиц или очередей.In this example, replace the <resource-ID> placeholder with the resource ID of the entire storage account or the resource ID of an individual storage service, such as the blob, file, table, or queue service. Эти ИД ресурса можно найти на странице свойств учетной записи хранения на портале Azure.You can find these resource IDs on the Properties pages of your storage account in the Azure portal.

   $resourceId = "<resource-ID>"
   Get-AzMetricDefinition -ResourceId $resourceId

Считывание значений метрикRead metric values

Вы можете считать значения метрик на уровне учетной записи хранения или отдельной службы хранилища, например службы BLOB-объектов, файлов, таблиц или очередей.You can read account-level metric values of your storage account or the individual storage service, such as the blob, file, table, or queue service. Используйте командлет Get-AzMetric.Use the Get-AzMetric cmdlet.

   $resourceId = "<resource-ID>"
   Get-AzMetric -ResourceId $resourceId -MetricNames "UsedCapacity" -TimeGrain 01:00:00

Анализ данных журналовAnalyze log data

Доступ к журналам ресурсов можно получить с помощью большого двоичного объекта в учетной записи хранения, данных событий или запросов Log Analytic.You can access resource logs either as a blob in a storage account, as event data, or through Log Analytic queries.

Подробные сведения о полях, которые отображаются в этих журналах, см. на странице со справочными материалами по данным мониторинга службы хранилища Azure.For a detailed reference of the fields that appear in these logs, see Azure Storage monitoring data reference.

Примечание

Журналы службы хранилища Azure в Azure Monitor предоставляются в общедоступной предварительной версии. Они также доступны для предварительного тестирования во всех регионах общедоступного облака.Azure Storage logs in Azure Monitor is in public preview and is available for preview testing in all public cloud regions. Чтобы зарегистрироваться для использования предварительной версии, см. эту страницу.To enroll in the preview, see this page. Эта предварительная версия включает журналы для больших двоичных объектов (в том числе Azure Data Lake Storage 2-го поколения), файлов, очередей, таблиц, учетных записей хранения класса Premium общего назначения версии 1 и учетных записей хранения общего назначения версии 2.This preview enables logs for blobs (which includes Azure Data Lake Storage Gen2), files, queues, tables, premium storage accounts in general-purpose v1, and general-purpose v2 storage accounts. Классические учетные записи хранения не поддерживаются.Classic storage accounts aren't supported.

Получение доступа к журналам в учетной записи храненияAccess logs in a storage account

Журналы отображаются как большие двоичные объекты, хранящиеся в контейнере в целевой учетной записи хранения.Logs appear as blobs stored to a container in the target storage account. Данные собираются и хранятся внутри одного большого двоичного объекта в качестве полезных данных JSON с разделителем-строкой.Data is collected and stored inside a single blob as a line-delimited JSON payload. Имя большого двоичного объекта соответствует следующему соглашению об именовании.The name of the blob follows this naming convention:

https://<destination-storage-account>.blob.core.windows.net/insights-logs-<storage-operation>/resourceId=/subscriptions/<subscription-ID>/resourceGroups/<resource-group-name>/providers/Microsoft.Storage/storageAccounts/<source-storage-account>/blobServices/default/y=<year>/m=<month>/d=<day>/h=<hour>/m=<minute>/PT1H.json

Ниже приведен пример:Here's an example:

https://mylogstorageaccount.blob.core.windows.net/insights-logs-storagewrite/resourceId=/subscriptions/
208841be-a4v3-4234-9450-08b90c09f4/resourceGroups/myresourcegroup/providers/Microsoft.Storage/storageAccounts/mystorageaccount/blobServices/default/y=2019/m=07/d=30/h=23/m=12/PT1H.json

Получение доступа к журналам в концентраторе событийAccess logs in an event hub

Журналы, отправленные в концентратор событий, не сохраняются в виде файла, однако вы можете проверить, получил ли концентратор событий данные журнала.Logs sent to an event hub aren't stored as a file, but you can verify that the event hub received the log information. На портале Azure перейдите в концентратор событий и убедитесь, что количество входящих сообщений больше нуля.In the Azure portal, go to your event hub and verify that the incoming messages count is greater than zero.

Журналы аудита

Вы можете получать доступ к данным журнала, отправляемым в концентратор событий, и считывать их, используя сведения о безопасности, а также средства мониторинга и управления событиями.You can access and read log data that's sent to your event hub by using security information and event management and monitoring tools. Дополнительные сведения см. на этой странице.For more information, see What can I do with the monitoring data being sent to my event hub?.

Получение доступа к журналам в рабочей области Log AnalyticsAccess logs in a Log Analytics workspace

Доступ к журналам, отправляемым в рабочую область Log Analytics, можно получить с помощью запросов журналов Azure Monitor.You can access logs sent to a Log Analytics workspace by using Azure Monitor log queries.

Дополнительные сведения см. в статье Начало работы с Log Analytics в Azure Monitor.For more information, see Get started with Log Analytics in Azure Monitor.

Данные хранятся в следующих таблицах:Data is stored in these tables.

ТаблицаTable ОписаниеDescription
StorageBlobLogsStorageBlobLogs Журналы со сведениями о действиях в хранилище BLOB-объектов.Logs that describe activity in blob storage.
StorageFileLogsStorageFileLogs Журналы со сведениями о действиях в общих папках.Logs that describe activity in file shares.
StorageQueueLogsStorageQueueLogs Журналы со сведениями о действиях в очередях.Logs that describe activity in queues.
StorageTableLogsStorageTableLogs Журналы со сведениями о действиях в таблицах.Logs that describe activity in tables.

Журналы для Data Lake Storage 2-го поколения не отображаются в выделенной таблице.Logs for Data Lake Storage Gen2 do not appear in a dedicated table. Это связано с тем, что Data Lake Storage 2-го поколения не является службой.That's because Data Lake Storage Gen2 is not service. Это набор возможностей, которые можно включить в учетной записи хранения BLOB-объектов.It's a set of capabilities that you can enable on a Blob storage account. Если вы включили эти возможности, журналы будут по прежнему отображаться в таблице Сторажеблоблогс.If you've enabled those capabilities, logs will continue to appear in the StorageBlobLogs table.

Запросы Log Analytics службы хранилища Azure в Azure MonitorAzure Storage Log Analytics queries in Azure Monitor

Ниже приведены некоторые запросы, которые можно ввести в поле Поиск по журналам, чтобы выполнить мониторинг учетных записей хранения Azure.Here are some queries that you can enter in the Log search bar to help you monitor your Azure Storage accounts. Эти запросы поддерживают новый язык.These queries work with the new language.

Используйте следующие запросы для мониторинга учетных записей хранения Azure:Use these queries to help you monitor your Azure Storage accounts:

  • Для отображения 10 наиболее распространенных ошибок за последние три дня.To list the 10 most common errors over the last three days.

    StorageBlobLogs
    | where TimeGenerated > ago(3d) and StatusText !contains "Success"
    | summarize count() by StatusText
    | top 10 by count_ desc
    
  • Для отображения основных 10 операций, вызвавших наибольшее количество ошибок за последние три дня.To list the top 10 operations that caused the most errors over the last three days.

    StorageBlobLogs
    | where TimeGenerated > ago(3d) and StatusText !contains "Success"
    | summarize count() by OperationName
    | top 10 by count_ desc
    
  • Для отображения основных 10 операций с наибольшей сквозной задержкой за последние три дня.To list the top 10 operations with the longest end-to-end latency over the last three days.

    StorageBlobLogs
    | where TimeGenerated > ago(3d)
    | top 10 by DurationMs desc
    | project TimeGenerated, OperationName, DurationMs, ServerLatencyMs, ClientLatencyMs = DurationMs - ServerLatencyMs
    
  • Для отображения всех операций, вызвавших ошибки регулирования на стороне сервера за последние три дня.To list all operations that caused server-side throttling errors over the last three days.

    StorageBlobLogs
    | where TimeGenerated > ago(3d) and StatusText contains "ServerBusy"
    | project TimeGenerated, OperationName, StatusCode, StatusText
    
  • Для отображения всех запросов с анонимным доступом за последние три дня.To list all requests with anonymous access over the last three days.

    StorageBlobLogs
    | where TimeGenerated > ago(3d) and AuthenticationType == "Anonymous"
    | project TimeGenerated, OperationName, AuthenticationType, Uri
    
  • Для создания круговой диаграммы операций, используемых за последние три дня.To create a pie chart of operations used over the last three days.

    StorageBlobLogs
    | where TimeGenerated > ago(3d)
    | summarize count() by OperationName
    | sort by count_ desc 
    | render piechart
    

ВОПРОСЫ И ОТВЕТЫFAQ

Поддерживает ли служба хранилища Microsoft Azure метрики для управляемых и неуправляемых дисков?Does Azure Storage support metrics for Managed Disks or Unmanaged Disks?

Нет.No. Служба "Вычисления Azure" поддерживает метрики на дисках.Azure Compute supports the metrics on disks. Дополнительные сведения см. на странице Дисковые метрики для управляемых и неуправляемых дисков.For more information, see Per disk metrics for Managed and Unmanaged Disks.

Дальнейшие действияNext steps