Supervisión del rendimiento, el mantenimiento y el uso de Azure Data Explorer con métricas

  • Artículo

Las métricas de Azure Data Explorer proporcionan indicadores clave sobre el mantenimiento y el rendimiento de los recursos del clúster de Azure Data Explorer. Use las métricas que se detallan en este artículo para supervisar el uso, el mantenimiento y el rendimiento del clúster de Azure Data Explorer en su escenario específico como métricas independientes. También puede usar como métricas como base operacional para los paneles de Azure y las alertas de Azure.

Para más información sobre el Explorador de métricas de Azure, consulte Explorador de métricas.

Requisitos previos

Uso de métricas para supervisar los recursos de Azure Data Explorer

  1. Inicie sesión en Azure Portal.
  2. En el panel izquierdo del clúster de Azure Data Explorer, busque métricas.
  3. Seleccione Métricas para abrir el panel de métricas y comenzar el análisis del clúster. Búsqueda y selección de métricas en Azure Portal.

Trabajo en el panel de métricas

En el panel de métricas, seleccione las métricas específicas para realizar el seguimiento, elija cómo agregar los datos y cree gráficos de métricas para verlos en el panel.

Los selectores Recurso y Espacio de nombres de métricas están seleccionados previamente para el clúster de Azure Data Explorer. Los números de la siguiente imagen corresponden a la lista numerada que aparece a continuación. Le guiarán por las diferentes opciones de configuración y visualización de las métricas.

Panel de métricas.

  1. Para crear un gráfico de métricas, seleccione el nombre de la métrica y la agregación de interés por métrica. Para más información sobre las distintas métricas, consulte Métricas que admite Azure Data Explorer.
  2. Seleccione Agregar métrica para ver varias métricas trazadas en el mismo gráfico.
  3. Seleccione + Nuevo gráfico para ver varios gráficos en una vista.
  4. Use el selector de tiempo para cambiar el intervalo de tiempo (valor predeterminado: últimas 24 horas).
  5. Use Agregar filtro y Apply splitting (Aplicar separación) con métricas que tengan dimensiones.
  6. Seleccione Anclar al panel para agregar la configuración del gráfico a los paneles para que pueda verla de nuevo.
  7. Establezca Nueva regla de alertas para visualizar las métricas mediante los criterios establecidos. La nueva regla de alerta incluirá su recurso de destino, métrica, división y dimensiones de filtro del gráfico. Modifique esta configuración en el panel de creación de reglas de alerta.

Métricas que admite Azure Data Explorer

Las métricas de Azure Data Explorer proporcionan información sobre el rendimiento general y el uso de los recursos, así como información sobre acciones específicas, como la ingesta o la consulta. Las métricas de este artículo se han agrupado por tipo de uso.

Los tipos de métricas son:

Para ver una lista alfabética de las métricas de Azure Monitor para Azure Data Explorer, consulte Métricas del clúster de Azure Data Explorer.

Métricas del clúster

Las métricas del clúster realizan el seguimiento del estado general del clúster. Por ejemplo, el uso de los recursos y la ingesta y la capacidad de respuesta.

Métrica Unidad Agregación Descripción de la métrica Dimensiones
Uso de caché (en desuso) Percent Media, máxima, mínima Porcentaje de recursos de caché asignados actualmente en uso por el clúster. La memoria caché tiene el tamaño de SSD asignado para la actividad del usuario según la directiva de caché definida.

Una utilización media de la caché del 80 % o menos es un estado sostenible para un clúster. Si el uso promedio de la memoria caché está por encima del 80 %, el clúster se debe
escalar verticalmente a un plan de tarifa optimizado para almacenamiento o
escalar horizontalmente a más instancias. Como alternativa, adapte la directiva de caché en menos días en caché. Si la utilización de la caché es superior al 100 %, el tamaño de los datos para almacenarse en caché, es superior al tamaño total de la caché del clúster.
Esta métrica está en desuso y se conserva solo para compatibilidad con versiones anteriores. Use la métrica "Factor de uso de caché" en su lugar.		 None
Factor de uso de la caché Percent Media, máxima, mínima Porcentaje de espacio en disco utilizado dedicado a la caché activa en el clúster.
El 100 % significa que el espacio en disco asignado a los datos de acceso frecuente se utiliza de forma óptima. No se necesita ninguna acción y el clúster está completamente bien.
Menos del 100 % significa que el espacio en disco asignado para los datos de acceso frecuente no se utiliza por completo.
Más del 100 % significa que el espacio en disco del clúster no es lo suficientemente grande como para dar cabida a los datos de acceso frecuente, tal y como se definen en las directivas de almacenamiento en caché. Para asegurarse de que haya suficiente espacio disponible para todos los datos de acceso frecuente, es necesario reducir la cantidad de datos activos o se debe escalar horizontalmente el clúster. Se recomienda habilitar el escalado automático.		 None
CPU Percent Media, máxima, mínima Porcentaje de recursos de proceso asignados actualmente en uso por las máquinas del clúster.

Una CPU media del 80 % o menos es sostenible para un clúster. El valor máximo de CPU es 100 %, lo que significa que no hay otros recursos de proceso para procesar los datos.
Cuando un clúster funciona bien, compruebe el valor máximo de la CPU para determinar si existen CPU específicas que están bloqueadas.		 None
Uso de la ingesta Percent Media, máxima, mínima Porcentaje de recursos reales usados para ingerir datos de los recursos totales asignados en la directiva de capacidad para realizar la ingesta. La directiva de capacidad predeterminada es no más de 512 operaciones simultáneas de ingesta o el 75 % de los recursos del clúster invertidos en la ingesta.

La utilización media de la ingesta de un 80 % o menos es un estado sostenible para un clúster. El valor máximo de utilización de la ingesta es 100 %, lo que significa que se usa toda la capacidad de ingesta del clúster y, como resultado, se puede generar una cola de ingesta.		 None
InstanceCount Count Avg Número total de instancias.
Mantener conexión Count Avg Realiza un seguimiento de la capacidad de respuesta del clúster.

Un clúster que responde totalmente devuelve el valor 1 y un clúster desconectado o bloqueado devuelve 0.
Número total de comandos limitados Count Media, máxima, mínima Número de comandos limitados (rechazados) en el clúster, ya que se alcanzó el número máximo permitido de comandos simultáneos (en paralelo). None
Número total de extensiones Count Media, máxima, mínima Número total de extensiones de datos del clúster.

Los cambios en esta métrica pueden implicar cambios masivos en la estructura de datos y una carga elevada en el clúster, ya que la combinación de extensiones de datos es una actividad que consume gran cantidad de CPU.		 None
Latencia del seguidor Milisegundos Media, máxima, mínima Las bases de datos del seguidor sincronizan los cambios en las bases de datos del responsable. Debido a la sincronización, hay un retardo de datos que va de unos segundos a unos minutos en la disponibilidad de los datos.

Esta métrica mide la duración del retardo. Este retardo depende de varios factores: el tamaño general y la frecuencia de los datos ingeridos en la base de datos del responsable, el número de bases de datos seguidas, la frecuencia de las operaciones internas realizadas en la base de datos del responsable (operaciones de combinación o recompilación).

Se trata de una métrica en el nivel del clúster: los seguidores detectan metadatos de todas las bases de datos que se siguen. Esta métrica representa la latencia del proceso.		 None

Exportación de métricas

Las métricas de exportación realizan un seguimiento del estado general y del rendimiento de las operaciones de exportación, como la demora, los resultados, el número de registros y el uso.

Métrica Unidad Agregación Descripción de la métrica Dimensiones
Continuous export number of exported records (Exportación continua: número de registros exportados) Count Sum Número de registros exportados en todos los trabajos de exportación continua. ContinuousExportName
Continuous export max lateness (Máx. de demora en la exportación continua) Count Max Demora (en minutos) indicada por los trabajos de exportación continua del clúster. None
Continuous export pending count (Recuento pendiente de exportaciones continuas) Count Max Número de trabajos de exportación continua pendientes. Estos trabajos están listos para ejecutarse pero esperan en una cola, posiblemente debido a la capacidad insuficiente.
Continuous export result (Resultado de la exportación continua) Count Count Resultado de error o correcto de cada ejecución de exportación continua. ContinuousExportName
Utilización de la exportación Percent Max Capacidad de exportación usada, de la capacidad de exportación total del clúster (entre 0 y 100). None

Métricas de ingesta

Las métricas de ingesta realizan un seguimiento del estado general y del rendimiento de las operaciones de ingesta, como la demora, los resultados y el volumen. Para refinar el análisis:

  • Aplique filtros a los gráficos para trazar datos parciales por dimensiones. Por ejemplo, explore la ingesta en una Database (base de datos) específica.
  • Aplique división a un gráfico para visualizar los datos por los diferentes componentes. Este proceso es útil para analizar las métricas que se notifican en cada paso de la canalización de ingesta, por ejemplo Blobs received.
Métrica Unidad Agregación Descripción de la métrica Dimensiones
Recuento de blobs de lote Count Media, máxima, mínima Número de orígenes de datos de un lote completado para la ingesta. Base de datos
Duración del lote Segundos Media, máxima, mínima Duración de la fase de procesamiento por lotes en el flujo de ingesta. Base de datos
Tamaño de lote Bytes Media, máxima, mínima Tamaño de datos esperado sin comprimir en un lote agregado para la ingesta. Base de datos
Lotes procesados. Count Suma, máximo, mínimo Número de lotes completados para la ingesta.
Batching Type: desencadenador para sellar un lote.
Para obtener una lista completa de los tipos de procesamiento por lotes, consulte Tipos de procesamiento por lotes.		 Base de datos, tipo de procesamiento por lotes
Blobs recibidos Count Suma, máximo, mínimo Número de blobs recibidos del flujo de entrada por un componente.

Use Apply splitting (Aplicar división) para analizar cada componente.		 Base de datos, tipo de componente, nombre de componente
Blobs procesados Count Suma, máximo, mínimo Número de blobs procesados por un componente.

Use Apply splitting (Aplicar división) para analizar cada componente.		 Base de datos, tipo de componente, nombre de componente
Blobs eliminados Count Suma, máximo, mínimo Número de blobs eliminados permanentemente por un componente. Para cada uno de estos blobs, se envía la métrica Ingestion result con el motivo del error.

Use Apply splitting (Aplicar división) para analizar cada componente.		 Base de datos, tipo de componente, nombre de componente
Latencia de detección Segundos Avg. Tiempo desde la puesta en cola de los datos hasta su detección por las conexiones de datos. En esta ocasión no se incluye en las métricas de latencia de fase o latencia de ingesta.

La latencia de detección puede aumentar en las siguientes situaciones:
  • Cuando se usan conexiones de datos entre regiones.

  • En las conexiones de datos de Event Hubs, si el número de particiones de Event Hubs no es suficiente para el volumen de salida de datos.
Tipo de componente, nombre de componente
Eventos recibidos Count Suma, máximo, mínimo Número de eventos recibidos por la conexión de datos desde el flujo de entrada. Tipo de componente, nombre de componente
Eventos procesados Count Suma, máximo, mínimo Número de eventos procesados por las conexiones de datos. Tipo de componente, nombre de componente
Eventos eliminados Count Suma, máximo, mínimo Número de eventos eliminados de forma permanente por las conexiones de datos. Para cada evento de este tipo, se envía una Ingestion result métrica con un motivo de error. Tipo de componente, nombre de componente
Eventos procesados (para Event/IoT Hubs) (en desuso) Count Máximo, mínimo, suma Número total de eventos leídos del centro de eventos/ IoT Hub y procesados por el clúster. Estos eventos se pueden dividir por el estado: Received, Rejected, Processed.
Esta métrica está en desuso y se conserva solo para compatibilidad con versiones anteriores. En su lugar, use las métricas "Eventos recibidos", "Eventos procesados" y "Eventos eliminados".		 Status
Latencia de la ingesta Segundos Media, máxima, mínima La latencia de datos ingeridos desde el momento en que se recibieron los datos en el clúster hasta que está preparado para la consulta. El periodo de latencia de ingesta depende del escenario de ingesta.
Ingestion Kind: ingesta de streaming o ingesta en cola		 Tipo de ingesta
Resultado de la ingesta Count Sum Número total de orígenes que se lograron ingerir o no.
Status: Success (Correcto) para la ingesta correcta o la categoría de los errores. Para obtener una lista completa de las posibles categorías de error, consulte Códigos de error de ingesta en Azure Data Explorer.
Failure Status Type: indica si el error es permanente o transitorio. Para la ingesta correcta, esta dimensión es None.

Nota:
  • Event Hubs y eventos de ingesta de IoT Hub se agregan previamente en un blob y, a continuación, se tratan como un único origen que se va a ingerir. Por lo tanto, los eventos agregados previamente aparecen como un único resultado de ingesta después de la agregación previa.

  • Los errores transitorios se reintentan internamente un número limitado de veces. Cada error transitorio se notifica como un resultado de ingesta transitorio. Por lo tanto, una única ingesta puede producir más de un resultado de ingesta.
Estado, tipo de estado de error
Volumen de ingesta (en MB) Count Máxima, suma El tamaño total de datos ingeridos en el clúster (en MB) antes de la compresión. Base de datos
Longitud de la cola Count Avg Número de mensajes pendientes en la cola de entrada de un componente. El componente administrador de procesamiento por lotes tiene un mensaje por blob. El componente administrador de ingesta tiene un mensaje por lote. Un lote es un comando de ingesta individual con uno o varios blobs. Tipo de componente
Mensaje más antiguo de la cola Segundos Avg. Tiempo en segundos desde la inserción del mensaje más antiguo en la cola de entrada de un componente. Tipo de componente
Tamaño de los datos recibidos en bytes Bytes Promedio, suma Tamaño de los datos recibidos por las conexiones de datos desde el flujo de entrada. Tipo de componente, nombre de componente
Latencia de la fase Segundos Avg. Tiempo desde que Azure Data Explorer acepta un mensaje hasta que un componente de la ingesta recibe su contenido para su procesamiento.

Use aplicar filtros y seleccione Component Type > StorageEngine para mostrar la latencia total de ingesta.		 Base de datos, tipo de componente

Métricas de la ingesta de streaming

Las métricas de la ingesta de streaming realizan un seguimiento de los datos de ingesta de streaming y de la tasa de solicitudes, la duración y los resultados.

Métrica Unidad Agregación Descripción de la métrica Dimensiones
Streaming Ingest Data Rate (Velocidad de datos de la ingesta de streaming) Count RateRequestsPerSecond Volumen total de datos ingeridos en el clúster. None
Streaming Ingest Duration (Duración de la ingesta de streaming) Milisegundos Media, máxima, mínima Duración total de las solicitudes de ingesta de streaming. None
Streaming Ingest Request Rate [Velocidad de solicitudes de ingesta de streaming] Count Recuento, media, máxima, mínima, suma Total de solicitudes de ingesta de streaming. None
Streaming Ingest Result (Resultado de la ingesta de streaming) Count Avg Total de solicitudes de ingesta de streaming por tipo de resultado. Resultado

Métricas de consulta

Las métricas de rendimiento de las consultas realizan un seguimiento de la duración de la consulta y del total de consultas simultáneas o limitadas.

Métrica Unidad Agregación Descripción de la métrica Dimensiones
Duración de la consulta Milisegundos Media, mínima, máxima, suma Tiempo total hasta que se reciben los resultados de la consulta (no incluye la latencia de red). QueryStatus
QueryResult Count Count Número total de consultas. QueryStatus
Número total de consultas simultáneas Count Media, máxima, mínima Número de consultas que se ejecutan en paralelo en el clúster. Esta métrica es una buena manera de calcular la carga en el clúster. None
Número total de consultas limitadas Count Media, máxima, mínima Número de consultas limitadas (rechazadas) en el clúster. El número máximo permitido de consultas simultáneas (en paralelo) se define en la directiva de límite de velocidad de las solicitudes. None

Métricas de vistas materializadas

Métrica Unidad Agregación Descripción de la métrica Dimensiones
MaterializedViewHealth 1, 0 Promedio El valor es 1 si la vista se considera correcta; de lo contrario, es 0. Database, MaterializedViewName
MaterializedViewAgeSeconds Segundos Promedio El elemento age de la vista se define por la hora actual menos la hora de la última ingesta procesada por la vista. El valor de la métrica es el tiempo en segundos (cuanto menor es el valor, la vista está en "mejor estado"). Database, MaterializedViewName
MaterializedViewResult 1 Promedio La métrica incluye una dimensión Result que indica el resultado del último ciclo de materialización (consulte la métrica MaterializedViewResult para más información sobre los valores posibles). El valor de la métrica siempre es igual a 1. Database, MaterializedViewName, Result
MaterializedViewRecordsInDelta Número de registros Promedio Número de registros que se encuentran actualmente en la parte no procesada de la tabla de origen. Para más información, consulte Funcionamiento de las vistas materializadas. Database, MaterializedViewName
MaterializedViewExtentsRebuild Número de extensiones Promedio Número de extensiones necesarias en el ciclo de materialización. Database, MaterializedViewName
MaterializedViewDataLoss 1 Max La métrica se activa cuando los datos de origen no procesados se aproximan a la retención. Indica que la vista materializada tiene un estado incorrecto. Database, MaterializedViewName, Kind

Contenido relacionado