Supervisión del rendimiento, el mantenimiento y el uso de Azure Data Explorer con métricas
Las métricas de Azure Data Explorer proporcionan indicadores clave sobre el mantenimiento y el rendimiento de los recursos del clúster de Azure Data Explorer. Use las métricas que se detallan en este artículo para supervisar el uso, el mantenimiento y el rendimiento del clúster de Azure Data Explorer en su escenario específico como métricas independientes. También puede usar como métricas como base operacional para los paneles de Azure y las alertas de Azure.
Para más información sobre el Explorador de métricas de Azure, consulte Explorador de métricas.
Requisitos previos
- Suscripción a Azure. Cree una cuenta de Azure gratuita.
- Cree un clúster y una base de datos.
Uso de métricas para supervisar los recursos de Azure Data Explorer
- Inicie sesión en Azure Portal.
- En el panel izquierdo del clúster de Azure Data Explorer, busque métricas.
- Seleccione Métricas para abrir el panel de métricas y comenzar el análisis del clúster.
Trabajo en el panel de métricas
En el panel de métricas, seleccione las métricas específicas para realizar el seguimiento, elija cómo agregar los datos y cree gráficos de métricas para verlos en el panel.
Los selectores Recurso y Espacio de nombres de métricas están seleccionados previamente para el clúster de Azure Data Explorer. Los números de la siguiente imagen corresponden a la lista numerada que aparece a continuación. Le guiarán por las diferentes opciones de configuración y visualización de las métricas.
- Para crear un gráfico de métricas, seleccione el nombre de la métrica y la agregación de interés por métrica. Para más información sobre las distintas métricas, consulte Métricas que admite Azure Data Explorer.
- Seleccione Agregar métrica para ver varias métricas trazadas en el mismo gráfico.
- Seleccione + Nuevo gráfico para ver varios gráficos en una vista.
- Use el selector de tiempo para cambiar el intervalo de tiempo (valor predeterminado: últimas 24 horas).
- Use Agregar filtro y Apply splitting (Aplicar separación) con métricas que tengan dimensiones.
- Seleccione Anclar al panel para agregar la configuración del gráfico a los paneles para que pueda verla de nuevo.
- Establezca Nueva regla de alertas para visualizar las métricas mediante los criterios establecidos. La nueva regla de alerta incluirá su recurso de destino, métrica, división y dimensiones de filtro del gráfico. Modifique esta configuración en el panel de creación de reglas de alerta.
Métricas que admite Azure Data Explorer
Las métricas de Azure Data Explorer proporcionan información sobre el rendimiento general y el uso de los recursos, así como información sobre acciones específicas, como la ingesta o la consulta. Las métricas de este artículo se han agrupado por tipo de uso.
Los tipos de métricas son:
- Métricas del clúster
- Exportación de métricas
- Métricas de ingesta
- Métricas de la ingesta de streaming
- Métricas de consulta
- Métricas de vistas materializadas
Para ver una lista alfabética de las métricas de Azure Monitor para Azure Data Explorer, consulte Métricas del clúster de Azure Data Explorer.
Métricas del clúster
Las métricas del clúster realizan el seguimiento del estado general del clúster. Por ejemplo, el uso de los recursos y la ingesta y la capacidad de respuesta.
| Métrica | Unidad | Agregación | Descripción de la métrica | Dimensiones |
|---|---|---|---|---|
| Uso de la caché | Percent | Media, máxima, mínima | Porcentaje de recursos de caché asignados actualmente en uso por el clúster. La memoria caché tiene el tamaño de SSD asignado para la actividad del usuario según la directiva de caché definida. Una utilización media de la caché del 80 % o menos es un estado sostenible para un clúster. Si el uso promedio de la memoria caché está por encima del 80 %, el clúster se debe escalar verticalmente a un plan de tarifa optimizado para almacenamiento o escalar horizontalmente a más instancias. Como alternativa, adapte la directiva de caché (menos días en caché). Si la utilización de la caché es superior al 100 %, el tamaño de los datos para almacenarse en caché, según la directiva de almacenamiento en caché, es superior al tamaño total de la caché del clúster. |
None |
| CPU | Percent | Media, máxima, mínima | Porcentaje de recursos de proceso asignados actualmente en uso por las máquinas del clúster. Una CPU media del 80 % o menos es sostenible para un clúster. El valor máximo de CPU es 100 %, lo que significa que no hay otros recursos de proceso para procesar los datos. Cuando un clúster funciona bien, compruebe el valor máximo de la CPU para determinar si existen CPU específicas que están bloqueadas. |
None |
| Uso de la ingesta | Percent | Media, máxima, mínima | Porcentaje de recursos reales usados para ingerir datos de los recursos totales asignados en la directiva de capacidad para realizar la ingesta. La directiva de capacidad predeterminada es no más de 512 operaciones simultáneas de ingesta o el 75 % de los recursos del clúster invertidos en la ingesta. La utilización media de la ingesta de un 80 % o menos es un estado sostenible para un clúster. El valor máximo de utilización de la ingesta es 100 %, lo que significa que se usa toda la capacidad de ingesta del clúster y, como resultado, se puede generar una cola de ingesta. |
None |
| InstanceCount | Count | Avg | Número total de instancias. | |
| Mantener conexión | Count | Avg | Realiza un seguimiento de la capacidad de respuesta del clúster. Un clúster que responde totalmente devuelve el valor 1 y un clúster desconectado o bloqueado devuelve 0. |
|
| Número total de comandos limitados | Count | Media, máxima, mínima | Número de comandos limitados (rechazados) en el clúster, ya que se alcanzó el número máximo permitido de comandos simultáneos (en paralelo). | None |
| Número total de extensiones | Count | Media, máxima, mínima | Número total de extensiones de datos del clúster. Los cambios en esta métrica pueden implicar cambios masivos en la estructura de datos y una carga elevada en el clúster, ya que la combinación de extensiones de datos es una actividad que consume gran cantidad de CPU. |
None |
Exportación de métricas
Las métricas de exportación realizan un seguimiento del estado general y del rendimiento de las operaciones de exportación, como la demora, los resultados, el número de registros y el uso.
| Métrica | Unidad | Agregación | Descripción de la métrica | Dimensiones |
|---|---|---|---|---|
| Continuous export number of exported records (Exportación continua: número de registros exportados) | Count | Sum | Número de registros exportados en todos los trabajos de exportación continua. | ContinuousExportName |
| Continuous export max lateness (Máx. de demora en la exportación continua) | Count | Max | Demora (en minutos) indicada por los trabajos de exportación continua del clúster. | None |
| Continuous export pending count (Recuento pendiente de exportaciones continuas) | Count | Max | Número de trabajos de exportación continua pendientes. Estos trabajos están listos para ejecutarse pero esperan en una cola, posiblemente debido a la capacidad insuficiente. | |
| Continuous export result (Resultado de la exportación continua) | Count | Count | Resultado de error o correcto de cada ejecución de exportación continua. | ContinuousExportName |
| Utilización de la exportación | Percent | Max | Capacidad de exportación usada, de la capacidad de exportación total del clúster (entre 0 y 100). | None |
Métricas de ingesta
Las métricas de ingesta realizan un seguimiento del estado general y del rendimiento de las operaciones de ingesta, como la demora, los resultados y el volumen. Para refinar el análisis:
- Aplique filtros a los gráficos para trazar datos parciales por dimensiones. Por ejemplo, explore la ingesta en una
Database(base de datos) específica. - Aplique división a un gráfico para visualizar los datos por los diferentes componentes. Este proceso es útil para analizar las métricas que se notifican en cada paso de la canalización de ingesta, por ejemplo
Blobs received.
| Métrica | Unidad | Agregación | Descripción de la métrica | Dimensiones |
|---|---|---|---|---|
| Recuento de blobs de lote | Count | Media, máxima, mínima | Número de orígenes de datos de un lote completado para la ingesta. | Base de datos |
| Duración del lote | Segundos | Media, máxima, mínima | Duración de la fase de procesamiento por lotes en el flujo de ingesta. | Base de datos |
| Tamaño de lote | Bytes | Media, máxima, mínima | Tamaño de datos esperado sin comprimir en un lote agregado para la ingesta. | Base de datos |
| Lotes procesados. | Count | Suma, máximo, mínimo | Número de lotes completados para la ingesta. Batching Type: desencadenador para sellar un lote. Para obtener una lista completa de los tipos de procesamiento por lotes, consulte Tipos de procesamiento por lotes. |
Base de datos, tipo de procesamiento por lotes |
| Blobs recibidos | Count | Suma, máximo, mínimo | Número de blobs recibidos del flujo de entrada por un componente. Use Apply splitting (Aplicar división) para analizar cada componente. |
Base de datos, tipo de componente, nombre de componente |
| Blobs procesados | Count | Suma, máximo, mínimo | Número de blobs procesados por un componente. Use Apply splitting (Aplicar división) para analizar cada componente. |
Base de datos, tipo de componente, nombre de componente |
| Blobs eliminados | Count | Suma, máximo, mínimo | Número de blobs eliminados permanentemente por un componente. Para cada uno de estos blobs, se envía la métrica Ingestion result con el motivo del error. Use Apply splitting (Aplicar división) para analizar cada componente. |
Base de datos, tipo de componente, nombre de componente |
| Latencia de detección | Segundos | Avg. | Tiempo desde la puesta en cola de los datos hasta su detección por las conexiones de datos. Este tiempo no se incluye en las métricas Latencia de fase ni Latencia de ingesta. | Tipo de componente, nombre de componente |
| Eventos recibidos | Count | Suma, máximo, mínimo | Número de eventos recibidos por la conexión de datos desde el flujo de entrada. | Tipo de componente, nombre de componente |
| Eventos procesados | Count | Suma, máximo, mínimo | Número de eventos procesados por las conexiones de datos. | Tipo de componente, nombre de componente |
| Eventos eliminados | Count | Suma, máximo, mínimo | Número de eventos eliminados de forma permanente por las conexiones de datos. | Tipo de componente, nombre de componente |
| Events processed (for Event/IoT Hubs) [Eventos procesados (para instancias de Event Hubs o IoT Hub)] | Count | Máximo, mínimo, suma | Número total de eventos leídos desde Event Hubs y procesados por el clúster. Estos eventos se dividen en dos grupos: eventos rechazados y eventos aceptados por el motor del clúster. | Status |
| Latencia de la ingesta | Segundos | Media, máxima, mínima | La latencia de datos ingeridos desde el momento en que se recibieron los datos en el clúster hasta que está preparado para la consulta. El periodo de latencia de ingesta depende del escenario de ingesta. | None |
| Resultado de la ingesta | Count | Sum | Número total de orígenes que se lograron ingerir o no.Status: Status la ingesta correcta o la categoría de error para los errores. Para obtener una lista completa de las posibles categorías de error, consulte Códigos de error de ingesta en Azure Data Explorer. Failure Status Type: indica si el error es permanente o transitorio. Para la ingesta correcta, esta dimensión es None.Nota:
|
Estado, tipo de estado de error |
| Volumen de ingesta (en MB) | Count | Máxima, suma | El tamaño total de datos ingeridos en el clúster (en MB) antes de la compresión. | Base de datos |
| Longitud de la cola | Count | Avg | Número de mensajes pendientes en la cola de entrada de un componente. | Tipo de componente |
| Mensaje más antiguo de la cola | Segundos | Avg. | Tiempo en segundos desde la inserción del mensaje más antiguo en la cola de entrada de un componente. | Tipo de componente |
| Tamaño de los datos recibidos en bytes | Bytes | Promedio, suma | Tamaño de los datos recibidos por las conexiones de datos desde el flujo de entrada. | Tipo de componente, nombre de componente |
| Latencia de la fase | Segundos | Avg. | Tiempo desde que Azure Data Explorer acepta un mensaje hasta que un componente de la ingesta recibe su contenido para su procesamiento. Use aplicar filtros y seleccione Motor de tipo de componenteAlmacenamiento para mostrar la latencia total de ingesta. |
Base de datos, tipo de componente |
Métricas de la ingesta de streaming
Las métricas de la ingesta de streaming realizan un seguimiento de los datos de ingesta de streaming y de la tasa de solicitudes, la duración y los resultados.
| Métrica | Unidad | Agregación | Descripción de la métrica | Dimensiones |
|---|---|---|---|---|
| Streaming Ingest Data Rate (Velocidad de datos de la ingesta de streaming) | Count | RateRequestsPerSecond | Volumen total de datos ingeridos en el clúster. | None |
| Streaming Ingest Duration (Duración de la ingesta de streaming) | Milisegundos | Media, máxima, mínima | Duración total de las solicitudes de ingesta de streaming. | None |
| Streaming Ingest Request Rate [Velocidad de solicitudes de ingesta de streaming] | Count | Recuento, media, máxima, mínima, suma | Total de solicitudes de ingesta de streaming. | None |
| Streaming Ingest Result (Resultado de la ingesta de streaming) | Count | Avg | Total de solicitudes de ingesta de streaming por tipo de resultado. | Resultado |
Métricas de consulta
Las métricas de rendimiento de las consultas realizan un seguimiento de la duración de la consulta y del total de consultas simultáneas o limitadas.
| Métrica | Unidad | Agregación | Descripción de la métrica | Dimensiones |
|---|---|---|---|---|
| Duración de la consulta | Milisegundos | Media, mínima, máxima, suma | Tiempo total hasta que se reciben los resultados de la consulta (no incluye la latencia de red). | QueryStatus |
| QueryResult | Count | Count | Número total de consultas. | QueryStatus |
| Número total de consultas simultáneas | Count | Media, máxima, mínima | Número de consultas que se ejecutan en paralelo en el clúster. Esta métrica es una buena manera de calcular la carga en el clúster. | None |
| Número total de consultas limitadas | Count | Media, máxima, mínima | Número de consultas limitadas (rechazadas) en el clúster. El número máximo permitido de consultas simultáneas (en paralelo) se define en la directiva de límite de velocidad de las solicitudes. | None |
Métricas de vistas materializadas
| Métrica | Unidad | Agregación | Descripción de la métrica | Dimensiones |
|---|---|---|---|---|
| MaterializedViewHealth | 1, 0 | Promedio | El valor es 1 si la vista se considera correcta; de lo contrario, es 0. | Database, MaterializedViewName |
| MaterializedViewAgeSeconds | Segundos | Promedio | El elemento age de la vista se define por la hora actual menos la hora de la última ingesta procesada por la vista. El valor de la métrica es el tiempo en segundos (cuanto menor es el valor, la vista está en "mejor estado"). |
Database, MaterializedViewName |
| MaterializedViewResult | 1 | Promedio | La métrica incluye una dimensión que indica el resultado del último ciclo de Result materialización (consulte la Result para obtener más información sobre los valores posibles). El valor de la métrica siempre es igual a 1. |
Database, MaterializedViewName, Result |
| MaterializedViewRecordsInDelta | Número de registros | Promedio | Número de registros que se encuentran actualmente en la parte no procesada de la tabla de origen. Para más información, consulte Funcionamiento de las vistas materializadas. | Database, MaterializedViewName |
| MaterializedViewExtentsRebuild | Número de extensiones | Promedio | Número de extensiones regeneradas en el ciclo de materialización. | Database, MaterializedViewName |
| MaterializedViewDataLoss | 1 | Max | La métrica se activa cuando los datos de origen no procesados se aproximan a la retención. Indica que la vista materializada tiene un estado incorrecto. | Database, MaterializedViewName, Kind |
Pasos siguientes
- Tutorial: Ingesta y consulta de datos de supervisión en Azure Data Explorer
- Supervisión de las operaciones de ingesta de Azure Data Explorer mediante registros de diagnóstico
- Quickstart: Query data in Azure Data Explorer (Guía de inicio rápido: Consulta de datos en el Explorador de datos de Azure)