Supervisión de la población del mapa de datos en Microsoft Purview

Artículo
08/23/2023

En Microsoft Purview, puede examinar varios tipos de orígenes de datos y ver el estado del examen a lo largo del tiempo; también puede conectar otros servicios con Microsoft Purview y ver las tendencias de los recursos o relaciones ingeridos. En este artículo se describe cómo supervisar y obtener una vista ocular de la población del mapa de datos.

Supervisión de las ejecuciones de examen

Abra el portal de gobernanza de Microsoft Purview:
- Vaya directamente a https://web.purview.azure.com la cuenta de Microsoft Purview y selecciónela.
- Abra el Azure Portal, busque y seleccione la cuenta de Microsoft Purview. Seleccione el botón del portal de gobernanza de Microsoft Purview .
Abra la cuenta de Microsoft Purview y seleccione Mapa de datos ->Supervisión. Debe tener el rol de administrador de origen de datos en cualquier colección para acceder a esta página. Y verá las ejecuciones de examen que pertenecen a las colecciones en las que tiene privilegios de administrador del origen de datos.
Los KPI de alto nivel muestran el total de ejecuciones de examen en un período. El período de tiempo es predeterminado en los últimos 30 días, también puede elegir seleccionar los últimos siete días. En función del filtro de tiempo seleccionado, puede ver que la distribución del examen correcto, erróneo, cancelado y en curso se ejecuta por semana o por día en el gráfico.
En la parte inferior del gráfico, hay un vínculo Ver más para que pueda explorar más. El vínculo abre la página Estado del examen . Aquí puede ver un nombre de examen y el número de veces que se ha realizado correctamente, se ha producido un error o se ha cancelado en el período de tiempo. También puede filtrar la lista por tipos de origen.
Puede explorar aún más un examen específico seleccionando el nombre del examen. Se conecta a la página del historial de exámenes, donde puede encontrar la lista de identificadores de ejecución con más detalles de ejecución.
Puede hacer clic en el identificador de ejecución para obtener más información sobre los detalles de la ejecución del examen.

Limitaciones conocidas:

Actualmente, esta experiencia de supervisión no incluye la siguiente información. Puede comprobar los detalles correspondientes de la ejecución del examen.

El estado y la duración solo incluyen la fase de examen (detección desde el origen), pero no la fase de ingesta. Es posible que vea discrepancias en comparación con el panel de detalles de la ejecución del examen.
No se cubren las ejecuciones de análisis de extracción de linaje para Azure SQL Database.
En el caso de los exámenes del área de trabajo de Azure Synapse Analytics, la suscripción o el grupo de recursos de Azure y la cuenta de AWS, solo captura el estado o el recuento de la ejecución del examen primario, pero no las ejecuciones de exámenes secundarios por recurso.

Detalles de la ejecución del examen

Puede navegar para examinar el historial de ejecución de un examen determinado desde diferentes lugares:

Vaya a Mapa de datos ->Supervisión como se describe en la sección Supervisión de ejecuciones de examen.
Vaya a Mapa de datos ->Orígenes -> seleccione el origen de datos deseado -> vea Exámenes, Exámenes recientes o Exámenes con errores recientes.
Vaya a Mapa de datos ->Colecciones -> seleccione la colección deseada ->Exámenes -> seleccione el nombre del examen que desea ver más.

La retención del historial de ejecución del examen es de 90 días.

Puede hacer clic en el identificador de ejecución para obtener más información sobre los detalles de la ejecución del examen:

Id. de ejecución: guid que se usa para identificar la ejecución de examen determinada.
Tipo de ejecución: examen completo o incremental.

La sección Examinar resume las métricas de la fase de detección que Purview conecta al origen, extrae los metadatos o linaje y clasifica los datos.

Estado del examen:

Estado	Descripción
Completado	La fase de examen se realiza correctamente.
Error	Se produce un error en la fase de examen. Para comprobar los detalles del error, haga clic en el vínculo "Más información" situado junto a él.
Cancelado	El usuario cancela la ejecución del examen.
En curso	El examen se está ejecutando en curso.
En cola	La ejecución del examen está a la espera del recurso de Integration Runtime disponible. Si usa integration runtime autohospedado, tenga en cuenta que cada nodo puede ejecutar una serie de exámenes simultáneos al mismo tiempo en función de la especificación del equipo (CPU y memoria). Hay más exámenes en estado en cola.
Sofocada	La ejecución del examen se está limitando. Esto significa que esta cuenta de Microsoft Purview en este momento tiene más ejecuciones de examen en curso que el número máximo de simultáneos permitido. Obtenga más información sobre el límite aquí. Esta ejecución de examen en particular está en espera y se ejecutará una vez que finalicen los demás exámenes en curso.

La ejecución del examen no se cobra durante el estado "Limitado" o "En cola".

Tipo de examen: examen manual o programado.
Activos detectados: el número de recursos enumerados desde el origen. Para los exámenes completos e incrementales, incluye todos los recursos del ámbito configurado, independientemente de si son recursos existentes o recursos recién creados o actualizados desde la última ejecución del examen. Mientras que para el examen incremental, los metadatos detallados solo se extraen para los recursos recién creados o actualizados, además.
Activos clasificados: el número de recursos muestreados para clasificar los datos, independientemente de si los recursos tienen o no una clasificación coincidente. Es un subconjunto de los recursos detectados en función del mecanismo de muestreo. Para el examen incremental, solo se pueden seleccionar los recursos recién creados o actualizados para la clasificación.
Duración: la duración de la fase de examen y la hora de inicio y finalización.

La sección ingesta de datos resume las métricas de la fase de ingesta que Purview rellena el mapa de datos con los metadatos y la relación identificados.

Estado de ingesta:

Estado	Descripción
Completado	Todos los recursos y relaciones se ingieren correctamente en el mapa de datos.
Completado con excepciones (anterior "Parcialmente completado")	Parcialmente, los recursos y las relaciones se ingieren correctamente en el mapa de datos, mientras que algunos producen errores.
Error	Se produce un error en la fase de ingesta.
Cancelado	El usuario cancela la ejecución del examen, por lo que la ingesta se cancela a lo largo de.
En curso	La ingesta se está ejecutando en curso.
En cola	La ingesta está esperando el recurso de servicio disponible o esperando a que el examen detecte metadatos.

Activos ingeridos: el número de recursos ingeridos en el mapa de datos. Para el examen incremental, solo incluye los recursos recién creados o actualizados, en cuyo caso puede ser menor que el recuento de "recursos detectados". Al examinar el origen basado en archivos, es el recuento de recursos sin procesar antes de la agregación del conjunto de recursos.
Relaciones ingeridas: el número de relaciones ingeridas en el mapa de datos. Incluye linaje y otras relaciones como relaciones de clave externa.
Duración: la duración de la ingesta y la hora de inicio y finalización.

Ver el registro de excepciones (versión preliminar)

Cuando algunos recursos o relaciones no se pueden ingerir en el mapa de datos durante el examen, por ejemplo, el estado de ingesta termina como completado con excepciones, puede ver un botón "Descargar registro" en el panel de detalles de la ejecución del examen . Proporciona archivos de registro de excepciones que capturan los detalles de los errores.

En la tabla siguiente se muestra el esquema de un archivo de registro.

Columna	Descripción
TimeStamp	Marca de tiempo UTC cuando se produce la operación de ingesta.
ErrorCode	Código de error de la excepción.
OperationItem	Identificador del recurso o relación con errores, normalmente con el nombre completo.
Mensaje	Más información sobre qué recurso o relación no se pudo ingerir debido a qué motivo. Si hay un error de ingesta para el conjunto de recursos, puede aplicarse a varios recursos que coincidan con el mismo patrón de nomenclatura y el mensaje incluye el recuento afectado.

Actualmente, el registro de excepciones no incluye errores producidos durante la fase de examen (detección de metadatos). Se agregará más adelante.

Supervisión de vínculos

Puede conectar otros servicios con Microsoft Purview para establecer un "vínculo", que hará que los metadatos y el linaje de los recursos de ese servicio estén disponibles para Microsoft Purview. Actualmente, el vínculo es compatible con Azure Data Factory y Azure Synapse Analytics.

Para supervisar los recursos y la relación ingeridos a través de los vínculos:

Vaya a su cuenta de Microsoft Purview:> abra el portal de gobernanza de Microsoft Purview ->Mapa de datos ->Supervisión ->Vínculos. Debe tener el rol de administrador de origen de datos en cualquier recopilación para acceder a la pestaña Supervisión. Y verá los resultados que pertenecen a las colecciones en las que tiene privilegios de administrador del origen de datos. Se necesita permiso para la recopilación raíz para supervisar los vínculos de Azure Data Factory y Azure Synapse Analytics.
Puede ver los KPI de alto nivel, incluido el número total de orígenes, el número de recursos ingeridos y la relación (linaje), seguidos de gráficos de tendencias a lo largo del tiempo. Puede aplicar filtros adicionales a lo siguiente para restringir los resultados:
- Tipo de origen
- Nombre de origen
- Intervalo de fechas: el valor predeterminado es de 30 días. También puede elegir los últimos siete días o un intervalo de fechas personalizado. La retención es de 45 días.
Las métricas se notifican hasta la fecha y hora que se muestra en la esquina superior derecha. Y la agregación se producirá cada hora.
En la parte inferior del gráfico, hay un vínculo Ver más para que pueda explorar más. En la página Estado de vínculo , puede ver una lista de nombres de origen junto con el tipo de origen, los recursos ingeridos, la relación ingerida y la hora de la última fecha de ejecución. Los filtros de la página anterior se transferirán y puede filtrar aún más la lista por tipo de origen, nombre de origen y intervalo de fechas.
Puede explorar en profundidad cada origen para ver los detalles del siguiente nivel haciendo clic en el nombre de origen. Por ejemplo, para Azure Data Factory, muestra cómo cada actividad de canalización notifica los recursos y la relación con Microsoft Purview, con el nombre en el formato de <pipeline_name>/<activity_name>.

Limitaciones conocidas

Para Azure Data Factory y Azure Synapse Analytics, actualmente esta supervisión de vínculos captura los recursos y la relación generados a partir de la actividad de copia, pero no el flujo de datos y las actividades de SSIS.
La agregación y el filtro de fecha están en hora UTC.

Los exámenes ya no se ejecutan

Si el examen de Microsoft Purview se usó para ejecutarse correctamente, pero ahora se produce un error, compruebe lo siguiente:

Compruebe primero el mensaje de error para ver los detalles del error.
¿Han cambiado las credenciales del recurso o se han girado? Si es así, deberá actualizar para que el examen use las credenciales correctas.
¿Es un Azure Policy impedir las actualizaciones de las cuentas de Almacenamiento? Si es así, siga la guía de etiquetas de excepción de Microsoft Purview para crear una excepción para las cuentas de Microsoft Purview.
¿Usa un entorno de ejecución de integración autohospedado? Compruebe que está actualizado con el software más reciente y que está conectado a la red.