Qualité des données et analyse de la qualité
Chaque produit de données travaillant sur la plateforme Azure Operator Insights dispose d’un support intégré pour l’analyse de la qualité des données. La qualité des données est essentielle, car elle garantit des informations précises, fiables et de confiance pour la prise de décision. Elle empêche les erreurs coûteuses, instaure une crédibilité avec les clients et régulateurs et permet des expériences personnalisées.
La plateforme Azure Operator Insights analyse la qualité des données lorsque des données sont ingérées dans le stockage d’entrée du produit de données (premier bloc de stockage du produit de données AOI dans l’image suivante) et après le traitement des données et leur mise à disposition pour les clients (calcul du produit de données AOI dans l’image suivante).
Dimensions de qualité
Les dimensions de qualité des données sont les différents aspects ou caractéristiques qui définissent la qualité des données. Azure Operator Insights prend en charge les dimensions suivantes :
- Précision : Indique si les données reflètent la réalité, par exemple, des noms et adresses corrects et des données à jour. Une précision élevée des données vous permet de produire des analyses qui peuvent être approuvées et mène à des rapports corrects et une prise de décision en toute confiance.
- Exhaustivité : Indique si toutes les données requises pour un usage particulier sont présentes et disponibles. L’exhaustivité s’applique non seulement au niveau de l’élément de données, mais également au niveau de l’enregistrement. L’exhaustivité permet de comprendre si des données manquantes affectent la fiabilité des insights des données.
- Unicité : Indique les absences de doublons dans un jeu de données.
- Cohérence : Indique si le même élément de données n’entre pas en conflit entre différentes sources ou au fil du temps. La cohérence garantit que les données sont uniformes et peuvent être comparées entre différentes sources.
- Chronologie : Indique si les données sont à jour et disponibles si nécessaire. La chronologie garantit que les données sont pertinentes et utiles dans la prise de décision.
- Validité : Indique si les données sont conformes à un ensemble défini de règles ou de contraintes.
Métriques
Toutes les dimensions de qualité des données sont couvertes par des métriques de qualité produites par la plateforme Azure Operator Insights. Il existe deux types de métriques de qualité :
- Essentielles : Ensemble standard de vérifications de tous les produits de données.
- Personnalisées : Ensemble personnalisé de vérifications, permettant à tous les produits de données d’implémenter des vérifications spécifiques à leur produit.
Les métriques de qualité essentielles produites par la plateforme sont disponibles dans le tableau suivant.
| Métrique | Dimension | Source de données |
|---|---|---|
| Nombre de lignes ingérées | Rapidité | Ingérées |
| Nombre de lignes contenant null dans les colonnes requises | Exhaustivité | Ingérées |
| Nombre de lignes dont la validation a échoué par rapport au schéma | Validité | Ingérées |
| Nombre de lignes filtrées | Exhaustivité | Ingérées |
| Nombre de lignes traitées | Rapidité | Traité |
| Nombre de lignes incomplètes, qui ne contiennent pas de données requises | Exhaustivité | Traité |
| Nombre de lignes dupliquées | Unicité | Traité |
| Centiles de décalage global entre les enregistrements générés et disponibles pour interrogation | Rapidité | Traité |
| Centiles de décalage entre les enregistrements générés et ingérés dans le stockage d’entrée | Rapidité | Traité |
| Centiles de décalage entre les données ingérées et traitées | Rapidité | Traité |
| Centiles de décalage entre les données traitées et disponibles pour interrogation | Rapidité | Traité |
| Ancienneté des vues matérialisées | Rapidité | Traité |
Les métriques de qualité des données personnalisées sont implémentées par produit de données. Ces métriques couvrent la précision et les dimensions de cohérence. La documentation du produit de données contient une description des métriques de qualité personnalisées disponibles.
Surveillance
Les produits de données Azure Operator Insight sont déployés avec un tableau de bord présentant des métriques de qualité. Vous pouvez utiliser le tableau de bord pour analyser la qualité de leurs données.
Les métriques de qualité des données sont enregistrées dans les tableaux ADX du produit de données. Pour l’étude des métriques de qualité des données, vous pouvez utiliser le point de terminaison KQL du produit de données standard, puis étendre le tableau de bord si nécessaire.