Démarrage rapide : Envoyer la télémétrie des ressources au cloud à l’aide du connecteur de lac de données pour Azure IoT MQ Preview

Article
05/13/2024

Important

Opérations Azure IoT (préversion) – activé parc Azure Arc est actuellement en PRÉVERSION. Vous ne devez pas utiliser ce logiciel en préversion dans des environnements de production.

Pour connaître les conditions juridiques qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou plus généralement non encore en disponibilité générale, consultez l’Avenant aux conditions d’utilisation des préversions de Microsoft Azure.

Dans ce guide de démarrage rapide, vous utilisez le connecteur de lac de données pour Azure IoT MQ afin de transférer la télémétrie de vos ressources OPC UA à un lakehouse Microsoft Fabric à des fins de stockage et d’analyse.

Prérequis

Avant de commencer ce démarrage rapide, vous devez suivre les démarrages rapides suivants :

Vous avez également besoin d’un abonnement Microsoft Fabric. Si vous n’avez pas d’abonnement, vous pouvez vous inscrire pour une capacité d’essai Microsoft Fabric gratuite. Pour accéder à la capacité d’essai, vous devez être administrateur de capacité d’essai. Dans votre abonnement Microsoft Fabric, vérifiez que les paramètres suivants sont activés pour votre locataire :

Pour en savoir plus, consultez Microsoft Fabric > À propos des paramètres de locataire.

Quel problème résoudrons-nous ?

Pour utiliser un outil tel que Power BI pour analyser vos données OPC UA, vous devez envoyer les données à un service de stockage cloud. Le connecteur de lac de données pour Azure IoT MQ s’abonne aux rubriques MQTT et ingère les messages dans des tables Delta dans un lakehouse Microsoft Fabric. Le prochain guide de démarrage rapide vous montre comment utiliser Power BI pour analyser les données dans le lakehouse.

Accorder l’accès à votre espace de travail Microsoft Fabric

Vous devez autoriser l’extension MQ sur votre cluster à se connecter à votre espace de travail Microsoft Fabric. Vous avez noté le nom de l’extension MQ dans le guide de démarrage rapide de déploiement. Le nom de l’extension ressemble à ceci : mq-z2ewy.

Conseil

Si vous avez besoin de trouver le nom unique attribué à votre extension MQ, exécutez la commande suivante dans votre terminal Codespaces pour lister vos extensions de cluster : az k8s-extension list --resource-group <your-resource-group-name> --cluster-name $CLUSTER_NAME --cluster-type connectedClusters -o table

Accédez à l'expérience Microsoft Fabric Power BI. Pour vous assurer que vous pouvez voir l’option Gérer l’accès dans votre espace de travail Microsoft Fabric, créez un nouvel espace de travail :

Sélectionnez Espaces de travail dans la barre de navigation de gauche, puis sélectionnez Nouvel espace de travail :
Entrez un nom pour votre espace de travail, tel que nom de votre espace de travail aio, puis sélectionnez Appliquer. Notez ce nom, car vous en aurez besoin plus tard.

Conseil

N’incluez aucun espace dans le nom de votre espace de travail.

Pour accorder à l’extension MQ l’accès à votre espace de travail Microsoft Fabric :

Dans votre espace de travail Microsoft Fabric, sélectionnez Gérer l'accès :
Sélectionnez Ajouter des personnes ou des groupes, puis collez le nom de l’extension MQ que vous avez notée précédemment et accordez-lui au moins l’accès Contributeur :
Sélectionnez Ajouter pour accorder les autorisations de contributeur à l’extension MQ dans l’espace de travail.

Créer un lakehouse.

Créez un lakehouse dans votre espace de travail Microsoft Fabric :

Sélectionnez Nouveau et Plus d'options, puis sélectionnez Lakehouse dans la liste.
Entrez aiomqdestination comme nom de votre lakehouse, puis sélectionnez Créer.

Configurer un connecteur

Votre codespace est fourni avec l’exemple de fichier de configuration du connecteur suivant, /workspaces/explore-iot-operations/samples/quickstarts/datalake-connector.yaml :

apiVersion: mq.iotoperations.azure.com/v1beta1
kind: DataLakeConnector
metadata:
  name: my-datalake-connector
  namespace: azure-iot-operations
spec:
  protocol: v5
  image:
    repository: mcr.microsoft.com/azureiotoperations/datalake
    tag: 0.4.0-preview
    pullPolicy: IfNotPresent
  instances: 1
  logLevel: info
  databaseFormat: delta
  target:
    fabricOneLake:
      endpoint: https://onelake.dfs.fabric.microsoft.com
      names:
        workspaceName: <your-workspace-name>
        lakehouseName: aiomqdestination
      fabricPath: tables
      authentication:
        systemAssignedManagedIdentity:
          audience: https://storage.azure.com
  localBrokerConnection:
    endpoint: aio-mq-dmqtt-frontend:8883
    tls:
      tlsEnabled: true
      trustedCaCertificateConfigMap: aio-ca-trust-bundle-test-only
    authentication:
      kubernetes: {}
---
apiVersion: mq.iotoperations.azure.com/v1beta1
kind: DataLakeConnectorTopicMap
metadata:
  name: datalake-topicmap
  namespace: azure-iot-operations
spec:
  dataLakeConnectorRef: "my-datalake-connector"
  mapping:
    allowedLatencySecs: 1
    messagePayloadType: "json"
    maxMessagesPerBatch: 10
    clientId: id
    mqttSourceTopic: "azure-iot-operations/data/thermostat"
    qos: 1
    table:
      tableName: OPCUA
      schema:
      - name: externalAssetId
        format: utf8
        optional: false
        mapping: $property.externalAssetId
      - name: assetName
        format: utf8
        optional: false
        mapping: DataSetWriterName
      - name: CurrentTemperature
        format: float32
        optional: false
        mapping: Payload.temperature.Value
      - name: Pressure
        format: float32
        optional: true
        mapping: "Payload.Tag 10.Value"
      - name: Timestamp
        format: timestamp
        optional: false
        mapping: $received_time

Ouvrez le fichier datalake-connector.yaml dans un éditeur de texte et remplacez <your-workspace-name> par le nom de votre espace de travail Microsoft Fabric. Vous l’avez noté lorsque vous avez créé l’espace de travail.
Enregistrez le fichier.

Exécutez la commande suivante pour créer le connecteur :

kubectl apply -f samples/quickstarts/datalake-connector.yaml

Après un court instant, les données de votre répartiteur MQ commencent à remplir la table dans votre lakehouse. Vous devrez peut-être actualiser la page du lakehouse pour afficher les données.

Capture d’écran montrant les données du pipeline qui apparaissent dans la table du lakehouse.

Conseil

Assurez-vous qu’aucun autre processus n’écrit dans la table OPCUA de votre lakehouse. Si vous écrivez dans la table à partir de plusieurs sources, vous verrez peut-être apparaître des données endommagées dans la table.

Comment avons-nous résolu le problème ?

Dans ce guide de démarrage rapide, vous avez utilisé le connecteur de lac de données pour Azure IoT MQ afin d’ingérer les données dans un lakehouse Microsoft Fabric dans le cloud. Dans le prochain guide de démarrage rapide, vous utilisez Power BI pour analyser les données dans le lakehouse.

Nettoyer les ressources

Si vous ne souhaitez pas continuer à utiliser ce déploiement, supprimez le cluster Kubernetes sur lequel vous avez déployé Opérations Azure IoT et supprimez le groupe de ressources Azure qui contient le cluster.

Vous pouvez également supprimer votre espace de travail Microsoft Fabric.

Étape suivante

Démarrage rapide : Obtenir des insights à partir de la télémétrie de vos ressources

Partager via