Ingérer des messages Syslog et CEF vers Microsoft Sentinel avec l’agent Azure Monitor

Cet article explique comment utiliser les connecteurs Syslog via AMA et Common Event Format (CEF) via AMA pour filtrer et ingérer rapidement des messages Syslog, y compris des messages au format CEF (Common Event Format), à partir de machines Linux et d’appliances et de périphériques réseau et de sécurité. Pour en savoir plus sur ces connecteurs de données, voir Connecteurs Syslog et Common Event Format (CEF) via AMA pour Microsoft Sentinel.

Prérequis

Avant de commencer, vous devez disposer des ressources configurées et des autorisations appropriées décrites dans cette section.

Prérequis pour Microsoft Sentinel

Pour Microsoft Sentinel, installez la solution appropriée et vérifiez que vous disposez des autorisations nécessaires pour effectuer les étapes décrites dans cet article.

• Installez la solution appropriée, Syslog et/ou Common Event Format à partir du Hub de contenu de Microsoft Sentinel. Pour plus d’informations, consultez Découvrir et gérer le contenu Microsoft Sentinel prêt à l’emploi.

• Votre compte Azure doit disposer des rôles suivants de contrôle d’accès basé sur les rôles Azure (Azure RBAC) :

  Rôle intégré	Étendue	Motif
  - Contributeur de machine virtuelle - Azure Connected Machine    Administrateur de ressources	Machines virtuelles Jeux de mise à l’échelle de machine virtuelle Serveurs avec Azure Arc	Pour déployer l’agent
  Tout rôle qui inclut l’action Microsoft.Resources/deployments/*	Abonnement Resource group Règle de collecte de données existante	Pour déployer des modèles Azure Resource Manager
  Contributeur de surveillance	Abonnement Resource group Règle de collecte de données existante	Pour créer ou modifier des règles de collecte de données

Prérequis du redirecteur de journal

Si vous collectez des messages à partir d’un redirecteur de journal, les prérequis suivants s’appliquent :

• Vous devez disposer d’une machine virtuelle Linux désignée comme redirecteur de journal pour collecter les journaux.

  • Créer une machine virtuelle Linux dans le portail Azure.
  • Systèmes d’exploitation Linux pris en charge pour l’Agent Azure Monitor.

• Si votre redirecteur de journal n’est pas une machine virtuelle Azure, l’agent Azure Arc Connected Machine doit être installé sur celui-ci.

• La machine virtuelle du redirecteur de journal Linux doit avoir Python 2.7 ou 3 installée. Utilisez la commande python --version ou python3 --version pour vérifier. Si vous utilisez Python 3, assurez-vous qu’il est défini comme commande par défaut sur la machine, ou exécutez les scripts avec la commande « python3 » au lieu de « python ».

• Le redirecteur de journal doit avoir le démon syslog-ng ou rsyslog activé.

• Pour connaître les besoins en espace de votre redirecteur de journal, consultez le point de référence des performances de l’agent Azure Monitor. Vous pouvez également examiner ce billet de blog qui traite des conceptions pour une ingestion évolutive.

• Vos sources de journal, vos appareils de sécurité et appliances doivent être configurées pour envoyer leurs messages de journal au démon Syslog du redirecteur de journal plutôt qu’à leur démon Syslog local.

Prérequis de sécurité pour la machine

Configurez la sécurité de la machine en fonction de la stratégie de sécurité de votre organisation. Par exemple, configurez votre réseau de sorte qu’il s’accorde à la stratégie de sécurité de votre réseau d’entreprise et modifiez les ports et les protocoles dans le démon pour les adapter à vos besoins. Pour améliorer la configuration de la sécurité de votre ordinateur, sécurisez votre machine virtuelle dans Azure ou passez en revue ces meilleures pratiques pour la sécurité réseau.

Si vos appareils envoient des journaux Syslog et CEF sur le protocole TLS parce que, par exemple, votre redirecteur de journal se trouve dans le cloud, vous devez configurer le démon Syslog (rsyslog ou syslog-ng) pour qu’il communique sur le protocole TLS. Pour plus d’informations, consultez l’article suivant :

• Chiffrement du trafic Syslog avec TLS – rsyslog
• Chiffrement des messages de journal avec TLS – syslog-ng

Configurer le connecteur de données

Le processus d’installation des connecteurs de données Syslog via AMA ou Common Event Format (CEF) via AMA comprend les étapes suivantes :

1. Installez l’agent Azure Monitor et créez une règle de collecte de données (DCR) à l’aide de l’une des méthodes suivantes :
   • Portail Azure ou Defender
   • API d’ingestion des journaux Azure Monitor
2. Si vous collectez des journaux à partir d’autres machines à l’aide d’un redirecteur de journal, exécutez le script « installation » sur le redirecteur de journal pour configurer le démon Syslog pour écouter les messages provenant d’autres machines et pour ouvrir les ports locaux nécessaires.

Sélectionnez l’onglet approprié pour obtenir des instructions.

Portail Azure ou Defender

Créer une règle de collecte de données

Pour commencer, ouvrez le connecteur de données dans Microsoft Sentinel et créez une règle de connecteur de données.

1. Pour Microsoft Sentinel dans le portail Azure, sous Configuration, sélectionnez Paramètres.
   Pour Microsoft Sentinel dans le portail Defender, sélectionnez Microsoft Sentinel>Configuration>Connecteurs de données.

2. Pour Syslog, tapez Syslog dans la zone Recherche. Dans les résultats, sélectionnez le connecteur Syslog via AMA.
   Pour CEF, tapez CEF dans la zone Recherche. Dans les résultats, sélectionnez le connecteur CEF (Common Event Format) via AMA.

3. Sélectionnez Ouvrir la page du connecteur dans le volet d’informations.

4. Dans la zone Configuration, sélectionnez +Créer une règle de collecte de données.

   

   

5. Sous l’onglet De base :

   • Tapez un nom de DCR.
   • Sélectionnez votre abonnement.
   • Sélectionnez le groupe de ressources dans lequel vous souhaitez localiser votre DCR.

   

6. Sélectionnez Suivant : Ressources>.

Définissez les ressources de machine virtuelle

Sous l’onglet Ressources, sélectionnez les machines sur lesquelles vous souhaitez installer l’AMA, dans ce cas, votre machine de redirecteur de journal. Si votre redirecteur de journal n’apparaît pas dans la liste, il ne dispose peut-être pas de l’agent Azure Connected Machine installé.

1. Utilisez les filtres disponibles ou la zone de recherche pour rechercher votre machine virtuelle de redirecteur de journal. Développez un abonnement dans la liste pour afficher ses groupes de ressources et un groupe de ressources pour afficher ses machines virtuelles.

2. Sélectionnez la machine virtuelle du redirecteur de journal sur laquelle vous souhaitez installer l’AMA. La case à cocher s’affiche en regard du nom de la machine virtuelle lorsque vous pointez dessus.

   

3. Passez en revue vos modifications et sélectionnez Suivant : Collecter >.

Sélectionnez les installations et les sévérités

Rappelez-vous que l’utilisation de la même installation pour les messages Syslog et CEF peut entraîner une duplication de l’ingestion de données. Pour plus d’informations, consultez Éviter les duplications d’ingestion des données.

1. Dans l’onglet Collecter, sélectionnez le niveau minimal de journal pour chaque installation. Quand vous sélectionnez un niveau de journal, Microsoft Sentinel collecte les journaux pour le niveau sélectionné et les autres niveaux avec une gravité supérieure. Par exemple, si vous sélectionnez LOG_ERR, Microsoft Sentinel collecte les journaux pour les niveaux LOG_ERR, LOG_CRIT, LOG_ALERT et LOG_EMERG.

   

2. Passez en revue vos sélections, puis sélectionnez Suivant : Vérifier + créer.

Vérifier et créer la règle

Une fois tous les onglets remplis, vérifiez ce que vous avez entré et créez la règle de collecte de données.

1. Sous l’onglet Vérifier et créer, sélectionnez Créer.

   

   Le connecteur installe l’agent Azure Monitor sur les machines que vous avez sélectionnées lors de la création de votre DCR.

2. Vérifiez les notifications sur le Portail Azure ou le portail Microsoft Defender pour voir quand la DCR est créée et que l’agent est installé.

3. Sélectionnez Actualiser dans la page du connecteur pour voir la DCR affichée dans la liste.

API d’ingestion des journaux

Installer l’agent Azure Monitor

Suivez les instructions pertinentes dans la documentation Azure Monitor pour installer l’agent Azure Monitor sur votre redirecteur de journal. N’oubliez pas d’utiliser les instructions pour Linux, et non celles pour Windows.

• Installer l’AMA à l’aide de PowerShell
• Installer l’AMA à l’aide d’Azure CLI
• installer l’AMA à l’aide d’un modèle Azure Resource Manager

Vous pouvez créer des règles de collecte de données (DCR) à l’aide de l’API d’ingestion des journaux Azure Monitor. Pour plus d’informations, consultez Règles de collecte de données dans Azure Monitor.

Créer la règle de collecte de données

Créez un fichier JSON pour la règle de collecte de données, créez une requête d’API et envoyez celle-ci.

1. Préparez un fichier DCR au format JSON. Le contenu de ce fichier est le corps de la demande dans votre requête d’API.

   Pour obtenir un exemple, consultez le corps de la demande de création de DCR Syslog/CEF. Pour collecter des messages Syslog et CEF dans la même règle de collecte de données, consultez l’exemple Flux Syslog et CEF dans le même DCR.

   • Vérifiez que le champ streams est défini sur Microsoft-Syslog pour les messages Syslog ou sur Microsoft-CommonSecurityLog pour les messages CEF.
   • Ajoutez les niveaux de journal des filtres et des installations dans les paramètres facilityNames et logLevels. Consultez les sections d’exemples de fonctionnalités et de niveaux de journal.

2. Créez une demande d’API dans un client d’API REST de votre choix.

   1. Pour l’URL et l’en-tête de la requête, copiez l’URL et l’en-tête de requête suivants.

      PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
      

      • Remplacez les valeurs appropriées pour les espaces réservés {subscriptionId} et {resourceGroupName}.
      • Entrez le nom de votre choix pour le DCR à la place de l’espace réservé {dataCollectionRuleName}.

   2. Pour le corps de la demande, copiez et collez le fichier JSON DCR que vous avez créé (dans l’étape 1 ci-dessus) dans le corps de la demande.

3. Envoyez la demande.

   Pour obtenir un exemple de réponse que vous devez recevoir, consultez Réponse de création de DCR Syslog/CEF.

Associer le DCR au redirecteur de journal

Vous devez maintenant créer une association DCR (DCRA) qui lie la DCR à la ressource de machine virtuelle qui héberge votre redirecteur de journal.

1. Créez une demande d’API dans un client d’API REST de votre choix.

2. Pour l’URL et l’en-tête de la requête, copiez l’URL de requête suivant et l’en-tête.

   PUT 
   https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
   

   • Remplacez les valeurs appropriées pour les espaces réservés {subscriptionId}, {resourceGroupName} et {virtualMachineName}.
   • Entrez le nom de votre choix pour le DCR à la place de l’espace réservé {dataCollectionRuleAssociationName}.

3. Pour le corps de la demande, copiez le corps de la demande suivant.

   {
     "properties": {
       "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
     }
   }
   

   • Remplacez les valeurs appropriées pour les espaces réservés {subscriptionId} et {resourceGroupName}.
   • Entrez le nom de votre choix pour le DCR à la place de l’espace réservé {dataCollectionRuleName}.

4. Envoyez la demande.

Exemples de niveaux de journal des filtres et des installations

Passez en revue ces exemples de paramètres d’installations et de niveaux de journalisation. Le champ name inclut le nom du filtre.

Pour l’ingestion de message CEF, la valeur de "streams" doit être "Microsoft-CommonSecurityLog" au lieu de "Microsoft-Syslog".

Cet exemple collecte des événements à partir des installations cron, daemon, local0, local3 et uucp avec les niveaux de journalisation Warning, Error, Critical, Alert et Emergency :

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

Flux Syslog et CEF dans la même DCR

Cet exemple montre comment collecter des messages Syslog et CEF dans le même DCR.

La DCR collecte les messages d’événement CEF pour :

• Les installations authpriv et mark avec les niveaux de journal Info, Notice, Warning, Error, Critical, Alert et Emergency
• L’installation daemon avec les niveaux de journal Warning, Error, Critical, Alert et Emergency

Elle collecte les messages d’événement Syslog pour :

• Les installations kern, local0, local5 et news avec les niveaux de journal Critical, Alert et Emergency
• Les installations mail et uucp avec le niveau de journal Emergency

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

Exécuter le script « installation »

Si vous utilisez un redirecteur de journal, configurez le démon Syslog pour écouter les messages provenant d’autres machines et ouvrez les ports locaux nécessaires.

1. Sur la page du connecteur, copiez la ligne de commande qui s’affiche sous Exécutez la commande suivante pour installer et appliquer le collecteur CEF :

   

   Ou copiez-la ici :

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Connectez-vous à la machine redirecteur de journal où vous venez d’installer AMA.

3. Collez la commande que vous avez copiée à la dernière étape pour lancer le script d’installation.
   Le script configure le démon rsyslog ou syslog-ng pour qu’il utilise le protocole requis et redémarre le démon. Le script ouvre le port 514 pour écouter les messages entrants dans les protocoles UDP et TCP. Pour modifier ce paramètre, reportez-vous au fichier de configuration du démon Syslog en fonction du type de démon en cours d’exécution sur la machine :

   • Rsyslog : /etc/rsyslog.conf
   • Syslog-ng : /etc/syslog-ng/syslog-ng.conf

   Remarque

   Pour éviter les scénarios de disque complet dans lesquels l’agent ne peut pas fonctionner, nous vous recommandons de définir la configuration syslog-ng ou rsyslog pour ne pas stocker les journaux inutiles. Un scénario de disque complet interrompt le fonctionnement de l’AMA installé. Pour plus d’informations, consultez RSyslog ou Syslog-ng.

Tester le connecteur

Vérifiez que les messages de journal de votre machine linux ou de vos appareils de sécurité et appliances sont ingérés dans Microsoft Sentinel.

1. Pour vérifier que le démon syslog s’exécute sur le port UDP et que l’AMA écoute, exécutez cette commande :

   netstat -lnptv
   

   Le démon rsyslog ou syslog-ng devrait être à l’écoute sur le port 514.

2. Pour capturer les messages envoyés à partir d’un enregistreur d’événements ou d’un appareil connecté, exécutez cette commande en arrière-plan :

   tcpdump -i any port 514 -A -vv &
   

3. Une fois la validation terminée, nous vous recommandons d’arrêter le tcpdump : tapez fg, puis sélectionnez Ctrl+C.

4. Pour envoyer des messages de démonstration, effectuez l’une des étapes suivantes :

   • Utilisez l’utilitaire netcat. Dans cet exemple, l’utilitaire lit les données publiées via la commande echo avec le commutateur de nouvelle ligne désactivé. L’utilitaire écrit ensuite les données dans le port 514 UDP sur l’hôte local sans délai d’expiration. Pour exécuter l’utilitaire netcat, vous devrez peut-être installer un package supplémentaire.

     echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
     

   • Utilisez l’enregistreur d’événements. Cet exemple écrit le message dans l’installation local 4, au niveau de gravité Warning, sur le port 514, sur l’hôte local, au format RFC CEF. Les indicateurs -t et --rfc3164 sont utilisés pour se conformer au format RFC attendu.

     logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
     

5. Pour vérifier que le connecteur est installé correctement, exécutez le script de résolution des problèmes avec l’une des commandes suivantes :

   • Pour les journaux CEF, exécutez :

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef
     

   • Pour les journaux d’activité Cisco Adaptive Security Appliance (ASA), exécutez :

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa
     

   • Pour les journaux d’activité Cisco Firepower Threat Defense (FTD), exécutez :

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd
     

Contenu connexe

• Connecteurs Syslog et Common Event Format (CEF) via AMA pour Microsoft Sentinel
• Règles de collecte de données dans Azure Monitor