Share via

Erfassen von Daten von Splunk Universal Forwarder zu Azure Data Explorer

  • Artikel

Wichtig

Dieser Connector kann in Echtzeitanalyse in Microsoft Fabric verwendet werden. Verwenden Sie die Anweisungen in diesem Artikel mit den folgenden Ausnahmen:

Splunk Universal Forwarder ist eine einfache Version der Splunk Enterprise-Software , mit der Sie Daten aus vielen Quellen gleichzeitig erfassen können. Es ist für das Sammeln und Weiterleiten von Protokoll- und Computerdaten aus verschiedenen Quellen an einen zentralen Splunk Enterprise-Server oder eine Splunk Cloud-Bereitstellung konzipiert. Splunk Universal Forwarder dient als Agent, der den Prozess der Datensammlung und -weiterleitung vereinfacht und zu einer wesentlichen Komponente in einer Splunk-Bereitstellung macht. Azure-Daten-Explorer ist ein schneller und hochgradig skalierbarer Dienst zur Untersuchung von Daten (Protokoll- und Telemetriedaten).

In diesem Artikel erfahren Sie, wie Sie den Kusto Splunk Universal Forwarder Connector verwenden, um Daten an eine Tabelle in Ihrem Cluster zu senden. Sie erstellen zunächst eine Tabellen- und Datenzuordnung, weisen dann Splunk an, Daten in die Tabelle zu senden, und überprüfen dann die Ergebnisse.

Voraussetzungen

Erstellen einer Azure Data Explorer-Tabelle

Erstellen Sie eine Tabelle, um die Daten von Splunk Universal Forwarder zu empfangen, und gewähren Sie dem Dienstprinzipal Zugriff auf diese Tabelle.

In den folgenden Schritten erstellen Sie eine Tabelle mit dem Namen SplunkUFLogs einer einzelnen Spalte (RawText). Dies liegt daran, dass Splunk Universal Forwarder Standardmäßig Daten im Rohtextformat sendet. Die folgenden Befehle können im Web-UI-Abfrage-Editor ausgeführt werden.

  1. Erstellen einer Tabelle:

    .create table SplunkUFLogs (RawText: string)

  2. Überprüfen Sie, ob die Tabelle SplunkUFLogs erstellt wurde und leer ist:

    SplunkUFLogs
| count

  3. Verwenden Sie den Dienstprinzipal aus den Voraussetzungen , um die Berechtigung für die Arbeit mit der Datenbank zu erteilen, die Ihre Tabelle enthält.

    .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'

Konfigurieren der universellen Splunk-Weiterleitung

Wenn Sie Splunk Universal Forwarder herunterladen, wird ein Assistent geöffnet, um die Weiterleitung zu konfigurieren.

  1. Legen Sie im Assistenten den Empfangsindexer so fest, dass er auf das System verweist, das den Kusto Splunk Universal Forwarder Connector hostet. Geben Sie 127.0.0.1 für den Hostnamen oder die IP-Adresse und 9997 für den Port ein. Lassen Sie den Zielindexer leer.

    Weitere Informationen finden Sie unter Aktivieren eines Empfängers für Splunk Enterprise.

  2. Wechseln Sie zu dem Ordner, in dem Splunk Universal Forwarder installiert ist, und dann zum Ordner /etc/system/local . Erstellen oder ändern Sie die Datei inputs.conf , damit die Weiterleitung Protokolle lesen kann:

    [default]
index = default
disabled = false

[monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
sourcetype = modinput_eventgen

    Weitere Informationen finden Sie unter Überwachen von Dateien und Verzeichnissen mit inputs.conf.

  3. Wechseln Sie zu dem Ordner, in dem Splunk Universal Forwarder installiert ist, und dann zum Ordner /etc/system/local . Erstellen oder ändern Sie die Datei outputs.conf , um den Zielspeicherort für die Protokolle zu bestimmen, wobei es sich um den Hostnamen und Port des Systems handelt, das den Kusto Splunk Universal Forwarder Connector hostet:

    [tcpout]
defaultGroup = default-autolb-group
sendCookedData = false

[tcpout:default-autolb-group]
server = 127.0.0.1:9997

[tcpout-server://127.0.0.1:9997]

    Weitere Informationen finden Sie unter Konfigurieren der Weiterleitung mit outputs.conf.

  4. Starten Sie Splunk Universal Forwarder neu.

Konfigurieren des Kusto Splunk Universal-Connectors

So konfigurieren Sie den Kusto Splunk Universal Connector zum Senden von Protokollen an Ihre Azure Data Explorer Tabelle:

  1. Laden Sie den Connector aus dem GitHub-Repository herunter, oder klonen Sie sie.

  2. Wechseln Sie zum Basisverzeichnis des Connectors:

    cd .\SplunkADXForwarder\

  3. Bearbeiten Sie config.yml so, dass sie die folgenden Eigenschaften enthält:

    ingest_url: <ingest_url>
client_id: <ms_entra_app_client_id>
client_secret: <ms_entra_app_client_secret>
authority: <ms_entra_authority>
database_name: <database_name>
table_name: <table_name>
table_mapping_name: <table_mapping_name>
data_format: csv
    Feld BESCHREIBUNG
    ingest_url Die Erfassungs-URL für Ihren Azure Data Explorer-Cluster. Sie finden sie im Azure-Portal unter dem Datenerfassungs-URI auf der Registerkarte Übersicht Ihres Clusters. Sie sollte folgendes Format aufweisen: https://ingest-<clusterName>.<region>.kusto.windows.net.
    client_id Die Client-ID Ihrer Microsoft Entra Anwendungsregistrierung, die im Abschnitt Voraussetzungen erstellt wurde.
    client_secret Der geheime Clientschlüssel Ihrer Microsoft Entra Anwendungsregistrierung, die im Abschnitt Voraussetzungen erstellt wurde.
    authority Die ID des Mandanten, der Ihre Microsoft Entra Anwendungsregistrierung enthält, die im Abschnitt Voraussetzungen erstellt wurde.
    database_name Der Name Ihrer Azure Data Explorer-Datenbank.
    table_name Der Name Ihrer Azure Data Explorer-Zieltabelle.
    table_mapping_name Der Name der Erfassungsdatenzuordnung für Ihre Tabelle. Wenn Sie über keine Zuordnung verfügen, können Sie diese Eigenschaft aus der Konfigurationsdatei weglassen. Sie können Daten später immer in verschiedene Spalten analysieren.
    data_format Das erwartete Datenformat für eingehende Daten. Die eingehenden Daten sind im Rohtextformat, sodass das empfohlene Format ist csv, das den Unformatierten Text standardmäßig dem Nullindex zuordnet.

  4. Erstellen Sie das Docker-Image:

    docker build -t splunk-forwarder-listener

  5. Führen Sie den Docker-Container aus:

    docker run -p 9997:9997 splunk-forwarder-listener

Vergewissern Sie sich, dass Daten in Azure Data Explorer erfasst werden.

Sobald docker ausgeführt wird, werden Daten an Ihre Azure Data Explorer Tabelle gesendet. Sie können überprüfen, ob die Daten erfasst werden, indem Sie eine Abfrage im Abfrage-Editor der Weboberfläche ausführen.

  1. Führen Sie die folgende Abfrage aus, um zu überprüfen, ob Daten in der Tabelle erfasst werden:

    SplunkUFLogs
| count

  2. Führen Sie die folgende Abfrage aus, um die Daten anzuzeigen:

    SplunkUFLogs
| take 100

Verwandte Inhalte