Erfassen von Daten aus Splunk in Azure Data Explorer

Wichtig

Dieser Connector kann in Echtzeitanalyse in Microsoft Fabric verwendet werden. Verwenden Sie die Anweisungen in diesem Artikel mit den folgenden Ausnahmen:

• Erstellen Sie bei Bedarf Datenbanken mithilfe der Anweisungen unter Erstellen einer KQL-Datenbank.
• Erstellen Sie bei Bedarf Tabellen mithilfe der Anweisungen unter Erstellen einer leeren Tabelle.
• Rufen Sie Abfrage- oder Erfassungs-URIs mithilfe der Anweisungen unter Kopieren des URI ab.
• Führen Sie Abfragen in einem KQL-Abfrageset aus.

Splunk Enterprise ist eine Softwareplattform, mit der Sie Daten aus vielen Quellen gleichzeitig erfassen können. Der Splunk-Indexer verarbeitet die Daten und speichert sie standardmäßig im Standard Index oder einem angegebenen benutzerdefinierten Index. Bei der Suche in Splunk werden die indizierten Daten zum Erstellen von Metriken, Dashboards und Warnungen verwendet. Azure-Daten-Explorer ist ein schneller und hochgradig skalierbarer Dienst zur Untersuchung von Daten (Protokoll- und Telemetriedaten).

In diesem Artikel erfahren Sie, wie Sie mit dem Azure Data Explorer Splunk-Add-On Daten von Splunk an eine Tabelle in Ihrem Cluster senden. Sie erstellen zunächst eine Tabelle und eine Datenzuordnung, weisen Splunk dann an, Daten an die Tabelle zu senden, und überprüfen dann die Ergebnisse.

Die folgenden Szenarien eignen sich am besten für die Erfassung von Daten in Azure Data Explorer:

• Daten mit hohem Volumen: Azure Data Explorer ist für die effiziente Verarbeitung großer Datenmengen entwickelt. Wenn Ihr organization eine große Menge von Daten generiert, die in Echtzeit analysiert werden müssen, ist Azure Data Explorer eine geeignete Wahl.
• Zeitreihendaten: Azure Data Explorer zeichnet sich durch die Verarbeitung von Zeitreihendaten wie Protokollen, Telemetriedaten und Sensorwerten aus. Daten werden in zeitbasierten Partitionen organisiert, sodass zeitbasierte Analysen und Aggregationen problemlos durchgeführt werden können.
• Echtzeitanalysen: Wenn Ihr organization Echtzeiterkenntnisse aus den datenflussenden Daten benötigt, können die Funktionen von Azure Data Explorer nahezu in Echtzeit von Vorteil sein.

Voraussetzungen

• Ein Microsoft-Konto oder eine Microsoft Entra Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Splunk Enterprise 9 oder höher.
• Ein Microsoft Entra Dienstprinzipal. Erstellen Sie einen Microsoft Entra Dienstprinzipal.

Erstellen einer Tabelle und eines Zuordnungsobjekts

Nachdem Sie über einen Cluster und eine Datenbank verfügen, erstellen Sie eine Tabelle mit einem Schema, das Ihren Splunk-Daten entspricht. Außerdem erstellen Sie ein Zuordnungsobjekt, das verwendet wird, um die eingehenden Daten in das Zieltabellenschema zu transformieren.

Im folgenden Beispiel erstellen Sie eine Tabelle namens WeatherAlert mit vier Spalten: Timestamp, Temperature, Humidityund Weather. Außerdem erstellen Sie eine neue Zuordnung mit dem Namen WeatherAlert_Json_Mapping , die Eigenschaften aus dem eingehenden JSON-Code extrahiert, wie von angegeben path , und diese an den angegebenen columnausgibt.

Führen Sie im Abfrage-Editor der Weboberflächen die folgenden Befehle aus, um die Tabelle und zuordnung zu erstellen:

1. Erstellen einer Tabelle:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Stellen Sie sicher, dass die Tabelle WeatherAlert erstellt wurde und leer ist:

   WeatherAlert
   | count
   

3. Erstellen Sie ein Zuordnungsobjekt:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Verwenden Sie den Dienstprinzipal aus den Voraussetzungen , um die Berechtigung zum Arbeiten mit der Datenbank zu erteilen.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Installieren des Splunk Azure Data Explorer-Add-Ons

Das Splunk-Add-On kommuniziert mit Azure Data Explorer und sendet die Daten an die angegebene Tabelle.

1. Laden Sie das Azure Data Explorer-Add-On herunter.

2. Melden Sie sich bei Ihrem Splunk-instance als Administrator an.

3. Navigieren Sie zu Apps>Verwalten von Apps.

4. Wählen Sie App aus Datei installieren und dann Azure Data Explorer Add-On-Datei aus, die Sie heruntergeladen haben.

5. Folge den Bildschirmanweisungen, um die Installation abzuschließen.

6. Wählen Sie Jetzt neu starten aus.

7. Überprüfen Sie, ob das Add-On installiert ist, indem Sie zuDashboardwarnungsaktionen> wechseln und nach dem Azure Data Explorer-Add-On suchen.

   

Erstellen eines neuen Index in Splunk

Erstellen Sie einen Index in Splunk, indem Sie die Kriterien für die Daten angeben, die Sie an Azure Data Explorer senden möchten.

1. Melden Sie sich bei Ihrem Splunk-instance als Administrator an.
2. Wechseln Sie zu Einstellungen>Indizes.
3. Geben Sie einen Namen für den Index an, und konfigurieren Sie die Kriterien für die Daten, die Sie an Azure Data Explorer senden möchten.
4. Konfigurieren Sie die verbleibenden Eigenschaften nach Bedarf, und speichern Sie dann den Index.

Konfigurieren des Splunk-Add-Ons zum Senden von Daten an Azure Data Explorer

1. Melden Sie sich bei Ihrem Splunk-instance als Administrator an.

2. Wechseln Sie zum Dashboard, und suchen Sie mithilfe des index, den Sie zuvor erstellt haben. Wenn Sie beispielsweise einen Index namens WeatherAlertserstellt haben, suchen Sie nach index="WeatherAlerts".

3. Wählen Sie Als>Warnung speichern aus.

4. Geben Sie den Namen, das Intervall und die Bedingungen für die Warnung an.

   

5. Wählen Sie unter TriggerAktionen die Option AnMicrosoft Azure Data Explorer sendendeAktionen> hinzufügen aus.

   

6. Konfigurieren Sie die Verbindungsdetails wie folgt:

   Einstellung	BESCHREIBUNG
   URL für die Clustererfassung	Geben Sie die Erfassungs-URL Ihres Azure Data Explorer-Clusters an. Beispiel: https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Client-ID	Geben Sie die Client-ID der Microsoft Entra Anwendung an, die Sie zuvor erstellt haben.
   Geheimer Clientschlüssel	Geben Sie den geheimen Clientschlüssel der Microsoft Entra Anwendung an, die Sie zuvor erstellt haben.
   Tenant ID	Geben Sie die Mandanten-ID der Microsoft Entra Anwendung an, die Sie zuvor erstellt haben.
   Datenbank	Geben Sie den Namen der Datenbank an, an die Sie die Daten senden möchten.
   Tabelle	Geben Sie den Namen der Tabelle an, an die Die Daten gesendet werden sollen.
   Zuordnung	Geben Sie den Namen des Zuvor erstellten Zuordnungsobjekts an.
   Zusätzliche Felder entfernen	Wählen Sie diese Option aus, um alle leeren Felder aus den an Ihren Cluster gesendeten Daten zu entfernen.
   Dauerhafter Modus	Wählen Sie diese Option aus, um den Dauerhaftigkeitsmodus während der Erfassung zu aktivieren. Wenn dieser Wert auf TRUE festgelegt ist, wird der Erfassungsdurchsatz beeinträchtigt.

   

7. Wählen Sie Speichern aus, um die Warnung zu speichern.

8. Wechseln Sie zur Seite Warnungen , und vergewissern Sie sich, dass Ihre Warnung in der Liste der Warnungen angezeigt wird.

   

Überprüfen, ob Daten in Azure Data Explorer erfasst werden

Nachdem die Warnung ausgelöst wurde, werden Daten an Ihre Azure Data Explorer-Tabelle gesendet. Sie können überprüfen, ob die Daten erfasst werden, indem Sie eine Abfrage im Abfrage-Editor der Weboberfläche ausführen.

1. Führen Sie die folgende Abfrage aus, um zu überprüfen, ob Daten in der Tabelle erfasst werden:

   WeatherAlert
   | count
   

2. Führen Sie die folgende Abfrage aus, um die Daten anzuzeigen:

   WeatherAlert
   | take 100
   

   

Verwandte Inhalte

• Write queries (Schreiben von Abfragen)