Pozyskiwanie danych z usługi Spunk Universal Forwarder do usługi Azure Data Explorer
Ważne
Ten łącznik może być używany w analizie w czasie rzeczywistym w usłudze Microsoft Fabric. Skorzystaj z instrukcji opisanych w tym artykule z następującymi wyjątkami:
- W razie potrzeby utwórz bazy danych, korzystając z instrukcji w temacie Tworzenie bazy danych KQL.
- W razie potrzeby utwórz tabele przy użyciu instrukcji w temacie Tworzenie pustej tabeli.
- Pobierz identyfikatory URI zapytań lub pozyskiwania, korzystając z instrukcji w temacie Copy URI (Kopiowanie identyfikatora URI).
- Uruchamianie zapytań w zestawie zapytań KQL.
Splunk Universal Forwarder to uproszczona wersja oprogramowania Splunk Enterprise , która umożliwia pozyskiwanie danych z wielu źródeł jednocześnie. Jest ona przeznaczona do zbierania i przekazywania danych dziennika oraz danych maszyny z różnych źródeł do centralnego serwera Splunk Enterprise lub wdrożenia splunk Cloud. Splunk Universal Forwarder służy jako agent, który upraszcza proces zbierania i przekazywania danych, co czyni go istotnym składnikiem we wdrożeniu Splunk. Azure Data Explorer to szybka i wysoce skalowalna usługa eksploracji danych na potrzeby danych dziennika i telemetrycznych.
W tym artykule dowiesz się, jak za pomocą łącznika kusto Splunk Universal Forwarder wysyłać dane do tabeli w klastrze. Początkowo utworzysz tabelę i mapowanie danych, a następnie przekierowujesz splunk w celu wysłania danych do tabeli, a następnie zweryfikuj wyniki.
Wymagania wstępne
- Splunk Universal Forwarder pobrany na tej samej maszynie, na której pochodzą dzienniki.
- Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
- Platforma Docker zainstalowana w systemie z uruchomionym łącznikiem Kusto Splunk Universal Forwarder.
- Jednostka usługi Microsoft Entra. Utwórz jednostkę usługi Microsoft Entra.
Tworzenie tabeli usługi Azure Data Explorer
Utwórz tabelę, aby odbierać dane z usługi Splunk Universal Forwarder, a następnie przyznaj jednostce usługi dostęp do tej tabeli.
W poniższych krokach utworzysz tabelę o nazwie SplunkUFLogs
z jedną kolumną (RawText
). Dzieje się tak, ponieważ usługa Splunk Universal Forwarder domyślnie wysyła dane w formacie nieprzetworzonym tekstowym. Następujące polecenia można uruchomić w edytorze zapytań internetowego interfejsu użytkownika.
Utwórz tabelę:
.create table SplunkUFLogs (RawText: string)
Sprawdź, czy tabela
SplunkUFLogs
została utworzona i jest pusta:SplunkUFLogs | count
Użyj jednostki usługi z sekcji Wymagania wstępne , aby udzielić uprawnień do pracy z bazą danych zawierającą tabelę.
.add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'
Konfigurowanie usługi przesyłania dalej uniwersalnego splunk
Po pobraniu usługi Splunk Universal Forwarder zostanie otwarty kreator umożliwiający skonfigurowanie usługi przesyłania dalej.
W kreatorze ustaw indeksator odbierający , aby wskazywał system hostowania łącznika kusto Splunk Universal Forwarder. Wprowadź
127.0.0.1
nazwę hosta lub adres IP i9997
dla portu. Pozostaw indeksator docelowy pusty.Aby uzyskać więcej informacji, zobacz Włączanie odbiornika dla rozwiązania Splunk Enterprise.
Przejdź do folderu, w którym zainstalowano usługę Spunk Universal Forwarder, a następnie do folderu /etc/system/local . Utwórz lub zmodyfikuj plik inputs.conf , aby umożliwić usłudze przesyłania dalej odczytywanie dzienników:
[default] index = default disabled = false [monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*] sourcetype = modinput_eventgen
Aby uzyskać więcej informacji, zobacz Monitorowanie plików i katalogów za pomocą pliku inputs.conf.
Przejdź do folderu, w którym zainstalowano usługę Spunk Universal Forwarder, a następnie do folderu /etc/system/local . Utwórz lub zmodyfikuj plik outputs.conf , aby określić lokalizację docelową dzienników, która jest nazwą hosta i portem systemu hostowania łącznika usługi Universal Forwarder Kusto Splunk:
[tcpout] defaultGroup = default-autolb-group sendCookedData = false [tcpout:default-autolb-group] server = 127.0.0.1:9997 [tcpout-server://127.0.0.1:9997]
Aby uzyskać więcej informacji, zobacz Konfigurowanie przekazywania za pomocą pliku outputs.conf.
Uruchom ponownie uniwersalny usługę przesyłania dalej Splunk.
Konfigurowanie łącznika uniwersalnego Kusto Splunk
Aby skonfigurować łącznik uniwersalny Kusto Splunk do wysyłania dzienników do tabeli usługi Azure Data Explorer:
Pobierz lub sklonuj łącznik z repozytorium GitHub.
Przejdź do katalogu podstawowego łącznika:
cd .\SplunkADXForwarder\
Edytuj plik config.yml, aby zawierał następujące właściwości:
ingest_url: <ingest_url> client_id: <ms_entra_app_client_id> client_secret: <ms_entra_app_client_secret> authority: <ms_entra_authority> database_name: <database_name> table_name: <table_name> table_mapping_name: <table_mapping_name> data_format: csv
Pole Opis ingest_url
Adres URL pozyskiwania dla klastra usługi Azure Data Explorer. Można go znaleźć w Azure Portal w obszarze Identyfikator URI pozyskiwania danych na karcie Przegląd klastra. Powinna ona mieć format https://ingest-<clusterName>.<region>.kusto.windows.net
.client_id
Identyfikator klienta rejestracji aplikacji Microsoft Entra utworzony w sekcji Wymagania wstępne. client_secret
Klucz tajny klienta rejestracji aplikacji Microsoft Entra utworzony w sekcji Wymagania wstępne. authority
Identyfikator dzierżawy, która zawiera rejestrację aplikacji Microsoft Entra utworzoną w sekcji Wymagania wstępne. database_name
Nazwa bazy danych usługi Azure Data Explorer. table_name
Nazwa tabeli docelowej usługi Azure Data Explorer. table_mapping_name
Nazwa mapowania danych pozyskiwania dla tabeli. Jeśli nie masz mapowania, możesz pominąć tę właściwość z pliku konfiguracji. Zawsze możesz analizować dane w różnych kolumnach później. data_format
Oczekiwany format danych dla danych przychodzących. Dane przychodzące są w formacie nieprzetworzonym, dlatego zalecany format to csv
, który domyślnie mapuje nieprzetworzonego tekstu na indeks zerowy.Skompiluj obraz platformy Docker:
docker build -t splunk-forwarder-listener
Uruchom kontener platformy Docker:
docker run -p 9997:9997 splunk-forwarder-listener
Sprawdź, czy dane są pozyskiwane do usługi Azure Data Explorer
Po uruchomieniu platformy Docker dane są wysyłane do tabeli azure Data Explorer. Możesz sprawdzić, czy dane są pozyskiwane, uruchamiając zapytanie w edytorze zapytań internetowego interfejsu użytkownika.
Uruchom następujące zapytanie, aby sprawdzić, czy dane są pozyskiwane do tabeli:
SplunkUFLogs | count
Uruchom następujące zapytanie, aby wyświetlić dane:
SplunkUFLogs | take 100
Zawartość pokrewna
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla