Gegevens uit Azure Data Explorer in Kibana visualiseren met de opensource-connector K2Bridge

  • Artikel
  • 5 minuten om te lezen

Met K2Bridge (Kibana-Kusto Bridge) kunt u Azure Data Explorer als gegevensbron gebruiken en die gegevens visualiseren in Kibana. K2Bridge is een open-source,in een container geplaatste toepassing. Het fungeert als een proxy tussen een Kibana-exemplaar en een Azure Data Explorer cluster. In dit artikel wordt beschreven hoe u K2Bridge gebruikt om die verbinding te maken.

K2Bridge vertaalt Kibana-query's naar Kusto Query Language (KQL) en verzendt de Azure Data Explorer naar Kibana.

Kibana-verbinding met Azure Data Explorer via K2Bridge.

K2Bridge ondersteunt het tabblad Ontdekken van Kibana, waar u het volgende kunt doen:

  • Zoek en verken de gegevens.
  • Filterresultaten.
  • Velden toevoegen aan of verwijderen uit het resultatenraster.
  • Recordinhoud weergeven.
  • Zoekopdrachten opslaan en delen.

In de volgende afbeelding ziet u een Kibana-exemplaar dat is Azure Data Explorer door K2Bridge. De gebruikerservaring in Kibana is ongewijzigd.

Kibana-pagina gebonden aan Azure Data Explorer.

Vereisten

Voordat u gegevens uit Azure Data Explorer in Kibana kunt visualiseren, moet u het volgende gereed hebben:

  • Een Azure-abonnement. Maak een gratis Azure-account. com/helm/helm#install). Dit is het Kubernetes-pakketbeheer.

  • Azure Kubernetes Service (AKS)-cluster of een ander Kubernetes-cluster. Versies 1.14 tot en met 1.16 zijn getest en geverifieerd. Als u een AKS-cluster nodig hebt, bekijkt u hoe u een AKS-cluster implementeert met behulp van de Azure CLI of met behulp van Azure Portal.

  • Maak een cluster en database.

  • Een Azure Active Directory (Azure AD)-service-principal die gemachtigd is om gegevens weer te geven in Azure Data Explorer, met inbegrip van de client-id en het clientgeheim.

    We raden een service-principal met viewer-machtiging aan en raden u af om machtigingen op een hoger niveau te gebruiken. Stel de weergavemachtigingen van het cluster in voor de Azure AD-service-principal.

    Zie Een Azure AD-service-principal maken voor meer informatie over de Azure AD-service-principal.

K2Bridge uitvoeren op Azure Kubernetes Service (AKS)

Standaard verwijst de Helm-grafiek van K2Bridge naar een openbaar beschikbare afbeelding in Microsoft Container Registry (MCR). MCR hebt geen referenties nodig.

  1. Download de vereiste Helm-grafieken.

  2. Voeg de Elasticsearch-afhankelijkheid toe aan Helm. De afhankelijkheid is vereist omdat K2Bridge een kleine interne Elasticsearch-instantie gebruikt. Het exemplaar ondersteunt aanvragen met betrekking tot metagegevens, zoals query's met indexpatronen en opgeslagen query's. Dit interne exemplaar slaat geen bedrijfsgegevens op. U kunt de instantie beschouwen als een implementatiedetail.

    1. Voer de volgende opdrachten uit om de Elasticsearch-afhankelijkheid toe te voegen aan Helm:

      helm repo add elastic https://helm.elastic.co
helm repo update

    2. Ga als volgende te werk om de K2Bridge-grafiek op te halen uit de grafiekmap van GitHub opslagplaats:

      1. Kloon de opslagplaats vanuit GitHub.

      2. Ga naar de hoofdmap van de K2Bridges-hoofdopslagplaats.

      3. Voer deze opdracht uit:

        helm dependency update charts/k2bridge

  3. Implementeer K2Bridge.

    1. Stel de variabelen in op de juiste waarden voor uw omgeving.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]

    2. Schakel optioneel Application Insights telemetrie in. Als u Application Insights gebruikt, maakt u een Application Insights resource. Kopieer de instrumentatiesleutel naar een variabele.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
COLLECT_TELEMETRY=true

    3. Installeer de K2Bridge-grafiek.

      helm install k2bridge charts/k2bridge -n k2bridge --set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=latest] [--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]

      In Configuratievindt u de volledige set configuratieopties.

    4. De uitvoer van de vorige opdracht stelt de volgende Helm-opdracht voor het implementeren van Kibana voor. Voer desgewenst deze opdracht uit:

      helm install kibana elastic/kibana -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=6.8.5 --set elasticsearchHosts=http://k2bridge:8080

    5. Gebruik port forwarding toegang tot Kibana op localhost.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge

    6. Verbinding maken aan Kibana door naar te http://127.0.0.1:5601 gaan.

    7. Kibana blootstellen aan gebruikers. Er zijn meerdere methoden om dit te doen. De methode die u gebruikt, is grotendeels afhankelijk van uw use-case.

      U kunt de service bijvoorbeeld als een Load Balancer service. Voeg daarvoor de parameter --set service.type=LoadBalancer toe aan de eerdere Kibana Helm-installatieopdracht.

      Voer vervolgens deze opdracht uit:

      kubectl get service -w -n k2bridge

      De uitvoer moet er ongeveer als volgt uitzien:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s

      U kunt vervolgens de gegenereerde waarde EXTERNAL-IP gebruiken die wordt weergegeven. Gebruik deze om toegang te krijgen tot Kibana door een browser te openen en naar < EXTERNAL-IP > :5601 te gaan.

  4. Configureer indexpatronen voor toegang tot uw gegevens.

    In een nieuw Kibana-exemplaar:

    1. Open Kibana.
    2. Blader naar Beheer.
    3. Selecteer Indexpatronen.
    4. Maak een indexpatroon. De naam van de index moet exact overeenkomen met de tabelnaam of functienaam zonder sterretje (*). U kunt de relevante regel uit de lijst kopiëren.

Notitie

Als u K2Bridge wilt uitvoeren op andere Kubernetes-providers, wijzigt u de waarde elasticsearch storageClassName in values.yaml in de waarde die door de provider wordt voorgesteld.

Gegevens visualiseren

Wanneer Azure Data Explorer is geconfigureerd als een gegevensbron voor Kibana, kunt u Kibana gebruiken om de gegevens te verkennen.

  1. Selecteer in Kibana in het meest linkse menu het tabblad Ontdekken.

  2. Selecteer een indexpatroon in de meest linkse vervolgkeuzelijst. Het patroon definieert de gegevensbron die u wilt verkennen. In dit geval is het indexpatroon een Azure Data Explorer tabel.

    Een indexpatroon selecteren.

  3. Als uw gegevens een tijdfilterveld hebben, kunt u het tijdsbereik opgeven. Selecteer rechtsboven op de pagina Ontdekken een tijdfilter. Op de pagina worden standaard de gegevens van de afgelopen 15 minuten weergegeven.

    Een tijdfilter selecteren.

  4. De resultatentabel toont de eerste 500 records. U kunt een document uitbreiden om de veldgegevens in JSON- of tabelindeling te onderzoeken.

    Een uitgebreide record.

  5. De resultatentabel bevat standaard de _source kolom. Het bevat ook de kolom Tijd als het tijdveld bestaat. U kunt specifieke kolommen toevoegen aan de resultatentabel door Toevoegen te selecteren naast de veldnaam in het meest linkse deelvenster.

    Specifieke kolommen met de knop Toevoegen gemarkeerd.

  6. In de querybalk kunt u de gegevens doorzoeken op:

    • Een zoekterm invoeren.
    • Met behulp van de Lucene-querysyntaxis. Bijvoorbeeld:
      • Zoek naar 'error' om alle records te vinden die deze waarde bevatten.
      • Zoek naar 'status: 200' om alle records op te halen met een statuswaarde van 200.
    • Gebruik de logische operators AND, ORen NOT.
    • Het sterretje (*) en het jokerteken (?) gebruiken. De query 'destination_city: L*' komt bijvoorbeeld overeen met records waarbij de waarde voor destination-city begint met 'L' of 'l'. (K2Bridge is niet casegevoelig.)

    Een query uitvoeren.

    Tip

    In Zoekenvindt u meer zoekregels en logica.

  7. Als u uw zoekresultaten wilt filteren, gebruikt u de lijst met velden in het meest rechtse deelvenster van de pagina. In de lijst met velden ziet u het volgende:

    • De top vijf-waarden voor het veld.
    • Het aantal records dat het veld bevat.
    • Het percentage records dat elke waarde bevat.

    Tip

    Gebruik het vergrootglas om alle records te vinden die een specifieke waarde hebben.

    Een lijst met velden met het vergrootglas gemarkeerd.

    U kunt ook het vergrootglas gebruiken om resultaten te filteren en de tabelweergave met resultaten van elke record in de resultatentabel te bekijken.

    Een tabellijst met het vergrootglas gemarkeerd.

  8. Selecteer Opslaan ofDelen voor uw zoekopdracht.

    Gemarkeerde knoppen om de zoekopdracht op te slaan of te delen.