Vizualizace dat z Azure Průzkumník dat v Kibana pomocí konektoru open source K2Bridge

K2Bridge (most Kibana-Kusto) umožňuje použít Azure Průzkumník dat jako zdroj dat a vizualizovat tato data v Kibana. K2Bridge je Open Sourceaplikace s podporou kontejnerů. Funguje jako proxy mezi instancí Kibana a clusterem Azure Průzkumník dat. Tento článek popisuje, jak pomocí K2Bridge vytvořit toto připojení.

K2Bridge překládá dotazy Kibana na Kusto dotazovací jazyk (KQL) a odesílá výsledky Azure Průzkumník dat zpět do Kibana.

K2Bridge podporuje kartu Vyhledat na Kibana, kde můžete:

• Vyhledejte a prozkoumejte data.
• Filtrovat výsledky.
• Přidejte nebo odeberte pole v mřížce výsledků.
• Zobrazit obsah záznamu
• Uložte a sdílejte hledání.

Následující obrázek ukazuje instanci Kibana, která je vázaná na Azure Průzkumník dat pomocí K2Bridge. Činnost koncového uživatele v Kibana je beze změny.

Požadavky

Než budete moct vizualizovat data z Azure Průzkumník dat v Kibana, připravte si následující:

• Předplatné Azure. Vytvořte si bezplatný účet Azure. com/Helm/Helm # Install), což je správce balíčků Kubernetes.

• Cluster Azure Kubernetes Service (AKS) nebo jakýkoli jiný cluster Kubernetes. Byly testovány a ověřeny verze 1,14 až 1,16. Pokud potřebujete cluster AKS, přečtěte si téma Jak nasadit cluster AKS pomocí rozhraní příkazového řádku Azure nebo pomocí Azure Portal.

• Vytvořte cluster a databázi.

• objekt služby Azure Active Directory (Azure AD) autorizovaný pro zobrazení dat ve službě Azure Průzkumník dat, včetně ID klienta a tajného klíče klienta.

  Doporučujeme instanční objekt s oprávněním čtenář a zabránit vám v používání oprávnění na vyšší úrovni. Nastavte oprávnění pro zobrazení clusteru pro instanční objekt služby Azure AD.

  Další informace o instančním objektu služby Azure AD najdete v tématu Vytvoření instančního objektu služby Azure AD.

Spuštění K2Bridge ve službě Azure Kubernetes (AKS)

Ve výchozím nastavení se Helm graf K2Bridge odkazuje na veřejně dostupný obrázek umístěný v Microsoft Container Registry (MCR). MCR nevyžaduje žádné přihlašovací údaje.

1. Stáhněte si požadované grafy Helm.

2. Přidejte závislost Elasticsearch do Helm. Závislost je povinná, protože K2Bridge používá malou interní instanci Elasticsearch. Instance požadavky související s metadaty, jako jsou dotazy vzorové vzory dotazy a dotazy uložené v rámci služby. Tato interní instance neukládá žádná obchodní data. Instanci můžete vzít v úvahu jako podrobnosti implementace.

   1. Chcete-li přidat závislost Elasticsearch do Helm, spusťte tyto příkazy:

      helm repo add elastic https://helm.elastic.co
      helm repo update
      

   2. k získání grafu K2Bridge z adresáře grafů GitHubho úložiště:

      1. Naklonujte úložiště z GitHub.

      2. Přejít do kořenového adresáře úložiště K2Bridges

      3. Spusťte tento příkaz:

         helm dependency update charts/k2bridge
         

3. Nasaďte K2Bridge.

   1. Nastavte proměnné na správné hodnoty pro vaše prostředí.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
      ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
      ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
      ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
      ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]
      

   2. volitelně můžete povolit telemetrii Application Insights. pokud používáte Application Insights poprvé, vytvořte prostředek Application Insights. Zkopírujte klíč instrumentace do proměnné.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
      COLLECT_TELEMETRY=true
      

   3. Nainstalujte graf K2Bridge.

      helm install k2bridge charts/k2bridge -n k2bridge --set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=latest] [--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      V části Konfiguracemůžete najít kompletní sadu možností konfigurace.

   4. Výstup předchozího příkazu navrhuje další příkaz Helm k nasazení Kibana. Volitelně můžete spustit tento příkaz:

      helm install kibana elastic/kibana -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=6.8.5 --set elasticsearchHosts=http://k2bridge:8080
      

   5. K přístupu k Kibana na místním hostiteli použijte předávání portů.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge
      

   6. Připojení do Kibana, a to tak, že na http://127.0.0.1:5601 .

   7. Zveřejněte Kibana uživatelům. K tomu je potřeba více metod. Metoda, kterou použijete hlavně, závisí na vašem případu použití.

      Službu můžete například zpřístupnit jako službu Load Balancer. Uděláte to tak, že do předchozího příkazu Kibana Helm installpřidáte parametr --set Service. Type = vyrovnávání zatížení .

      Pak spusťte tento příkaz:

      kubectl get service -w -n k2bridge
      

      Výstup by měl vypadat takto:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
      kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s
      

      Pak můžete použít vygenerovanou hodnotu externí IP adresy. Použijte ji pro přístup k Kibana otevřením prohlížeče a přechodu na < externí IP adresu > : 5601.

4. Nakonfigurujte vzory indexu pro přístup k datům.

   V nové instanci Kibana:

   1. Otevřete Kibana.
   2. Přejděte ke správě.
   3. Vyberte vzory indexu.
   4. Vytvořte vzor indexu. Název indexu musí přesně odpovídat názvu tabulky nebo názvu funkce bez hvězdičky (*). Příslušný řádek můžete zkopírovat ze seznamu.

Vizualizace dat

Když je Azure Průzkumník dat nakonfigurovaný jako zdroj dat pro Kibana, můžete k prozkoumávání dat použít Kibana.

1. V Kibana nabídce úplně vlevo vyberte kartu Vyhledat .

2. V rozevíracím seznamu úplně vlevo vyberte vzor indexu. Vzor definuje zdroj dat, který chcete prozkoumat. V tomto případě je vzorem indexu tabulka služby Azure Průzkumník dat.

   

3. Pokud vaše data obsahují pole s časovým filtrem, můžete zadat časový rozsah. V pravém horním rohu stránky zjišťování vyberte filtr času. Ve výchozím nastavení stránka zobrazuje data za posledních 15 minut.

   

4. Tabulka Results zobrazuje prvních 500 záznamů. Můžete rozbalit dokument a prohlédnout si jeho data pole buď ve formátu JSON, nebo ve formátu tabulky.

   

5. Ve výchozím nastavení obsahuje tabulka výsledků sloupec _source . Obsahuje také sloupec čas , pokud existuje pole čas. Můžete přidat konkrétní sloupce do tabulky výsledků výběrem možnosti Přidat vedle názvu pole v levém podokně.

   

6. Na panelu dotazů můžete vyhledat data podle:

   • Zadání hledaného termínu.
   • Pomocí syntaxe dotazů Lucene. Například:
     • Vyhledejte "Chyba" a vyhledejte všechny záznamy, které obsahují tuto hodnotu.
     • Vyhledejte "status: 200" pro získání všech záznamů s hodnotou stavu 200.
   • Pomocí logických operátorů a, nebo, a Not.
   • Pomocí zástupných znaků hvězdičky (*) a otazníku (?). Například dotaz "destination_city: L *" odpovídá záznamům, kde hodnota Destination-City začíná řetězcem "L" nebo "l". (K2Bridge nerozlišuje velká a malá písmena.)

   

   Tip

   Při hledánímůžete najít další pravidla vyhledávání a logiku.

7. Chcete-li filtrovat výsledky hledání, použijte seznam polí v pravém podokně stránky. Seznam polí je místo, kde vidíte:

   • Horních pět hodnot pole.
   • Počet záznamů, které obsahují pole.
   • Procento záznamů, které obsahují jednotlivé hodnoty.

   Tip

   Pomocí lupy můžete najít všechny záznamy, které mají určitou hodnotu.

   

   Pomocí lupy můžete také filtrovat výsledky a zobrazit zobrazení tabulky výsledků každého záznamu v tabulce výsledků.

   

8. Vyberte možnost Uložit nebo sdílet pro hledání.