Übersicht über Integrationen
Es gibt viele Datenconnectors, Tools und Integrationen, die nahtlos mit der Plattform für Erfassung, Orchestrierung, Ausgabe und Datenabfrage zusammenarbeiten. Dieses Dokument enthält eine allgemeine Übersicht über die verfügbaren Connectors, Tools und Integrationen. Es werden detaillierte Informationen zu jedem Connector sowie Links zur vollständigen Dokumentation bereitgestellt.
Wählen Sie für Übersichtsseiten zu einem bestimmten Integrationstyp eine der folgenden Schaltflächen aus.
Vergleichstabellen
In den folgenden Tabellen sind die Funktionen der einzelnen Elemente zusammengefasst. Wählen Sie die Registerkarte aus, die Connectors oder Tools und Integrationen entspricht. Jeder Elementname ist mit seiner detaillierten Beschreibung verknüpft.
In der folgenden Tabelle sind die verfügbaren Connectors und ihre Funktionen zusammengefasst:
Name | Erfassen | Exportieren | Orchestrieren | Abfrage |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark für Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Azure-Funktionen | ✔️ | ✔️ | ||
Azure IoT Hubs | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logik-Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Open Telemetry | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk Universal Forwarder | ✔️ | |||
Telegraf- | ✔️ |
Ausführliche Beschreibungen
Im Folgenden finden Sie ausführliche Beschreibungen von Connectors, Tools und Integrationen. Wählen Sie die Registerkarte für Connectors oder Tools und Integrationen aus. Alle verfügbaren Elemente sind in den obigen Vergleichstabellen zusammengefasst.
Apache Kafka
Apache Kafka ist eine verteilte Streamingplattform zum Erstellen von Echtzeitstreamingdatenpipelines, die Daten zuverlässig zwischen Systemen oder Anwendungen verschieben. Kafka Connect ist ein Tool zum skalierbaren und zuverlässigen Streamen von Daten zwischen Apache Kafka und anderen Datensystemen. Die Kafka-Senke dient als Connector von Kafka und erfordert keinen Code. Dies ist Gold zertifiziert von Confluent - hat umfassende Überprüfungen und Tests auf Qualität, Feature-Vollständigkeit, Einhaltung von Standards und auf Leistung durchlaufen.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Protokolle, Telemetrie, Zeitreihen
- Zugrunde liegendes SDK:Java
- Repository: Microsoft Azure – https://github.com/Azure/kafka-sink-azure-kusto/
- Dokumentation:Erfassen von Daten aus Apache Kafka
- Communityblog:Kafka-Erfassung in Azure Data Explorer
Apache Flink
Apache Flink ist ein Framework und eine verteilte Verarbeitungs-Engine für zustandsbehaftete Berechnungen über ungebundene und begrenzte Datenströme. Der Connector implementiert Datensenke zum Verschieben von Daten über Azure Data Explorer- und Flink-Cluster hinweg. Mit Azure Data Explorer und Apache Flink können Sie schnelle und skalierbare Anwendungen für datengesteuerte Szenarien erstellen. Beispiele dafür sind maschinelles Lernen (Machine Learning, ML), Extrahieren, Transformieren und Laden (Extract-Transform-Load, ETL) und Protokollanalysen (Log Analytics).
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Streaming
- Anwendungsfälle: Telemetrie
- Zugrunde liegendes SDK:Java
- Repository: Microsoft Azure – https://github.com/Azure/flink-connector-kusto/
- Dokumentation:Erfassen von Daten aus Apache Flink
Apache Log4J 2
Log4J ist ein beliebtes Protokollierungsframework für Java-Anwendungen, die von der Apache Foundation verwaltet werden. Mit Log4j können Entwickler steuern, welche Protokollanweisungen basierend auf dem Namen, der Protokollierungsebene und dem Nachrichtenmuster des Protokollierers mit beliebiger Granularität ausgegeben werden. Mit der Apache Log4J 2-Senke können Sie Ihre Protokolldaten in Ihre Datenbank streamen, wo Sie Ihre Protokolle in Echtzeit analysieren und visualisieren können.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Protokolle
- Zugrunde liegendes SDK:Java
- Repository: Microsoft Azure – https://github.com/Azure/azure-kusto-log4j
- Dokumentation:Erfassen von Daten mit dem Apache Log4J 2-Connector
- Communityblog:Erste Schritte mit Apache Log4J und Azure Data Explorer
Apache Spark
Apache Spark ist eine vereinheitlichte Engine zur Verarbeitung von umfangreichen Daten. Der Spark-Connector ist ein Open Source-Projekt, das auf jedem Spark-Cluster ausgeführt werden kann. Es implementiert Datenquelle und Datensenke zum Verschieben von Daten in oder aus Spark-Clustern. Mit dem Apache Spark-Connector können Sie schnelle und skalierbare Anwendungen für datengesteuerte Szenarien erstellen. Beispiele dafür sind maschinelles Lernen (Machine Learning, ML), Extrahieren, Transformieren und Laden (Extract-Transform-Load, ETL) und Protokollanalysen (Log Analytics). Mit dem Connector wird Ihre Datenbank zu einem gültigen Datenspeicher für Standardmäßige Spark-Quell- und Senkenvorgänge, z. B. Lese-, Schreib- und writeStream-Vorgänge.
- Funktionalität: Erfassung, Exportieren
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Telemetrie
- Zugrunde liegendes SDK:Java
- Repository: Microsoft Azure – https://github.com/Azure/azure-kusto-spark/
- Dokumentation:Apache Spark-Connector
- Communityblog:Datenvorverarbeitung für Azure Data Explorer für Azure Data Explorer mit Apache Spark
Apache Spark für Azure Synapse Analytics
Apache Spark ist ein Parallelverarbeitungsframework, das speicherinterne Verarbeitung unterstützt, um die Leistung von Big Data-Analyseanwendungen zu steigern. Apache Spark in Azure Synapse Analytics ist eine von Microsoft-Implementierungen von Apache Spark in der Cloud. Sie können über Synapse Studio mit Apache Spark für Azure Synapse Analytics auf eine Datenbank zugreifen.
- Funktionalität: Erfassung, Exportieren
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Telemetrie
- Zugrunde liegendes SDK:Java
- Dokumentation:Herstellen einer Verbindung mit einem Azure Synapse Arbeitsbereich
Azure Cosmos DB
Die Azure Cosmos DB-Änderungsfeeddatenverbindung ist eine Erfassungspipeline, die auf Ihren Cosmos DB-Änderungsfeed lauscht und die Daten in Ihrer Datenbank erfasst.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Feed ändern
- Dokumentation:Erfassen von Daten aus Azure Cosmos DB (Vorschau)
Azure Data Factory
Azure Data Factory (ADF) ist ein cloudbasierter Datenintegrationsdienst, der die Integration verschiedener Datenspeicher und die Durchführung von Aktivitäten für die Daten ermöglicht.
- Funktionalität: Erfassung, Exportieren
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Datenorchestrierung
- Dokumentation:Kopieren von Daten in Ihre Datenbank mithilfe von Azure Data Factory
Azure Event Grid
Die Event Grid-Erfassung ist eine Pipeline, die azure storage lauscht und Ihre Datenbank aktualisiert, um Informationen zu abrufen, wenn abonnierte Ereignisse auftreten. Sie können die fortlaufende Erfassung über Azure Storage (Blob Storage und ADLSv2) mit einem Azure Event Grid-Abonnement für blobbasierte oder umbenennte Benachrichtigungen und das Streaming der Benachrichtigungen über Azure Event Hubs konfigurieren.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Ereignisverarbeitung
- Dokumentation:Event Grid-Datenverbindung
Azure Event Hubs
Bei Azure Event Hubs handelt es sich um eine Big Data-Streamingplattform und einen Ereigniserfassungsdienst. Sie können die kontinuierliche Erfassung über kundenseitig verwaltete Event Hubs konfigurieren.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Dokumentation:Azure Event Hubs Datenverbindung
Überprüfung auf
Azure Functions können Sie serverlosen Code in der Cloud nach einem Zeitplan oder als Reaktion auf ein Ereignis ausführen. Mit Eingabe- und Ausgabebindungen für Azure Functions können Sie Ihre Datenbank in Ihre Workflows integrieren, um Daten zu erfassen und Abfragen für Ihre Datenbank auszuführen.
- Funktionalität: Erfassung, Exportieren
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Workflowintegrationen
- Dokumentation:Integrieren Azure Functions mithilfe von Eingabe- und Ausgabebindungen (Vorschau)
- Communityblog:Azure Data Explorer (Kusto)-Bindungen für Azure Functions
Azure IoT Hubs
Azure IoT Hub ist ein in der Cloud gehosteter, verwalteter Dienst, der als zentraler Nachrichtenhub für die bidirektionale Kommunikation zwischen Ihrer IoT-Anwendung und den von ihr verwalteten Geräten dient. Sie können die kontinuierliche Erfassung über kundenseitig verwaltete IoT Hubs konfigurieren, indem Sie den mit Event Hubs kompatiblen integrierten Endpunkt von Device-to-Cloud-Nachrichten verwenden.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: IoT-Daten
- Dokumentation:IoT Hub Datenverbindung
Azure Stream Analytics
Azure Stream Analytics ist eine Echtzeitanalyse- und komplexe Ereignisverarbeitungs-Engine, die für die gleichzeitige Verarbeitung hoher Mengen schneller Streamingdaten aus mehreren Quellen konzipiert ist.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Ereignisverarbeitung
- Dokumentation:Erfassen von Daten aus Azure Stream Analytics
Fluent Bit
Fluent Bit ist ein Open-Source-Agent, der Protokolle, Metriken und Ablaufverfolgungen aus verschiedenen Quellen sammelt. Es ermöglicht Ihnen, Ereignisdaten zu filtern, zu ändern und zu aggregieren, bevor Sie sie an den Speicher senden.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Protokolle, Metriken, Ablaufverfolgungen
- Repository:fluent-bit Kusto Output Plug-In
- Dokumentation:Erfassen von Daten mit Fluent Bit in Azure Data Explorer
- Communityblog:Erste Schritte mit Fluent-Bit und Azure Data Explorer
JDBC
Java Database Connectivity (JDBC) ist eine Java-API, die zum Herstellen einer Verbindung mit Datenbanken und zum Ausführen von Abfragen verwendet wird. Sie können JDBC verwenden, um eine Verbindung mit Azure Data Explorer herzustellen.
- Funktionalität: Abfrage, Visualisierung
- Zugrunde liegendes SDK:Java
- Dokumentation:Herstellen einer Verbindung mit Azure Data Explorer mit JDBC
Logic Apps
Mit dem Microsoft Logic Apps-Connector können Sie Abfragen und Befehle automatisch als Teil einer geplanten oder ausgelösten Aufgabe ausführen.
- Funktionalität: Erfassung, Exportieren
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Datenorchestrierung
- Dokumentation:Microsoft Logic Apps und Azure Data Explorer
Logstash
Mit dem Logstash-Plug-In können Sie Ereignisse aus Logstash zur späteren Analyse in eine Azure Data Explorer-Datenbank verarbeiten.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Protokolle
- Zugrunde liegendes SDK:Java
- Repository: Microsoft Azure – https://github.com/Azure/logstash-output-kusto/
- Dokumentation:Erfassen von Daten aus Logstash
- Communityblog:Migrieren von Elasticsearch zu Azure Data Explorer
Matlab
MATLAB ist eine Programmier- und Numerische Computing-Plattform, die zum Analysieren von Daten, entwickeln von Algorithmen und zum Erstellen von Modellen verwendet wird. Sie können ein Autorisierungstoken in MATLAB zum Abfragen Ihrer Daten in Azure Data Explorer abrufen.
- Funktionalität: Abfrage
- Dokumentation:Abfragen von Daten mithilfe von MATLAB
NLog
NLog ist eine flexible und kostenlose Protokollierungsplattform für verschiedene .NET-Plattformen, einschließlich .NET-Standard. Mit NLog können Sie in mehrere Ziele schreiben, z. B. eine Datenbank, Datei oder Konsole. Mit NLog können Sie die Protokollierungskonfiguration on-the-fly ändern. Die NLog-Senke ist ein Ziel für NLog, mit dem Sie Ihre Protokollnachrichten an Ihre Datenbank senden können. Das Plug-In bietet eine effiziente Möglichkeit, Ihre Protokolle in Ihren Cluster zu versenken.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Telemetrie, Protokolle, Metriken
- Zugrunde liegendes SDK:.NET
- Repository: Microsoft Azure – https://github.com/Azure/azure-kusto-nlog-sink
- Dokumentation:Erfassen von Daten mit der NLog-Senke
- Communityblog:Erste Schritte mit der NLog-Senke und Azure Data Explorer
ODBC
Die Open Database Connectivity (ODBC) ist eine weit verbreitete Anwendungsprogrammierschnittstelle (API) für Datenbankzugriff. Azure Data Explorer ist mit einer Teilmenge des SQL Server Kommunikationsprotokolls (MS-TDS) kompatibel. Diese Kompatibilität ermöglicht die Verwendung des ODBC-Treibers für SQL Server mit Azure Data Explorer.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Telemetrie, Protokolle, Metriken
- Dokumentation:Herstellen einer Verbindung mit Azure Data Explorer mit ODBC
Open Telemetry
Der OpenTelemetry-Connector unterstützt die Erfassung von Daten von vielen Empfängern in Ihrer Datenbank. Es dient als Brücke zum Erfassen von Daten, die durch Öffnen von Telemetriedaten für Ihre Datenbank generiert wurden, indem sie das Format der exportierten Daten an Ihre Anforderungen anpassen.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Ablaufverfolgungen, Metriken, Protokolle
- Zugrunde liegendes SDK:Go
- Repository: Telemetrie öffnen : https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Dokumentation:Erfassen von Daten aus OpenTelemetry
- Communityblog:Erste Schritte mit Open Telemetry und Azure Data Explorer
Power Apps
Power Apps ist eine Suite von Apps, Diensten, Connectors und Datenplattform, die eine schnelle Anwendungsentwicklungsumgebung bietet, um benutzerdefinierte Apps zu erstellen, die eine Verbindung mit Ihren Geschäftsdaten herstellen. Der Power Apps-Connector ist nützlich, wenn Sie über eine große und wachsende Sammlung von Streamingdaten in Azure Data Explorer verfügen und eine hochfunktionelle App mit geringem Code erstellen möchten, um diese Daten zu nutzen.
- Funktionalität: Abfrage, Erfassung, Export
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Dokumentation:Verwenden von Power Apps zum Abfragen von Daten in Azure Data Explorer
Power Automate
Power Automate ist ein Orchestrierungsdienst, der zum Automatisieren von Geschäftsprozessen verwendet wird. Mit Power Automate dem Connector (zuvor Microsoft Flow) können Sie Flows orchestrieren und planen, Benachrichtigungen und Warnungen als Teil einer geplanten oder ausgelösten Aufgabe senden.
- Funktionalität: Erfassung, Exportieren
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Datenorchestrierung
- Dokumentation:Microsoft Power Automate-Connector
Serilog
Serilog ist ein beliebtes Protokollierungsframework für .NET-Anwendungen. Mit Serilog können Entwickler steuern, welche Protokollanweisungen basierend auf dem Namen, der Protokollierungsebene und dem Nachrichtenmuster des Protokollierers mit beliebiger Granularität ausgegeben werden. Die Serilog-Senke, auch als Appender bezeichnet, streamt Ihre Protokolldaten an Ihre Datenbank, wo Sie Ihre Protokolle in Echtzeit analysieren und visualisieren können.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Protokolle
- Zugrunde liegendes SDK:.NET
- Repository: Microsoft Azure – https://github.com/Azure/serilog-sinks-azuredataexplorer
- Dokumentation:Erfassen von Daten mit der Serilog-Senke
- Communityblog:Erste Schritte mit Serilog-Senke und Azure Data Explorer
Splunk
Splunk Enterprise ist eine Softwareplattform, mit der Sie Daten aus vielen Quellen gleichzeitig erfassen können. Das Azure Data Explorer-Add-On sendet Daten von Splunk an eine Tabelle in Ihrem Cluster.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Protokolle
- Zugrunde liegendes SDK:Python
- Repository: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Dokumentation:Erfassen von Daten aus Splunk
- Splunk Base:Microsoft Azure Data Explorer Add-On für Splunk
- Communityblog:Erste Schritte mit Microsoft Azure Data Explorer Add-On für Splunk
Splunk Universal Forwarder
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batchverarbeitung
- Anwendungsfälle: Protokolle
- Repository: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk
- Dokumentation:Erfassen von Daten von Splunk Universal Forwarder zu Azure Data Explorer
- Communityblog:Erfassen von Daten mithilfe der universellen Splunk-Weiterleitung in Azure Data Explorer
Telegraf-
Telegraf ist ein leicht, minimaler Open Source-Speicherfußdruck-Agent zum Sammeln, Verarbeiten und Schreiben von Telemetriedaten, einschließlich Protokollen, Metriken und IoT-Daten. Telegraf unterstützt Hunderte von Eingabe- und Ausgabe-Plugins. Es wird von der Open Source Community häufig verwendet und gut unterstützt. Das Ausgabe-Plug-In dient als Connector von Telegraf und unterstützt die Erfassung von Daten aus vielen Arten von Eingabe-Plugins in Ihrer Datenbank.
- Funktionalität: Einnahme
- Der Erfassungstyp wird unterstützt: Batching, Streaming
- Anwendungsfälle: Telemetrie, Protokolle, Metriken
- Zugrunde liegendes SDK:Go
- Repository: InfluxData – https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Dokumentation:Erfassen von Daten aus Telegraf
- Communityblog:Neues Azure Data Explorer-Ausgabe-Plug-In für Telegraf ermöglicht die SQL-Überwachung in großem Stil
Verwandte Inhalte
Feedback
https://aka.ms/ContentUserFeedback.
Bald verfügbar: Im Laufe des Jahres 2024 werden wir GitHub-Issues stufenweise als Feedbackmechanismus für Inhalte abbauen und durch ein neues Feedbacksystem ersetzen. Weitere Informationen finden Sie unterFeedback senden und anzeigen für