Introducción a las integraciones
Hay muchos conectores de datos, herramientas e integraciones que funcionan perfectamente con la plataforma para la ingesta, orquestación, salida y consulta de datos. Este documento es una introducción de alto nivel sobre los conectores, herramientas e integraciones disponibles. Se proporciona información detallada para cada conector, junto con vínculos a su documentación completa.
Para ver las páginas de información general de un tipo específico de integración, seleccione uno de los botones siguientes.
Tablas de comparación
En las tablas siguientes se resumen las funcionalidades de cada elemento. Seleccione la pestaña correspondiente a conectores o herramientas e integraciones. Cada nombre de elemento está vinculado a su descripción detallada.
En la tabla siguiente se resumen los conectores disponibles y sus funcionalidades:
Nombre | Ingesta | Exportación | Organizar | Consultar |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Spark de Apache | ✔️ | ✔️ | ✔️ | |
Uso de Apache Spark para Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Funciones de Azure | ✔️ | ✔️ | ||
Instancias de Azure IoT Hub | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Abrir telemetría | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Reenviador universal de Splunk | ✔️ | |||
Telegraf | ✔️ |
Descripciones detalladas
A continuación se muestran descripciones detalladas de los conectores y las herramientas e integraciones. Seleccione la pestaña correspondiente a conectores o herramientas e integraciones. Todos los elementos disponibles se resumen en las tablas de comparación anteriores.
Apache Kafka
Apache Kafka es una plataforma de streaming distribuida para crear canalizaciones de datos de streaming en tiempo real que mueven datos de forma confiable entre sistemas o aplicaciones. Kafka Connect es una herramienta para realizar streaming de datos de forma escalable y confiable entre Apache Kafka y otros sistemas de datos. El receptor de Kafka actúa como conector de Kafka y no requiere el uso de código. Este es el oro certificado por Confluent: ha pasado por una revisión completa y pruebas de calidad, integridad de características, cumplimiento de estándares y para el rendimiento.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Registros, telemetría, serie temporal
- SDK subyacente:Java
- Repositorio: Microsoft Azure: https://github.com/Azure/kafka-sink-azure-kusto/
- Documentación:Ingesta de datos de Apache Kafka
- Blog de la comunidad:Ingesta de Kafka en Azure Data Explorer
Apache Flink
Apache Flink es un marco y un motor de procesamiento distribuido para cálculos con estado en flujos de datos no enlazados y enlazados. El conector implementa el receptor de datos para mover datos entre clústeres de Azure Data Explorer y Flink. Con Azure Data Explorer y Apache Flink, puede crear aplicaciones rápidas y escalables destinadas a escenarios controlados por datos. Por ejemplo, aprendizaje automático (ML), extracción, transformación y carga de datos (ETL) y Log Analytics.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Streaming
- Casos de uso: Telemetría
- SDK subyacente:Java
- Repositorio: Microsoft Azure: https://github.com/Azure/flink-connector-kusto/
- Documentación:Ingesta de datos de Apache Flink
Apache Log4J 2
Log4J es un marco de registro popular para aplicaciones Java mantenidas por Apache Foundation. Log4j permite a los desarrolladores controlar qué instrucciones de registro se generan con granularidad arbitraria basada en el nombre del registrador, el nivel de registrador y el patrón de mensaje. El receptor apache Log4J 2 le permite transmitir los datos de registro a la base de datos, donde puede analizar y visualizar los registros en tiempo real.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Registros
- SDK subyacente:Java
- Repositorio: Microsoft Azure: https://github.com/Azure/azure-kusto-log4j
- Documentación:Ingesta de datos con el conector apache Log4J 2
- Blog de la comunidad:Introducción a Apache Log4J y Azure Data Explorer
Spark de Apache
Apache Spark es un motor de análisis unificado para el procesamiento de datos a gran escala. El conector de Spark es un proyecto de código abierto que se puede ejecutar en cualquier clúster de Spark. Implementa el origen de datos y el receptor de datos para mover datos hacia o desde clústeres de Spark. Con el conector de Apache Spark, puede crear aplicaciones rápidas y escalables destinadas a escenarios controlados por datos. Por ejemplo, aprendizaje automático (ML), extracción, transformación y carga de datos (ETL) y Log Analytics. Con el conector, la base de datos se convierte en un almacén de datos válido para las operaciones estándar de origen y receptor de Spark, como lectura, escritura y writeStream.
- Funcionalidad: Ingesta, exportación
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Telemetría
- SDK subyacente:Java
- Repositorio: Microsoft Azure: https://github.com/Azure/azure-kusto-spark/
- Documentación:Conector de Apache Spark
- Blog de la comunidad:Preprocesamiento de datos para Azure Data Explorer para Azure Data Explorer con Apache Spark
Uso de Apache Spark para Azure Synapse Analytics
Apache Spark es un marco de procesamiento paralelo que admite el procesamiento en memoria para aumentar el rendimiento de las aplicaciones analíticas de macrodatos. Apache Spark en Azure Synapse Analytics es una de las implementaciones de Microsoft de Apache Spark en la nube. Puede acceder a una base de datos desde Synapse Studio con Apache Spark para Azure Synapse Analytics.
- Funcionalidad: Ingesta, exportación
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Telemetría
- SDK subyacente:Java
- Documentación:Conexión a un área de trabajo de Azure Synapse
Azure Cosmos DB
La conexión de datos de fuente de cambios de Azure Cosmos DB es una canalización de ingesta que escucha la fuente de cambios de Cosmos DB e ingiere los datos en la base de datos.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Fuente de cambios
- Documentación:Ingesta de datos desde Azure Cosmos DB (versión preliminar)
Azure Data Factory
Azure Data Factory (ADF) es un servicio de integración de datos basado en la nube que le permite integrar diferentes almacenes de datos y realizar actividades en los datos.
- Funcionalidad: Ingesta, exportación
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Orquestación de datos
- Documentación:Copia de datos en la base de datos mediante Azure Data Factory
Azure Event Grid
La ingesta de Event Grid es una canalización que escucha Azure Storage y actualiza la base de datos para extraer información cuando se producen eventos suscritos. Puede configurar la ingesta continua desde Azure Storage (Blob Storage y ADLSv2) con una suscripción de Azure Event Grid para las notificaciones creadas o con el nombre del blob y transmitir las notificaciones a través de Azure Event Hubs.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Procesamiento de eventos
- Documentación:Conexión de datos de Event Grid
Azure Event Hubs
Azure Event Hubs es una plataforma de streaming de macrodatos y un servicio de ingesta de eventos. Puede configurar la ingesta continua desde Event Hubs administrado por el cliente.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Documentación:Azure Event Hubs conexión de datos
Azure Functions
Azure Functions le permiten ejecutar código sin servidor en la nube según una programación o en respuesta a un evento. Con los enlaces de entrada y salida para Azure Functions, puede integrar la base de datos en los flujos de trabajo para ingerir datos y ejecutar consultas en la base de datos.
- Funcionalidad: Ingesta, exportación
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Integraciones de flujo de trabajo
- Documentación:Integración de Azure Functions mediante enlaces de entrada y salida (versión preliminar)
- Blog de la comunidad:Enlaces de Azure Data Explorer (Kusto) para Azure Functions
Instancias de Azure IoT Hub
Azure IoT Hub es un servicio administrado, hospedado en la nube, que actúa como centro de mensajes para las comunicaciones bidireccionales entre la aplicación IoT y los dispositivos que administra. Puede configurar la ingesta continua desde IoT Hubs administrados por el cliente mediante su punto de conexión integrado compatible con Event Hubs de mensajes de dispositivo a nube.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Datos de IoT
- Documentación:IoT Hub conexión de datos
Azure Stream Analytics
Azure Stream Analytics es un motor de análisis en tiempo real y procesamiento de eventos complejo diseñado para procesar grandes volúmenes de datos de streaming rápido de varios orígenes simultáneamente.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Procesamiento de eventos
- Documentación:Ingesta de datos desde Azure Stream Analytics
Fluent Bit
Fluent Bit es un agente de código abierto que recopila registros, métricas y seguimientos de varios orígenes. Permite filtrar, modificar y agregar datos de eventos antes de enviarlos al almacenamiento.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Registros, métricas, seguimientos
- Repository:fluent-bit Kusto Output Plugin
- Documentación:Ingesta de datos con Fluent Bit en Azure Data Explorer
- Blog de la comunidad:Introducción a Fluent Bit y Azure Data Explorer
JDBC
Java Database Connectivity (JDBC) es una API de Java que se usa para conectarse a bases de datos y ejecutar consultas. Puede usar JDBC para conectarse a Azure Data Explorer.
- Funcionalidad: Consulta, visualización
- SDK subyacente:Java
- Documentación:Conexión a Azure Data Explorer con JDBC
Logic Apps
El conector de Microsoft Logic Apps permite ejecutar consultas y comandos automáticamente como parte de una tarea programada o desencadenada.
- Funcionalidad: Ingesta, exportación
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Orquestación de datos
- Documentación:Microsoft Logic Apps y Azure Data Explorer
Logstash
El complemento Logstash permite procesar eventos de Logstash en una base de datos de Azure Data Explorer para su posterior análisis.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Registros
- SDK subyacente:Java
- Repositorio: Microsoft Azure: https://github.com/Azure/logstash-output-kusto/
- Documentación:Ingesta de datos de Logstash
- Blog de la comunidad:Migración de Elasticsearch a Azure Data Explorer
Matlab
MATLAB es una plataforma de programación y computación numérica que se usa para analizar datos, desarrollar algoritmos y crear modelos. Puede obtener un token de autorización en MATLAB para consultar los datos en Azure Data Explorer.
- Funcionalidad: Consulta
- Documentación:Consulta de datos mediante MATLAB
NLog
NLog es una plataforma de registro flexible y gratuita para varias plataformas .NET, incluido .NET Standard. NLog permite escribir en varios destinos, como una base de datos, un archivo o una consola. Con NLog, puede cambiar la configuración de registro sobre la marcha. El receptor de NLog es un destino de NLog que permite enviar los mensajes de registro a la base de datos. El complemento proporciona una manera eficaz de recibir los registros en el clúster.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Telemetría, registros, métricas
- SDK subyacente:.NET
- Repositorio: Microsoft Azure: https://github.com/Azure/azure-kusto-nlog-sink
- Documentación:Ingesta de datos con el receptor de NLog
- Blog de la comunidad:Introducción al receptor de NLog y a Azure Data Explorer
ODBC
La conectividad abierta de bases de datos (ODBC) es una interfaz de programación de aplicaciones (API) ampliamente aceptada para el acceso a bases de datos. Azure Data Explorer es compatible con un subconjunto del protocolo de comunicación SQL Server (MS-TDS). Esta compatibilidad permite el uso del controlador ODBC para SQL Server con Azure Data Explorer.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Telemetría, registros, métricas
- Documentación:Conexión a Azure Data Explorer con ODBC
Abrir telemetría
El conector de OpenTelemetry admite la ingesta de datos de muchos receptores en la base de datos. Funciona como un puente para ingerir datos generados por la telemetría abierta en la base de datos mediante la personalización del formato de los datos exportados según sus necesidades.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Seguimientos, métricas, registros
- SDK subyacente:Go
- Repositorio: Abrir telemetría: https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Documentación:Ingesta de datos de OpenTelemetry
- Blog de la comunidad:Introducción a Open Telemetry y Azure Data Explorer
PowerApps
Power Apps es un conjunto de aplicaciones, servicios, conectores y plataforma de datos que proporciona un entorno de desarrollo rápido de aplicaciones para crear aplicaciones personalizadas que se conectan a los datos empresariales. El conector de Power Apps es útil si tiene una colección grande y creciente de datos de streaming en Azure Data Explorer y desea crear una aplicación de código bajo y muy funcional para usar estos datos.
- Funcionalidad: Consulta, ingesta, exportación
- Tipo de ingesta admitido: Dosificación
- Documentación:Uso de Power Apps para consultar datos en Azure Data Explorer
Power Automate
Power Automate es un servicio de orquestación que se usa para automatizar los procesos empresariales. El Power Automate conector (anteriormente Microsoft Flow) le permite organizar y programar flujos, enviar notificaciones y alertas como parte de una tarea programada o desencadenada.
- Funcionalidad: Ingesta, exportación
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Orquestación de datos
- Documentación:Conector de Microsoft Power Automate
Serilog
Serilog es un marco de registro popular para aplicaciones .NET. Serilog permite a los desarrolladores controlar qué instrucciones de registro se generan con granularidad arbitraria en función del nombre del registrador, el nivel de registrador y el patrón de mensaje. El receptor de Serilog, también conocido como anexador, transmite los datos de registro a la base de datos, donde puede analizar y visualizar los registros en tiempo real.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Registros
- SDK subyacente:.NET
- Repositorio: Microsoft Azure: https://github.com/Azure/serilog-sinks-azuredataexplorer
- Documentación:Ingesta de datos con el receptor de Serilog
- Blog de la comunidad:Introducción al receptor de Serilog y a Azure Data Explorer
Splunk
Splunk Enterprise es una plataforma de software que permite ingerir datos de muchos orígenes simultáneamente. El complemento de Azure Data Explorer envía datos de Splunk a una tabla del clúster.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Registros
- SDK subyacente:Python
- Repositorio: Microsoft Azure: https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Documentación:Ingesta de datos de Splunk
- Splunk Base:Microsoft Azure Data Explorer Add-On para Splunk
- Blog de la comunidad:Introducción a Microsoft Azure Data Explorer Add-On para Splunk
Reenviador universal de Splunk
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Dosificación
- Casos de uso: Registros
- Repositorio: Microsoft Azure: https://github.com/Azure/azure-kusto-splunk
- Documentación:Ingesta de datos de Splunk Universal Forwarder a Azure Data Explorer
- Blog de la comunidad:Ingesta de datos mediante el reenviador universal de Splunk en Azure Data Explorer
Telegraf
Telegraf es un agente con huella de memoria mínima, ligero y de código abierto para recopilar, procesar y escribir datos de telemetría, incluidos registros, métricas y datos de IoT. Telegraf admite cientos de complementos de entrada y salida. Es ampliamente utilizado y cuenta con el soporte técnico de la comunidad de código abierto. El complemento de salida actúa como conector de Telegraf y admite la ingesta de datos de muchos tipos de complementos de entrada en la base de datos.
- Funcionalidad: Ingestión
- Tipo de ingesta admitido: Procesamiento por lotes, streaming
- Casos de uso: Telemetría, registros, métricas
- SDK subyacente:Go
- Repositorio: InfluxData: https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Documentación:Ingesta de datos desde Telegraf
- Blog de la comunidad:Nuevo complemento de salida de Azure Data Explorer para Telegraf habilita la supervisión de SQL a gran escala
Contenido relacionado
Comentarios
https://aka.ms/ContentUserFeedback.
Próximamente: A lo largo de 2024 iremos eliminando gradualmente GitHub Issues como mecanismo de comentarios sobre el contenido y lo sustituiremos por un nuevo sistema de comentarios. Para más información, vea:Enviar y ver comentarios de