Share via

Общие сведения об интеграции

  • Статья

Существует множество соединителей данных, средств и интеграций, которые легко работают с платформой для приема, оркестрации, вывода и запроса данных. В этом документе представлен общий обзор доступных соединителей, средств и интеграций. Подробные сведения предоставляются для каждого соединителя, а также ссылки на его полную документацию.

На страницах обзора определенного типа интеграции нажмите одну из следующих кнопок.

Интеграция данных

Интеграция запросов

Интеграция визуализации

Таблицы сравнения

В следующих таблицах перечислены возможности каждого элемента. Выберите вкладку, соответствующую соединителям или средствам и интеграции. Имя каждого элемента связано с его подробным описанием.

В следующей таблице перечислены доступные соединители и их возможности.

Имя Прием Экспорт Оркестрация Запрос
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark для Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Фабрика данных Azure. ✔️ ✔️
Сетка событий Azure ✔️
Центры событий Azure ✔️
Функции Azure ✔️ ✔️
Центры Интернета вещей Azure ✔️
Azure Stream Analytics ✔️
Fluent Bit ✔️
JDBC ✔️
Logic Apps ✔️ ✔️ ✔️
Logstash. ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
Открыть телеметрия ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Splunk Universal Forwarder ✔️
Telegraf ✔️

Подробные описания

Ниже приведены подробные описания соединителей, средств и интеграций. Выберите вкладку, соответствующую соединителям или средствам и интеграции. Все доступные элементы перечислены в таблицах сравнения выше.

Apache Kafka

Apache Kafka — это распределенная платформа потоковой передачи для создания конвейеров потоковой передачи данных в режиме реального времени, которые надежно перемещают данные между системами или приложениями. Kafka Connect — это инструмент для масштабируемой и надежной потоковой передачи данных между Apache Kafka и другими системами данных. Приемник Kafka служит соединителем из Kafka и не требует использования кода. Это золотой сертификат Confluent - прошел всесторонний обзор и тестирование на качество, полноту функций, соответствие стандартам и производительность.

Apache Flink — это платформа и модуль распределенной обработки для вычислений с отслеживанием состояния в неограниченных и ограниченных потоках данных. Соединитель реализует приемник данных для перемещения данных между кластерами Azure Data Explorer и Flink. С помощью Azure Data Explorer и Apache Flink можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев, управляемых данными. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics.

Apache Log4J 2

Log4J — это популярная платформа ведения журнала для приложений Java, поддерживаемых Apache Foundation. Log4j позволяет разработчикам управлять выводом инструкций журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня средства ведения журнала и шаблона сообщений. Приемник Apache Log4J 2 позволяет выполнять потоковую передачу данных журнала в базу данных, где можно анализировать и визуализировать журналы в режиме реального времени.

Apache Spark

Apache Spark — это единый аналитический механизм для крупномасштабной обработки данных. Соединитель Spark — это проект открытый код, который может выполняться в любом кластере Spark. Он реализует источник данных и приемник данных для перемещения данных в кластеры Spark или из него. С помощью соединителя Apache Spark можно создавать быстрые и масштабируемые приложения, предназначенные для сценариев на основе данных. Например, машинное обучение (ML), извлечение-преобразование-загрузка (ETL) и Log Analytics. С помощью соединителя база данных становится допустимым хранилищем данных для стандартных операций источника и приемника Spark, таких как чтение, запись и записьStream.

Apache Spark для Azure Synapse Analytics

Apache Spark — это платформа параллельной обработки, которая поддерживает обработку в памяти для повышения производительности приложений для анализа больших данных. Apache Spark в Azure Synapse Analytics — это одна из реализаций Apache Spark в облаке корпорации Майкрософт. Доступ к базе данных можно получить из Synapse Studio с помощью Apache Spark для Azure Synapse Analytics.

Azure Cosmos DB

Подключение к каналу изменений Azure Cosmos DB — это конвейер приема данных, который прослушивает канал изменений Cosmos DB и передает данные в базу данных.

Фабрика данных Azure

Фабрика данных Azure (ADF) — это облачная служба интеграции данных, которая позволяет интегрировать разные хранилища данных и выполнять множество действий с данными.

Сетка событий Azure

Прием Сетки событий — это конвейер, который прослушивает службу хранилища Azure и обновляет базу данных для получения сведений при возникновении событий, подписанных. Вы можете настроить непрерывный прием из службы хранилища Azure (хранилище BLOB-объектов и ADLSv2) с Сетка событий Azure подпиской для уведомлений о создании или переименовании BLOB-объектов и потоковой передачи уведомлений через Центры событий Azure.

  • Функциональность: Приеме внутрь
  • Поддерживаемый тип приема: Пакетная обработка, потоковая передача
  • Варианты использования: Обработка событий
  • Документация.Подключение к данным Сетки событий

Центры событий Azure

Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий. Вы можете настроить непрерывный прием из Центров событий, управляемых клиентом.

Функции Azure

Функции Azure позволяют выполнять бессерверный код в облаке по расписанию или в ответ на событие. С помощью входных и выходных привязок для Функции Azure можно интегрировать базу данных в рабочие процессы для приема данных и выполнения запросов к базе данных.

Центры Интернета вещей Azure

Центр Интернета вещей Azure — это управляемая служба, размещенная в облаке, которая действует как центральный узел сообщений для двунаправленной связи между вашим приложением Интернета вещей и устройствами, которыми оно управляет. Вы можете настроить непрерывный прием из Центров Интернета вещей, управляемых клиентом, используя встроенную конечную точку, совместимую с Центрами событий для сообщений с устройства в облако.

Azure Stream Analytics

Azure Stream Analytics — это подсистема аналитики в режиме реального времени и сложной обработки событий, предназначенная для одновременной обработки больших объемов быстрой потоковой передачи данных из нескольких источников.

  • Функциональность: Приеме внутрь
  • Поддерживаемый тип приема: Пакетная обработка, потоковая передача
  • Варианты использования: Обработка событий
  • Документация.Прием данных из Azure Stream Analytics

Fluent Bit

Fluent Bit — это агент с открытым кодом, который собирает журналы, метрики и трассировки из различных источников. Она позволяет фильтровать, изменять и агрегировать данные о событиях перед их отправкой в хранилище.

JDBC

Java Database Connectivity (JDBC) — это API Java, используемый для подключения к базам данных и выполнения запросов. JDBC можно использовать для подключения к Azure Data Explorer.

Logic Apps

Соединитель Microsoft Logic Apps позволяет выполнять запросы и команды автоматически в рамках запланированной или активированной задачи.

  • Функциональность: Прием, экспорт
  • Поддерживаемый тип приема: Пакетная обработка
  • Варианты использования: Оркестрация данных
  • Документация:Microsoft Logic Apps и Azure Data Explorer

Logstash

Подключаемый модуль Logstash позволяет обрабатывать события из Logstash в базе данных azure Data Explorer для последующего анализа.

Matlab

MATLAB — это платформа программирования и числовых вычислений, используемая для анализа данных, разработки алгоритмов и создания моделей. Вы можете получить маркер авторизации в MATLAB для запроса данных в Azure Data Explorer.

NLog

NLog — это гибкая и бесплатная платформа ведения журнала для различных платформ .NET, включая .NET Standard. NLog позволяет выполнять запись в несколько целевых объектов, таких как база данных, файл или консоль. С помощью NLog вы можете изменять конфигурацию ведения журнала в режиме реального времени. Приемник NLog является целевым объектом для NLog, который позволяет отправлять сообщения журнала в базу данных. Подключаемый модуль предоставляет эффективный способ отправки журналов в кластер.

ODBC

Открытое подключение к базе данных (ODBC) - широко распространенный интерфейс прикладного программирования (API) для доступа к базе данных. Azure Data Explorer совместима с подмножеством протокола SQL Server связи (MS-TDS). Такая совместимость позволяет использовать драйвер ODBC для SQL Server с Azure Data Explorer.

  • Функциональность: Приеме внутрь
  • Поддерживаемый тип приема: Пакетная обработка, потоковая передача
  • Варианты использования: Телеметрия, журналы, метрики
  • Документация.Подключение к azure Data Explorer с помощью ODBC

Открыть телеметрия

Соединитель OpenTelemetry поддерживает прием данных из множества получателей в базу данных. Она служит мостом для приема данных, созданных открытой телеметрией, в базу данных путем настройки формата экспортированных данных в соответствии с вашими потребностями.

Power Apps

Power Apps — это набор приложений, служб, соединителей и платформы данных, который предоставляет быструю среду разработки приложений для создания пользовательских приложений, подключающихся к бизнес-данным. Соединитель Power Apps полезен, если у вас есть большая и растущая коллекция потоковых данных в Azure Data Explorer и вы хотите создать высокофункциональное приложение с низким уровнем кода, чтобы использовать эти данные.

Power Automate

Power Automate — это служба оркестрации, используемая для автоматизации бизнес-процессов. Соединитель Power Automate (ранее Microsoft Flow) позволяет управлять и планировать потоки, отправлять уведомления и оповещения в рамках запланированной или активированной задачи.

  • Функциональность: Прием, экспорт
  • Поддерживаемый тип приема: Пакетная обработка
  • Варианты использования: Оркестрация данных
  • Документация.Соединитель Microsoft Power Automate

Serilog

Serilog — это популярная платформа ведения журнала для приложений .NET. Serilog позволяет разработчикам управлять выводом инструкций журнала с произвольной степенью детализации на основе имени средства ведения журнала, уровня средства ведения журнала и шаблона сообщений. Приемник Serilog, также известный как аппендер, передает данные журнала в базу данных, где вы можете анализировать и визуализировать журналы в режиме реального времени.

Splunk

Splunk Enterprise — это программная платформа, которая позволяет принимать данные из нескольких источников одновременно. Надстройка Azure Data Explorer отправляет данные из Splunk в таблицу в кластере.

Splunk Universal Forwarder

Telegraf

Telegraf — это упрощенный агент с открытым кодом и минимальным объемом памяти для сбора, обработки и записи данных телеметрии, включая журналы, метрики и данные Интернета вещей. Telegraf поддерживает сотни подключаемых модулей ввода и вывода. Это средство широко используется и хорошо поддерживается сообществом разработчиков ПО с открытым кодом. Выходной подключаемый модуль служит соединителем от Telegraf и поддерживает прием данных из многих типов входных подключаемых модулей в базу данных.

См. также