Общие сведения о приеме данных в Azure Data Explorer

Прием данных включает загрузку данных в таблицу в кластере. Azure Data Обозреватель обеспечивает допустимость данных, преобразует форматы по мере необходимости и выполняет такие манипуляции, как сопоставление схем, организация, индексирование, кодировка и сжатие. После приема данные будут доступны для запроса.

Azure Data Обозреватель предлагает однократное прием или создание конвейера непрерывного приема данных с помощью потоковой передачи или приема в очередь. Чтобы определить, что подходит для вас, ознакомьтесь с однократным приемом данных и непрерывным приемом данных.

Примечание.

Данные сохраняются в хранилище в соответствии с заданной политикой хранения.

Одноразовая прием данных

Однократное прием полезно для передачи исторических данных, заполнения недостающих данных и начальных этапов создания прототипов и анализа данных. Такой подход упрощает быструю интеграцию данных без необходимости непрерывного выполнения обязательств по конвейеру.

Существует несколько способов однократного приема данных. Используйте следующее дерево принятия решений, чтобы определить наиболее подходящий вариант для вашего варианта использования:

"Схема, которая выступает в качестве дерева принятия решений для однократного приема. Если вы используете исторические данные, следуйте указаниям в документе о приемах исторических данных. Если вы не используете исторические данные, а данные хранятся в поддерживаемом формате данных, рекомендуется использовать интерфейс получения данных. Если данные имеют неподдерживаемый формат, можно интегрировать с Фабрика данных Azure или написать собственный пользовательский код с помощью клиентских библиотек Kusto. Статьи с рекомендациями по каждому из этих вариантов связаны непосредственно после этой блок-диаграммы".

Дополнительные сведения см. в соответствующей документации:

Выноска	Соответствующая документация
	Сведения о приеме см. в форматах данных, поддерживаемых azure Data Обозреватель.
	См. форматы файлов, поддерживаемые для конвейеров Фабрика данных Azure.
	Сведения о импорте данных из существующей системы хранения см. в разделе "Прием исторических данных" в Обозреватель данных Azure.
	В веб-интерфейсе Обозреватель данных Azure можно получить данные из локального файла, Amazon S3 или служба хранилища Azure.
	Сведения об интеграции с Фабрика данных Azure см. в статье "Копирование данных в Обозреватель Azure" с помощью Фабрика данных Azure.
	Клиентские библиотеки Kusto доступны для C#, Python, Java, JavaScript, TypeScript и Go. Вы можете написать код для управления данными, а затем использовать библиотеку Приема Kusto для приема данных в таблицу azure Data Обозреватель. Данные должны находиться в одном из поддерживаемых форматов перед приемом.

Непрерывный прием данных

Непрерывное прием в ситуациях, требующих немедленной аналитики от динамических данных. Например, непрерывная приемка полезна для систем мониторинга, данных журналов и событий и аналитики в режиме реального времени.

Непрерывная прием данных включает настройку конвейера приема с помощью потоковой передачи или приема в очередь:

• Прием потоковой передачи. Этот метод обеспечивает задержку практически в реальном времени для небольших наборов данных на таблицу. Данные передаются в микропакетах из источника потоковой передачи, первоначально помещаются в хранилище строк, а затем передаются в экстенты хранилища столбцов. Дополнительные сведения см. в разделе "Настройка приема потоковой передачи".

• Прием в очереди: этот метод оптимизирован для высокой пропускной способности приема. Данные пакетируются на основе свойств приема, при этом небольшие пакеты затем объединяются и оптимизированы для быстрого выполнения запросов. По умолчанию максимальное значение очереди составляет 5 минут, 1000 элементов или общий размер 1 ГБ. Ограничение размера данных для команды приема в очереди составляет 6 ГБ. Этот метод использует механизмы повторных попыток для устранения временных сбоев и следует семантике обмена сообщениями по крайней мере один раз, чтобы гарантировать, что сообщения не будут потеряны в процессе. Дополнительные сведения о приеме в очереди см . в политике пакетной обработки приема.

Примечание.

Для большинства сценариев рекомендуется использовать прием в очереди, так как это более быстрый вариант.

Существует несколько способов настройки непрерывного приема данных. Используйте следующее дерево принятия решений, чтобы определить наиболее подходящий вариант для вашего варианта использования:

"Блок-диаграмма для принятия решений непрерывного приема. Сначала определите тип и расположение данных. Для данных о событиях можно создать подключение к данным Центров событий или прием данных с помощью Apache Kafka. Для данных Интернета вещей можно создать подключение к данным Центр Интернета вещей. Для данных в служба хранилища Azure можно создать подключение к данным сетки событий. Для данных, хранящихся в других местах, проверка обзор соединителей, чтобы узнать, есть ли выделенный соединитель, который может соответствовать вашему варианту использования. В этом случае следуйте инструкциям, чтобы использовать этот соединитель. Если нет, напишите пользовательский код с помощью клиентских библиотек Kusto. Статьи с рекомендациями по каждому из этих вариантов связаны непосредственно после этой блок-диаграммы".

Дополнительные сведения см. в соответствующей документации:

Выноска	Соответствующая документация
	Список соединителей см. в Подключение обзоре.
	Создайте подключение к данным Центров событий. Интеграция с Центрами событий предоставляет такие службы, как регулирование, повторные попытки, мониторинг и оповещения.
	Прием данных из Apache Kafka— распределенной платформы потоковой передачи для создания конвейеров потоковой передачи в режиме реального времени.
	Создайте подключение к данным Центр Интернета вещей. Интеграция с Центр Интернета вещей предоставляет такие службы, как регулирование, повторные попытки, мониторинг и оповещения.
	Создайте подключение к данным сетки событий. Интеграция с сеткой событий предоставляет такие службы, как регулирование, повторные попытки, мониторинг и оповещения.
	Дополнительные сведения см. в руководстве по соответствующему соединителю, например Apache Spark, Apache Kafka, Azure Cosmos DB, Fluent Bit, Logstash, Open Telemetry, Power Automate, Splunk и т. д. Дополнительные сведения см. в Подключение обзоре.
	Клиентские библиотеки Kusto доступны для C#, Python, Java, JavaScript, TypeScript и Go. Вы можете написать код для управления данными, а затем использовать библиотеку Приема Kusto для приема данных в таблицу azure Data Обозреватель. Данные должны находиться в одном из поддерживаемых форматов перед приемом.

Примечание.

Прием потоковой передачи не поддерживается для всех методов приема. Для получения сведений о поддержке проверка документацию для конкретного метода приема.

Прямое прием с помощью команд управления

Azure Data Обозреватель предлагает следующие команды управления приемом, которые будут получать данные непосредственно в кластер, а не использовать службу управления данными. Они должны использоваться только для изучения и прототипа, а не в рабочих или высокоуровневых сценариях.

• Встроенное прием: команда приема в виде встроенной строки содержит данные для приема в сам текст команды. Этот метод предназначен для импровизированного тестирования.
• Прием из запроса: команда .set, .append, .set-or-append или .set-or-replace косвенно указывает данные для приема в качестве результатов запроса или команды.
• Прием из хранилища: прием .ingest в команду получает данные для приема из внешнего хранилища, например Хранилище BLOB-объектов Azure, доступных кластером и на которые указывает команда.

Примечание.

В случае сбоя прием выполняется снова и повторно выполняется и выполняется повторное выполнение до 48 часов с использованием экспоненциального метода обратного отработки времени ожидания между попытками.

Сравнение методов приема

В следующей таблице сравниваются основные методы приема:

Название метода приема	Тип данных	Максимальный размер файла	Потоковая передача, очередь, прямая	Самые распространенные сценарии	Рекомендации
Соединитель Apache Spark	Все форматы, поддерживаемые средой Spark	Не ограничено	В очереди	Существующий конвейер, предварительная обработка в Spark перед приемом, быстрый способ создания безопасного конвейера потоковой передачи (Spark) из различных источников, поддерживаемых средой Spark.	Учитывайте стоимость кластера Spark. Если требуется функция пакетной записи, сравните возможности с предоставляемыми подключением к данным Data Explorer для службы "Сетка событий". Если требуется потоковая передача Spark, сравните возможности с предоставляемым подключением к данным для концентратора событий.
Фабрика данных Azure (ADF)	Поддерживаемые форматы данных	Без ограничений. Наследует ограничения ADF.	В очереди или на триггер ADF	Поддерживает форматы, неподдерживаемые, такие как Excel и XML, и могут копировать большие файлы из более чем 90 источников из перма в облако.	Для приема данных с помощью этого метода требуется относительно больше времени. ADF передает все данные в память, а затем начинает прием.
Сетка событий	Поддерживаемые форматы данных	1 ГБ без сжатия	В очереди	Непрерывный прием из службы хранилища Azure, внешние данные в службе хранилища Azure	Прием можно активировать с помощью действий по переименованию или созданию BLOB-объектов
Концентратор событий	Поддерживаемые форматы данных	Н/П	Очереди, потоковая передача	Сообщения, события
Получение интерфейса с данными	*SV, JSON	1 ГБ без сжатия	Прием в очереди или прямой прием	Однократный прием, создание схемы таблицы, определение непрерывного приема с помощью Сетки событий, массовый прием с помощью контейнера (до 5000 BLOB-объектов; без ограничений для приема данных за прошлые периоды)
Центр IoT	Поддерживаемые форматы данных	Н/П	Очереди, потоковая передача	Сообщения, события, свойства Интернета вещей
Соединитель Kafka	Avro, ApacheAvro, JSON, CSV, Parquet и ORC	Без ограничений. Наследует ограничения Java.	Очереди, потоковая передача	Существующий конвейер, большой объем потребления из источника.	Предпочтения можно определить с помощью существующего использования нескольких производителей или службы потребителей или требуемого уровня управления службами.
Клиентские библиотеки Kusto	Поддерживаемые форматы данных	1 ГБ без сжатия	Очереди, потоковая передача, прямая	Написание собственного кода в соответствии с потребностями организации	Программное прием оптимизировано для снижения затрат на прием (COG), минимизируя транзакции хранения во время и после процесса приема.
LightIngest	Поддерживаемые форматы данных	1 ГБ без сжатия	Прием в очереди или прямой прием	Миграция данных, исторические данные с скорректированными метками времени приема, массовое прием	Учитывает регистр и учитывает пробелы
Логические приложения	Поддерживаемые форматы данных	1 ГБ без сжатия	В очереди	Используется для автоматизации конвейеров.
LogStash	JSON	Без ограничений. Наследует ограничения Java.	В очереди	Существующий конвейер, используйте зрелый открытый код характер Logstash для потребления большого объема из входных данных.	Предпочтения можно определить с помощью существующего использования нескольких производителей или службы потребителей или требуемого уровня управления службами.
Power Automate	Поддерживаемые форматы данных	1 ГБ без сжатия	В очереди	Команды приема как часть потока. Используется для автоматизации конвейеров.

Дополнительные сведения о других соединителях см. в Подключение обзоре.

Разрешения

В следующем списке описаны разрешения, необходимые для различных сценариев приема:

• Чтобы создать новую таблицу, требуется по крайней мере разрешения пользователя базы данных.
• Для приема данных в существующую таблицу, не изменяя ее схему, требуются по крайней мере разрешения Ingestor базы данных.
• Чтобы изменить схему существующей таблицы, требуются по крайней мере разрешения Администратор таблицы или базы данных Администратор.

Дополнительные сведения см. в разделе "Управление доступом на основе ролей Kusto".

Процесс приема

Ниже описан общий процесс приема:

1. Установка политики пакетной обработки (необязательно) — данные пакетируются на основе политики пакетного приема. Инструкции см. в разделе "Оптимизация для пропускной способности".

2. Задайте политику хранения (необязательно): если политика хранения базы данных не подходит для ваших потребностей, переопределите ее на уровне таблицы. Дополнительные сведения см. в статье Retention policy (Политика хранения).

3. Создайте таблицу: если вы используете интерфейс получения данных, вы можете создать таблицу в рамках потока приема. В противном случае создайте таблицу перед приемом в веб-интерфейсе Azure Data Обозреватель или с помощью команды create table.

4. Создание сопоставления схемы: сопоставления схем помогают привязать поля исходных данных к столбцам целевой таблицы. Поддерживаются различные типы сопоставлений, включая форматы, ориентированные на строки, такие как CSV, JSON и AVRO, а также форматы, ориентированные на столбцы, такие как Parquet. В большинстве методов сопоставления также могут быть предварительно созданы в таблице.

5. Задайте политику обновления (необязательно):некоторые форматы данных, такие как Parquet, JSON и Avro, позволяют выполнять простые преобразования времени приема. Для более сложной обработки во время приема используйте политику обновления. Эта политика автоматически выполняет извлечение и преобразования для приема данных в исходной таблице, а затем принимает измененные данные в одну или несколько целевых таблиц.

6. Прием данных: используйте предпочитаемое средство приема, соединитель или метод для привлечения данных.

Связанный контент

• Обзор соединителей
• Поддерживаемые форматы данных
• Поддерживаемые свойства приема
• Обзор политик