Получение данных из файла

Прием данных — это процесс, используемый для загрузки данных из одного или нескольких источников в таблицу в Azure Data Explorer. После принятия данные становятся доступными для запроса. Из этой статьи вы узнаете, как получить данные из локального файла в новую или существующую таблицу.

Общие сведения о приеме данных см. в статье Общие сведения о приеме данных в Azure Data Explorer.

Предварительные требования

Получение данных

  1. В меню слева выберите Запрос.

  2. Щелкните правой кнопкой мыши базу данных, в которую требуется принять данные. Выберите Получить данные.

    Снимок экрана: вкладка запроса с щелчком правой кнопкой мыши на базе данных и открытым диалоговым окном получения параметров.

Source

В окне Получение данных выбрана вкладка Источник .

Выберите источник данных из списка доступных. В этом примере вы будете принимать данные из локального файла.

Снимок экрана: окно получения данных с выбранной вкладкой

Примечание

Максимальный размер принимаемого файла составляет 6 ГБ. Для приема мы советуем файлы размером от 100 МБ до 1 ГБ.

Configure

  1. Выберите целевую базу данных и таблицу. Если вы хотите принять данные в новую таблицу, выберите + Новая таблица и введите имя таблицы.

    Примечание

    Имена таблиц могут содержать до 1024 символов, включая пробелы, буквы и цифры, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

  2. Перетащите файлы в окно или нажмите кнопку Обзор файлов.

    Примечание

    Можно добавить до 1000 файлов. Каждый файл может быть не более 1 ГБ без сжатия.

    Снимок экрана: вкладка

  3. Щелкните Далее.

Изучение

Откроется вкладка Проверка с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Снимок экрана: вкладка

При необходимости

Изменить столбцы

Примечание

  • Для табличных форматов (CSV, TSV, PSV) нельзя сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
  • Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

  • Тип таблицы — новая или существующая.
  • Тип сопоставления — новое или существующее.
Тип таблицы Тип сопоставления Доступные корректировки
Новая таблица Новое сопоставление Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца
Существующая таблица Новое сопоставление Добавление столбца (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица Существующее сопоставление нет

Снимок экрана: столбцы, открытые для редактирования.

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне Изменение столбцов .

Преобразования сопоставления можно выполнять для столбца типа string или datetime, при этом источник имеет тип данных int или long. Поддерживаются следующие преобразования сопоставлений:

  • DateTimeFromUnixSeconds;
  • DateTimeFromUnixMilliseconds;
  • DateTimeFromUnixMicroseconds;
  • DateTimeFromUnixNanoseconds.

Дополнительные параметры на основе типа данных

Табличный (CSV, TSV, PSV)::

  • При приеме табличных форматов в существующей таблице можно выбрать Дополнительно>сохранить текущую схему таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Если этот параметр установлен, сопоставление выполняется по порядку, а схема таблицы остается прежней. Если этот флажок снят, для входящих данных создаются новые столбцы независимо от структуры данных.

  • Чтобы использовать первую строку в качестве имен столбцов, выберите Дополнительно>Первая строка является заголовком столбца.

    Снимок экрана: дополнительные параметры CSV.

JSON:

  • Чтобы определить деление данных JSON в столбцах, выберите Расширенные>вложенные уровни от 1 до 100.

  • Если выбрать Дополнительно>Игнорировать ошибки формата данных, данные будут приниматься в формате JSON. Если оставить это поле проверка не выбрано, данные будут приниматься в формате multijson.

    Снимок экрана: дополнительные параметры JSON.

Сводка

В окне Подготовка данных все три шага помечены зеленым цветом проверка по завершении приема данных. Вы можете просмотреть команды, которые использовались для каждого шага, или выбрать карта для запроса, визуализации или удаления данных.

Снимок экрана: страница сводки с успешным приемом.