Публикация данных из разностных динамических таблиц в хранилище метаданных Hive

Вы можете сделать выходные данные конвейера обнаруживаемыми и доступными для запроса, публикуя наборы данных в хранилище метаданных Hive. Чтобы опубликовать наборы данных в хранилище метаданных, введите имя схемы в поле Target при создании конвейера. Вы также можете добавить целевую базу данных в существующий конвейер.

По умолчанию все таблицы и представления, созданные в разностных динамических таблицах, являются локальными для конвейера. Необходимо опубликовать таблицы в целевой схеме для запроса или использования наборов данных Delta Live Tables за пределами конвейера, в котором они объявлены.

Сведения о публикации таблиц из конвейеров в каталоге Unity см. в статье Использование Unity Catalog с конвейерами Delta Live Tables.

Публикация наборов данных Delta Live Tables в схеме

Вы можете объявить целевую схему для всех таблиц в конвейере Delta Live Tables с помощью поля целевой схемы в параметрах конвейера и создании пользовательских интерфейсов конвейера.

Можно также указать схему в конфигурации JSON, задав target значение.

Для публикации результатов в целевой схеме необходимо выполнить обновление конвейера.

Эту функцию можно использовать с несколькими конфигурациями среды для публикации в разных схемах в зависимости от среды. Например, можно опубликовать схему для разработки dev и prod схемы для рабочих данных.

Как запрашивать наборы данных в разностных динамических таблицах

После завершения обновления можно просмотреть схему и таблицы, запросить данные или использовать их в подчиненных приложениях.

После публикации таблицы Delta Live Tables можно запрашивать из любой среды с доступом к целевой схеме. Сюда входят конвейеры Databricks SQL, записных книжек и других конвейеров Разностных динамических таблиц.

Внимание

При создании конфигурации target публикуются только таблицы и связанные метаданные. Представления в хранилище метаданных не публикуются.

Исключение таблиц из целевой схемы

Если необходимо вычислить промежуточные таблицы, которые не предназначены для внешнего потребления, их можно предотвратить публикацию в схеме с помощью TEMPORARY ключевое слово. Временные таблицы по-прежнему хранят и обрабатывают данные в соответствии с семантикой разностных динамических таблиц, но не должны быть доступны за пределами текущего конвейера. Временная таблица сохраняется в течение всего времени существования конвейера, создающего его. Используйте следующий синтаксис для объявления временных таблиц:

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")