Что такое Unity Catalog?

В этой статье представлен каталог Unity, унифицированное решение для управления данными и ресурсами ИИ в lakehouse Databricks.

Обзор Unity Catalog

Каталог Unity предоставляет централизованный контроль доступа, аудит, происхождение данных и возможности обнаружения данных в рабочих областях Azure Databricks.

Ключевые функции Unity Catalog:

• Определите один раз, безопасно везде: каталог Unity предлагает единое место для администрирования политик доступа к данным, применяемых во всех рабочих областях.
• Соответствующая стандартам модель безопасности: модель безопасности Unity Catalog основана на стандарте ANSI SQL и позволяет администраторам предоставлять разрешения на уровне каталогов, баз данных (также называемых схемами), таблиц и представлений в существующих озерах данных с помощью привычного синтаксиса.
• Встроенный аудит и происхождение: каталог Unity автоматически записывает журналы аудита на уровне пользователя, записывающие доступ к данным. Каталог Unity также записывает данные происхождения, которые отслеживают создание и использование ресурсов данных на всех языках.
• Обнаружение данных: каталог Unity позволяет тегировать и документировать ресурсы данных, а также предоставляет интерфейс поиска, помогающий потребителям данных находить данные.
• Системные таблицы (общедоступная предварительная версия): каталог Unity позволяет легко получать доступ к операционным данным вашей учетной записи, включая журналы аудита, оплачиваемое использование и происхождение.

Как каталог Unity управляет доступом к данным и ресурсам ИИ в облачном хранилище объектов?

Databricks рекомендует настроить весь доступ к облачному хранилищу объектов с помощью каталога Unity. См. Подключение в облачное хранилище объектов с помощью каталога Unity.

Каталог Unity представляет следующие понятия для управления связями между данными в Azure Databricks и облачном хранилище объектов:

• Учетные данные хранилища заключают в себе долгосрочные облачные учетные данные, которые обеспечивают доступ к облачному хранилищу. Например, управляемое удостоверение Azure, которое может получить доступ к контейнеру Azure Data Lake Storage 2-го поколения или маркеру API Cloudflare R2. Сведения о создании учетных данных хранения для подключения к Azure Data Lake Storage 2-го поколения и создании учетных данных хранилища для подключения к Cloudflare R2.
• Внешние расположения содержат ссылку на учетные данные хранилища и путь к облачному хранилищу. См. статью "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".
• Управляемые расположения хранилища связывают расположение хранилища в контейнере Azure Data Lake Storage 2-го поколения или контейнере Cloudflare R2 в собственной облачной учетной записи хранения с хранилищем метаданных, каталогом или схемой. Управляемые расположения хранилища используются в качестве расположения хранилища по умолчанию для управляемых таблиц и управляемых томов. См. раздел "Указание расположения управляемого хранилища" в каталоге Unity.
• Тома предоставляют доступ к не табличным данным, хранящимся в облачном хранилище объектов. См. статью "Создание и работа с томами".
• Таблицы предоставляют доступ к табличным данным, хранящимся в облачном хранилище объектов.

Примечание.

Федерация Lakehouse обеспечивает интеграцию с данными в других внешних системах. Эти объекты не поддерживаются хранилищем облачных объектов.

Объектная модель Unity Catalog

В каталоге Unity иерархия основных объектов данных передается из хранилища метаданных в таблицу или том:

• Хранилище метаданных: контейнер верхнего уровня для метаданных. Каждое хранилище метаданных предоставляет трехуровневое пространство имен (catalog.schema.table), которое упорядочивает данные.
• Каталог: первый уровень иерархии объектов, используемый для упорядочения ресурсов данных.
• Схема: схемы, также называемые базами данных, являются вторым уровнем иерархии объектов и содержат таблицы и представления.
• Таблицы, представления и тома. На самом низком уровне иерархии объектов данных являются таблицы, представления и тома. Тома обеспечивают управление не табличными данными.
• Модели. Хотя они не являются, строго говоря, ресурсы данных, зарегистрированные модели также могут управляться в каталоге Unity и находиться на самом низком уровне в иерархии объектов.

Это упрощенное представление защищаемых объектов каталога Unity. Дополнительные сведения см. в разделе "Защищаемые объекты" в каталоге Unity.

Вы ссылаетесь на все данные в каталоге Unity с помощью трехуровневого пространства имен: catalog.schema.assetгде asset может быть таблица, представление, том или модель.

Хранилища метаданных

Хранилище метаданных — это контейнер верхнего уровня объектов в каталоге Unity. Он регистрирует метаданные о ресурсах ИИ и разрешениях, которые управляют доступом к ним. Администраторы учетных записей Azure Databricks должны создать одно хранилище метаданных для каждого региона, в котором они работают, и назначить их рабочим областям Azure Databricks в одном регионе. Чтобы рабочая область могла использовать Unity Catalog, к ней должно быть подключено хранилище метаданных Unity Catalog.

Хранилище метаданных можно настроить с помощью управляемого хранилища в контейнере Azure Data Lake Storage 2-го поколения или контейнере Cloudflare R2 в собственной облачной учетной записи хранения. См . раздел "Управляемое хранилище".

Примечание.

Это хранилище метаданных отличается от хранилища метаданных Hive, включенного в рабочие области Azure Databricks, которые не были включены для каталога Unity. Если рабочая область содержит устаревшее хранилище метаданных Hive, данные в этом хранилище метаданных по-прежнему будут доступны вместе с данными, определенными в каталоге Unity, в именованном hive_metastoreкаталоге. Обратите внимание, что каталог не управляется каталогом Unity и не использует тот же набор функций, что hive_metastore и каталоги, определенные в каталоге Unity.

См. статью Создание хранилища метаданных Unity Catalog.

Каталоги

Каталог — это первый уровень трехуровневого пространства имен Unity Catalog. Он используется для упорядочения ресурсов данных. Пользователи могут просматривать все каталоги, для которых им назначено USE CATALOGразрешение на доступ.

В зависимости от того, как была создана и включена рабочая область для каталога Unity, пользователи могут иметь разрешения по умолчанию для автоматически подготовленных каталогов, включая main каталог или каталог рабочей области (<workspace-name>). Дополнительные сведения см. в разделе "Привилегии пользователей по умолчанию".

См. статью Создание каталогов и управление ими.

Схемы

Схема (также называемая базой данных) — это второй уровень трехуровневого пространства имен Unity Catalog. Схема упорядочивает таблицы и представления. Пользователи могут просматривать все схемы, на которые им назначено USE SCHEMA разрешение, а также USE CATALOG разрешение родительского каталога схемы. Чтобы получить доступ к таблице или представлению в схеме, пользователи также должны иметь SELECT разрешение на таблицу или представление.

Если ваша рабочая область была включена вручную для каталога Unity, она включает схему default по умолчанию в каталоге main , доступную всем пользователям в рабочей области. Если рабочая область была включена для каталога Unity автоматически и включает <workspace-name> каталог, этот каталог содержит схему с именем default , которая доступна всем пользователям в рабочей области.

См. статью Создание схем (баз данных) и управление ими.

Таблицы

Таблица — это третий уровень трехуровневого пространства имен Unity Catalog. Она содержит строки данных. Для создания таблицы пользователь должен иметь разрешения CREATE и USE SCHEMA для схемы, а также разрешение USE CATALOG для ее родительского каталога. Чтобы запросить таблицу, пользователи должны иметь SELECT разрешение на таблицу, USE SCHEMA разрешение на родительскую схему и USE CATALOG разрешение родительского каталога.

Таблица может быть управляемой или внешней.

Управляемые таблицы

Управляемые таблицы создаются в каталоге Unity по умолчанию. Каталог Unity управляет жизненным циклом и макетом файлов для этих таблиц. Не следует использовать средства за пределами Azure Databricks для управления файлами в этих таблицах напрямую. Управляемые таблицы всегда используют формат таблицы Delta .

Для рабочих областей, которые были включены для каталога Unity вручную, управляемые таблицы хранятся в корневом расположении хранилища, которое вы настраиваете при создании хранилища метаданных. При необходимости можно указать расположения хранилища управляемых таблиц на уровнях каталога или схемы, переопределяя расположение корневого хранилища.

Для рабочих областей, которые были включены для каталога Unity автоматически, расположение корневого хранилища метаданных является необязательным, а управляемые таблицы обычно хранятся на уровнях каталога или схемы.

При удалении управляемой таблицы ее базовые данные удаляются из облачного клиента в течение 30 дней.

См. статью Управляемые таблицы.

Внешние таблицы

Внешние таблицы — это таблицы, жизненный цикл данных и макет файла которых не управляются каталогом Unity. Используйте внешние таблицы для регистрации больших объемов существующих данных в каталоге Unity или прямого доступа к данным с помощью средств за пределами кластеров Azure Databricks или хранилищ SQL Databricks.

При удалении внешней таблицы Unity Catalog не удаляет базовые данные. Вы можете управлять разрешениями в отношении внешних таблиц и использовать их в запросах так же, как и с управляемыми таблицами.

Для внешних таблиц могут использоваться следующие форматы файлов:

• РАЗНИЦА
• CSV
• JSON
• AVRO;
• PARQUET;
• ORC
• ТЕКСТ

См. статью Внешние таблицы.

Представления

Представление — это объект только для чтения, созданный из одной или нескольких таблиц и представлений в хранилище метаданных. Это третий уровень трехуровневого пространства имен каталога Unity. Представление может состоять из таблиц и других представлений в нескольких схемах и каталогах. Для включения разрешений на уровне строк и столбцов можно создать динамические представления.

См. раздел Создание динамического представления.

Тома

Том находится на третьем уровне трехуровневого пространства имен каталога Unity. Тома представляют собой одноуровневые элементы для таблиц, представлений и других объектов, организованных в схеме в каталоге Unity.

Тома содержат каталоги и файлы для данных, хранящихся в любом формате. Тома обеспечивают не табличный доступ к данным, что означает, что файлы в томах не могут быть зарегистрированы в виде таблиц.

• Чтобы создать том, пользователи должны иметь CREATE VOLUME и USE SCHEMA разрешения на схему, и у них должно быть USE CATALOG разрешение на родительский каталог.
• Для чтения файлов и каталогов, хранящихся в томе, пользователи должны иметь READ VOLUME разрешение, USE SCHEMA разрешение на родительскую схему и USE CATALOG разрешение на родительский каталог.
• Чтобы добавить, удалить или изменить файлы и каталоги, хранящиеся в томе, пользователи должны иметь WRITE VOLUME разрешение, USE SCHEMA разрешение на родительскую схему и USE CATALOG разрешение родительского каталога.

Том может быть управляемым или внешним.

Примечание.

При определении тома облачный URI-код ресурса (URI) к данным в пути тома регулируется разрешениями тома.

Управляемые тома

Управляемые тома — это удобное решение, если требуется подготовить управляемое расположение для работы с не табличными файлами.

Управляемые тома хранят файлы в расположении хранилища каталога Unity по умолчанию для схемы, в которой они содержатся. Для рабочих областей, которые были включены для каталога Unity вручную, управляемые тома хранятся в корневом расположении хранилища, которое вы настраиваете при создании хранилища метаданных. При необходимости можно указать расположения хранилища управляемых томов на уровне каталога или схемы, переопределяя расположение корневого хранилища. Для рабочих областей, которые были включены для каталога Unity автоматически, расположение корневого хранилища метаданных является необязательным, а управляемые тома обычно хранятся на уровне каталога или схемы.

Следующий приоритет определяет расположение, используемое для управляемого тома:

• Расположение схемы
• Расположение каталога
• Расположение корневого хранилища хранилища метаданных каталога Unity

При удалении управляемого тома файлы, хранящиеся в этом томе, также удаляются из облачного клиента в течение 30 дней.

См. раздел "Что такое управляемый том?".

Внешние тома

Внешний том регистрируется во внешнем расположении каталога Unity и предоставляет доступ к существующим файлам в облачном хранилище без необходимости переноса данных. Пользователи должны иметь CREATE EXTERNAL VOLUME разрешение на внешнее расположение для создания внешнего тома.

Внешние тома поддерживают сценарии, в которых файлы создаются другими системами и выполняются для доступа из Azure Databricks с помощью хранилища объектов или где средства за пределами Azure Databricks требуют прямого доступа к файлам.

Каталог Unity не управляет жизненным циклом и макетом файлов во внешних томах. При удалении внешнего тома каталог Unity не удаляет базовые данные.

См. раздел " Что такое внешний том?".

Модели

Модель находится на третьем уровне трехуровневого пространства имен каталога Unity. В этом контексте "модель" относится к модели машинного обучения, зарегистрированной в реестре моделей MLflow. Чтобы создать модель в каталоге Unity, пользователи должны иметь CREATE MODEL привилегии для каталога или схемы. Пользователь также должен иметь привилегии USE CATALOG в родительском каталоге и USE SCHEMA родительской схеме.

Управляемое хранилище

Управляемые таблицы и управляемые тома можно хранить на любом из этих уровней в иерархии объектов каталога Unity: хранилище метаданных, каталог или схема. служба хранилища на более низких уровнях в иерархии переопределяет хранилище, определенное на более высоких уровнях.

Когда администратор учетной записи создает хранилище метаданных вручную, у них есть возможность назначить место хранения в контейнере Azure Data Lake Storage 2-го поколения или контейнере Cloudflare R2 в собственной облачной учетной записи хранения для использования в качестве хранилища метаданных для управляемых таблиц и томов. Если назначено управляемое расположение хранилища на уровне хранилища метаданных, то управляемые расположения хранилища на уровне каталога и схемы являются необязательными. Тем не менее, хранилище на уровне метаданных является необязательным, и Databricks рекомендует назначать управляемое хранилище на уровне каталога для изоляции логических данных. См . стандартные блоки управления данными и изоляции данных.

Внимание

Если рабочая область была включена для каталога Unity автоматически, хранилище метаданных каталога Unity было создано без управляемого хранилища на уровне метаданных. Вы можете добавить хранилище на уровне хранилища метаданных, но Databricks рекомендует назначать управляемое хранилище на уровне каталога и схемы. Сведения о том, нужно ли хранить хранилище на уровне метаданных, см. в разделе (Необязательно) Создание хранилища метаданных, а данные физически разделены в хранилище.

Управляемое хранилище имеет следующие свойства:

• Управляемые таблицы и управляемые тома хранят файлы данных и метаданных в управляемом хранилище.
• Управляемые расположения хранилища не могут перекрываться с внешними таблицами или внешними томами.

В следующей таблице описывается объявление управляемого хранилища и связь с объектами каталога Unity:

Связанный объект каталога Unity	Метод настройки	Отношение к внешним расположениям
Хранилище мета-данных	Настраивается администратором учетной записи во время создания хранилища метаданных или добавляется после создания хранилища метаданных, если хранилище не было указано при создании.	Не удается перекрывать внешнее расположение.
Каталог	Указан во время создания каталога с помощью MANAGED LOCATION ключевое слово.	Должен содержаться в внешнем расположении.
Схема	Указан во время создания схемы с помощью MANAGED LOCATION ключевое слово.	Должен содержаться в внешнем расположении.

Расположение управляемого хранилища, используемое для хранения данных и метаданных для управляемых таблиц и управляемых томов, использует следующие правила:

• Если содержащая схема имеет управляемое расположение, данные хранятся в управляемом расположении схемы.
• Если содержащая схема не имеет управляемого расположения, но каталог имеет управляемое расположение, данные хранятся в управляемом расположении каталога.
• Если ни содержащая схема, ни содержащий каталог не имеют управляемого расположения, данные хранятся в управляемом расположении хранилища метаданных.

служба хранилища учетных данных и внешних расположений

Для управления доступом к базовому облачному хранилищу для внешних таблиц, внешних томов и управляемого хранилища каталог Unity использует следующие типы объектов:

• служба хранилища учетные данные инкапсулируют долгосрочные облачные учетные данные, предоставляющие доступ к облачному хранилищу, например управляемое удостоверение Azure, которое может получить доступ к контейнеру Azure Data Lake Storage 2-го поколения или маркеру API Cloudflare R2. Сведения о создании учетных данных хранения для подключения к Azure Data Lake Storage 2-го поколения и создании учетных данных хранилища для подключения к Cloudflare R2.
• Внешние расположения содержат ссылку на учетные данные хранилища и путь к облачному хранилищу.

См. Подключение в облачное хранилище объектов с помощью каталога Unity.

Управление удостоверениями для Unity Catalog

Unity Catalog использует удостоверения в учетной записи Azure Databricks для разрешения пользователей, субъектов-служб и групп, а также для принудительного применения разрешений.

Чтобы настроить удостоверения в учетной записи, следуйте инструкциям по управлению пользователями, субъектами-службами и группами. При создании политик управления доступом в Unity Catalog следует ссылаться на этих пользователей, субъекты-службы и группы.

Пользователи каталога Unity, субъекты-службы и группы также должны быть добавлены в рабочие области для доступа к данным каталога Unity в записной книжке, запроса Databricks SQL, Обозреватель каталога или команды REST API. Назначение пользователей, субъектов-служб и групп для рабочих областей называется федерацией удостоверений.

Все рабочие области, к которым подключено хранилище метаданных Unity Catalog, включены для федерации удостоверений.

Особые замечания относительно групп

Все группы, которые уже существуют в рабочей области, помечены как Workspace local (Рабочая область (локальная)) в консоли учетной записи. Эти группы локальной рабочей области нельзя использовать в Unity Catalog для определения политик доступа. Необходимо использовать группы уровня учетной записи. Если команда ссылается на группу локальной рабочей области, эта команда вернет ошибку с сообщением о том, что группа не найдена. Если вы ранее использовали группы локальной рабочей области для управления доступом к записным книжкам и другим артефактам, эти разрешения остаются в силе.

См. раздел Управление группами.

Роли администратора для Unity Catalog

Администраторы учетных записей, администраторы хранилища метаданных и администраторы рабочей области участвуют в управлении каталогом Unity:

См. Администратор привилегий в каталоге Unity.

Разрешения на данные в Unity Catalog

В каталоге Unity данные по умолчанию защищены. Изначально пользователи не имеют доступа к данным в хранилище метаданных. Доступ может предоставляться администратором хранилища метаданных, владельцем объекта, владельцем каталога или схемы, содержащей объект. Защищаемые объекты в каталоге Unity иерархичны, а привилегии наследуются сверху вниз.

Вы можете назначать и отзывать разрешения с помощью Обозреватель каталога, команд SQL или REST API.

См. статью Управление привилегиями в каталоге Unity.

Поддерживаемые режимы доступа к вычислительным ресурсам и кластерам для каталога Unity

Каталог Unity поддерживается в кластерах под управлением Databricks Runtime 11.3 LTS или более поздней версии. Каталог Unity поддерживается по умолчанию во всех вычислительных версиях хранилища SQL.

Кластеры, работающие в более ранних версиях Databricks Runtime, не поддерживают все функции и функциональные возможности каталога Unity.

Чтобы обеспечить доступ к данным в Unity Catalog, для кластеров нужно настроить правильный режим доступа. Решение Unity Catalog защищено по умолчанию. Если кластер не настроен с одним из режимов доступа с поддержкой каталога Unity (то есть общий или назначенный), кластер не может получить доступ к данным в каталоге Unity. См . режимы доступа.

Подробные сведения о функциях каталога Unity в каждой версии среды выполнения Databricks см. в заметках о выпуске.

Ограничения для каталога Unity зависят от режима доступа и версии среды выполнения Databricks. Сведения об ограничениях режима доступа к вычислительным ресурсам для каталога Unity.

Происхождение данных для каталога Unity

Каталог Unity можно использовать для сбора происхождения данных среды выполнения в запросах на любом языке, выполняемых в кластере Azure Databricks или хранилище SQL. Происхождение данных собирается до уровня столбца и включает записные книжки, рабочие процессы и панели мониторинга, связанные с запросом. Дополнительные сведения см. в статье "Сбор и просмотр происхождения данных с помощью каталога Unity".

Каталог Федерации Lakehouse и Unity

Федерация Lakehouse — это платформа федерации запросов для Azure Databricks. Федерация запросов терминов описывает коллекцию функций, позволяющих пользователям и системам выполнять запросы к нескольким разложенным источникам данных без необходимости переносить все данные в единую систему.

Azure Databricks использует каталог Unity для управления федерацией запросов. Каталог Unity позволяет настроить подключения только для чтения к популярным внешним системам баз данных и создавать внешние каталоги, которые зеркало внешними базами данных. Средства управления данными и происхождения данных каталога Unity гарантируют, что доступ к данным управляется и проверяется для всех федеративных запросов, сделанных пользователями в рабочих областях Azure Databricks.

См. статью "Что такое Федерация Lakehouse".

Как настроить Unity Catalog для организации?

Сведения о настройке каталога Unity см. в статье "Настройка каталога Unity" и управление ими.

Поддерживаемые регионы

Все регионы поддерживают каталог Unity. Дополнительные сведения см. в регионах Azure Databricks.

Поддерживаемые форматы файлов данных

Каталог Unity поддерживает следующие форматы таблиц:

• Управляемые delta таблицы должны использовать формат таблицы.
• Внешние таблицы могут использовать delta, , CSV, JSONavro, parquet, ORCили text.

Ограничения каталога Unity

Каталог Unity имеет следующие ограничения.

Примечание.

Если кластер работает в databricks Runtime версии ниже 11.3 LTS, могут быть дополнительные ограничения, не перечисленные здесь. Каталог Unity поддерживается в Databricks Runtime 11.3 LTS или более поздней версии.

Ограничения каталога Unity зависят от режима выполнения Databricks и режима доступа. Структурированные рабочие нагрузки потоковой передачи имеют дополнительные ограничения на основе среды выполнения Databricks и режима доступа. Сведения об ограничениях режима доступа к вычислительным ресурсам для каталога Unity.

• Рабочие нагрузки в R не поддерживают использование динамических представлений для безопасности на уровне строк или на уровне столбцов.

• В Databricks Runtime 13.3 LTS и более поздних версиях поддерживаются мелкие клоны для создания управляемых таблиц каталога Unity из существующих управляемых таблиц каталога Unity. В Databricks Runtime 12.2 LTS и ниже отсутствует поддержка мелких клонов в каталоге Unity. См . раздел "Мелкий клон" для таблиц каталога Unity.

• Сегментирование не поддерживается для таблиц каталога Unity. При выполнении команд, пытающихся создать сегментированную таблицу в каталоге Unity, возникнет исключение.

• Запись в одну и ту же папку или таблицу Delta Lake из рабочих областей в нескольких регионах может привести к ненадежной работе, если некоторые кластеры обращаются к каталогу Unity, а другие — нет.

• Пользовательские схемы секционирования, созданные с помощью таких ALTER TABLE ADD PARTITION команд, не поддерживаются для таблиц в каталоге Unity. Каталог Unity может получить доступ к таблицам, используюющим секционирование в стиле каталогов.

• Режим перезаписи для операций записи DataFrame в каталог Unity поддерживается только для разностных таблиц, но не поддерживаются для файлов других форматов. Пользователь должен иметь CREATE права на родительскую схему и должен быть владельцем существующего объекта или иметь MODIFY привилегии для объекта.

• В Databricks Runtime 13.3 LTS и более поздних версиях поддерживаются скалярные определяемые пользователем функции Python. В Databricks Runtime 12.2 LTS и ниже нельзя использовать пользовательские функции Python, включая UDAFs, UDTFs и Pandas в Spark (applyInPandas и mapInPandas).

• В Databricks Runtime 14.2 и более поздних версиях скалярные определяемые пользователем функции Scala поддерживаются в общих кластерах. В Databricks Runtime 14.1 и ниже все определяемые пользователем функции Scala не поддерживаются в общих кластерах.

• Группы, созданные ранее в рабочей области (то есть группы уровня рабочей области), нельзя использовать в инструкциях Unity Catalog GRANT. Это позволяет обеспечить согласованное представление групп, которые могут охватывать несколько рабочих областей. Чтобы использовать группы в инструкциях GRANT, создайте группы на уровне учетной записи и обновите любую автоматизацию для управления субъектами или группами (например, SCIM, Okta и Microsoft Entra ID (ранее Azure Active Directory) соединителей и Terraform, чтобы ссылаться на конечные точки учетных записей вместо конечных точек рабочей области. См . разницу между группами учетных записей и локальными группами рабочей области.

• Стандартные пулы потоков Scala не поддерживаются. Вместо этого используйте специальные пулы потоков, org.apache.spark.util.ThreadUtilsнапример org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Однако следующие пулы ThreadUtils потоков в не поддерживаются: ThreadUtils.newForkJoinPool и любой ScheduledExecutorService пул потоков.

• Ведение журнала аудита поддерживается только для событий каталога Unity на уровне рабочей области. События, происходящие на уровне учетной записи без ссылки на рабочую область, например создание хранилища метаданных, не регистрируются.

Следующие ограничения применяются ко всем именам объектов в каталоге Unity:

• Имена объектов не могут превышать 255 символов.
• Не допускаются следующие специальные символы:
  • Период (.)
  • Пробел ( )
  • Прямая косая черта (/)
  • Все символы управления ASCII (00-1F шестнадцатеричное число)
  • Символ DELETE (шестнадцатеричное значение 7F)
• Каталог Unity сохраняет все имена объектов в нижнем регистре.
• При ссылке на имена UC в SQL необходимо использовать обратные знаки для escape-имен, содержащих специальные символы, такие как дефисы (-).

Примечание.

Имена столбцов могут использовать специальные символы, но имя должно быть экранировано с обратными знаками во всех инструкциях SQL, если используются специальные символы. Каталог Unity сохраняет регистр имени столбца, но запросы к таблицам каталога Unity не учитывает регистр.

Дополнительные ограничения существуют для моделей в каталоге Unity. См . ограничения на поддержку каталога Unity.

Квоты ресурсов

Каталог Unity применяет квоты на ресурсы для всех защищаемых объектов. Ограничения учитывают одну и ту же иерархическую организацию в каталоге Unity. Если вы ожидаете превышение этих ограничений ресурсов, обратитесь к группе учетных записей Azure Databricks.

Приведенные ниже значения квоты указаны относительно родительского (или прародительского) объекта в каталоге Unity.

Object	Parent	Значение
table	schema	10000
table	хранилище метаданных	100000
том	schema	10000
function	schema	10000
зарегистрированная модель	schema	1000
зарегистрированная модель	хранилище метаданных	5000
версия модели	зарегистрированная модель	10000
версия модели	хранилище метаданных	100000
schema	сценариев	10000
сценариев	хранилище метаданных	1000
подключение	хранилище метаданных	1000
Учетные данные хранилища	хранилище метаданных	200
Внешнее расположение	хранилище метаданных	500

Ограничения разностного общего доступа см. в разделе "Квоты ресурсов".