Ноябрь 2023 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в ноябре 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Поиск векторов Databricks — общедоступная предварительная версия

30 ноября 2023 г.

Databricks Vector Search — это бессерверная поисковая система сходства, которая позволяет хранить векторное представление данных, включая метаданные, в векторной базе данных. В рамках этой функции можно создать индексы автоматического обновления векторного поиска из данных в каталоге Unity и запросить их с помощью простого API, чтобы вернуть наиболее похожие векторы в рамках рабочих процессов RAG. См . векторный поиск Databricks.

Списки элементов управления доступом больше не могут быть отключены

29 ноября 2023 г.

Следующие параметры включены во всех рабочих областях плана Premium и больше не могут быть отключены на странице параметров администратора рабочей области или API conf рабочей области:

  • Управление доступом к рабочей области: позволяет пользователям настраивать разрешения для объектов рабочей области.
  • Кластер, пул, управление доступом к заданиям: позволяет пользователям настраивать разрешения для кластеров, пулов и заданий.
  • Элемент управления видимостью кластера: предотвращает отображение кластеров пользователям, у которых нет разрешений на них.
  • Элемент управления видимостью заданий: предотвращает отображение заданий пользователям, у которых нет разрешений на них.
  • Параметр управления видимостью рабочей области: запрещает пользователям, у которых нет разрешений на доступ к записным книжкам и папкам.

Параметры управления доступом включены по умолчанию в новых рабочих областях с марта 2018 г. и параметры управления видимостью включены по умолчанию с декабря 2020 г.

Дополнительные сведения см. в списках управления доступом.

Новые действия и действия в каталоге Обозреватель для томов

22 ноября 2023 г.

Теперь вы можете создать новый том в целевой схеме, если ни один из них не существует из пользовательского интерфейса отправки в том . См. раздел "Отправка файлов в том каталога Unity".

Такие действия, как удаление файла и скачивание, добавлены в каталог Обозреватель для файлов в томах.

Databricks Runtime 14.2 — общедоступная версия

22 ноября 2023 г.

Databricks Runtime 14.2 и Databricks Runtime 14.2 ML теперь общедоступны.

Сведения о Машинное обучение см. в databricks Runtime 14.2 и Databricks Runtime 14.2.

Databricks SQL Подключение or для Python версии 3.0.0

17 ноября 2023 г.

Теперь можно запустить pip install databricks-sql-connector==3.0.0.

Этот выпуск:

  • Удаляет поддержку Python 3.7
  • Добавляет поддержку собственных параметризованных запросов SQL. Требуется DBR 14.2 и более поздних версий. Дополнительные сведения см. в разделе "Использование собственных параметров " в репозитории GitHub databricks-sql-python.
  • Включает наш полностью перезаписанный диалект SQLAlchemy:
    • Добавляет поддержку SQLAlchemy = 2.0 и удаляет поддержку SQLAlchemy >1.x
    • Полное комплексное покрытие тестов всех поддерживаемых функций
    • Подробные заметки об использовании, доступные здесь
    • Добавляет поддержку:
      • Новые типы: TIME, , TIMESTAMP_NTZTIMESTAMPTINYINT
      • Numeric тип масштабирования и точности, например Numeric(10,2)
      • Чтение и запись PrimaryKeyConstraintForeignKeyConstraint
      • Чтение и запись составных ключей
      • Чтение и запись из представлений
      • Запись Identity в таблицы (автоматическое увеличение первичных ключей)
      • LIMIT и OFFSET для разбиения по страницам с помощью результатов
      • Кэширование вызовов метаданных
  • Включает cloud Fetch по умолчанию. Чтобы отключить, задайте use_cloud_fetch=False для сборки databricks.sql.client.
  • Добавление тестов интеграции для запросов приема томов каталога Azure Databricks Unity
  • Повторных попыток:
    • Добавление _retry_max_redirects конфигурации
    • Задайте _enable_v3_retries=True и предупреждайте, переопределяют ли пользователи его.
  • Безопасность: удар по минимальной версии pyarrow до 14.0.1 (CVE-2023-47248)

Библиотеки в файлах рабочей области, поддерживаемые в общих кластерах без изоляции

15 ноября 2023 г.

Теперь можно установить библиотеки, хранящиеся в виде файлов рабочей области, для вычислений, настроенных с режимом общего доступа без изоляции в Databricks Runtime 14.1 и более поздних версий.

Нерекомендуция библиотек рабочей области

15 ноября 2023 г.

Теперь библиотеки рабочей области устарели и создание новых библиотек рабочей области было отключено. Существующие библиотеки рабочей области продолжают функционировать. Обратите внимание, что хранение библиотек в качестве файлов рабочей области отличается от библиотек рабочих областей и по-прежнему полностью поддерживается. Библиотеки, хранящиеся в виде файлов рабочей области, можно установить непосредственно для задач вычислений или заданий. См . библиотеки.

Поддержка типов виртуальных машин конфиденциальных вычислений Azure теперь общедоступна

15 ноября 2023 г.

Поддержка Azure Databricks для типов виртуальных машин конфиденциальных вычислений Azure теперь общедоступна. Конфиденциальные вычисления Azure помогают защитить используемые данные, предотвращая доступ поставщика облачных служб к конфиденциальным данным. Ознакомьтесь с виртуальными машинами конфиденциальных вычислений Azure.

13 ноября 2023 г.

Теперь вы можете найти наборы данных, модели ИИ и акселераторы решений Databricks в Databricks Marketplace с помощью глобальной панели поиска в пользовательском интерфейсе рабочей области Azure Databricks. См. раздел "Что такое Databricks Marketplace" и поиск объектов рабочей области.

Использование продуктов данных в Databricks Marketplace с помощью внешних платформ

10 ноября 2023 г.

Потребители без рабочей области Azure Databricks с поддержкой каталога Unity теперь могут получить доступ к продуктам данных в Databricks Marketplace. С помощью соединителей общего доступа Delta Share можно получить доступ к данным Marketplace с помощью нескольких распространенных платформ, включая Microsoft Power BI, Microsoft Excel, pandas, Apache Spark и рабочие области, отличные от каталога Unity Databricks. На внешних платформах доступны только табличные наборы данных (например, не записные книжки Или модели Databricks). См. статью "Запрос и доступ к продуктам данных" в Databricks Marketplace с помощью внешних платформ.

Поддержка бессерверных хранилищ SQL, добавленных для нескольких регионов Azure

9 ноября 2023 г.

Следующие регионы Azure теперь поддерживают бессерверные хранилища SQL:

  • Южная Бразилия (бразилия)
  • Центральная Индия (centralindia).
  • Восточная Япония (japaneast);
  • Северная центральная часть США (северная часть США)
  • Южная Часть Великобритании (uksouth)

Ознакомьтесь с регионами Azure Databricks и включение бессерверных хранилищ SQL.

Автоматическое включение каталога Unity для новых рабочих областей

9 ноября 2023 г.

Databricks начал автоматически включать каталог Unity для новых рабочих областей. Это позволяет администраторам учетных записей настраивать каталог Unity после создания рабочей области. Развертывание будет постепенно продолжаться между учетными записями. См . статью "Автоматическое включение каталога Unity".

Databricks Runtime 14.2 (бета-версия)

8 ноября 2023 г.

Databricks Runtime 14.2 и Databricks Runtime 14.2 ML теперь доступны в качестве бета-выпусков.

Сведения о Машинное обучение см. в databricks Runtime 14.2 и Databricks Runtime 14.2.

Databricks Marketplace включает акселераторы решений Databricks

7 ноября 2023 г.

Databricks Marketplace теперь предоставляет доступ к Акселераторам решений Databricks, созданным специально созданным руководствам, которые предоставляют полностью функциональные записные книжки, рекомендации и примеры данных для быстрого настройки с множеством популярных вариантов использования в Azure Databricks. См. статью "Получить доступ к акселераторам решений Databricks".

Федерация Lakehouse добавляет поддержку Google BigQuery

3 ноября 2023 г.

Теперь можно настроить федерацию Lakehouse для выполнения федеративных запросов с типом BigQuery соединителя. Новый соединитель BigQuery поддерживается в хранилищах Pro и Бессерверных sql и Databricks Runtime 13.3 LTS и более поздних версиях. См. статью "Запуск федеративных запросов" в Google BigQuery.