Август 2023 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

31 августа 2023 г.

Таблицы, зарегистрированные в каталоге Unity, теперь отображаются в навигационном поиске на верхней панели. См. статью "Поиск объектов рабочей области".

Интерфейс командной строки Databricks обновлен до версии 0.203.3 (общедоступная предварительная версия)

30 августа 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.203.3. Дополнительные сведения см. в журнале изменений версии 0.203.3.

Драйвер JDBC Databricks 2.6.34

30 августа 2023 г.

Мы выпустили версию 2.6.34 драйвера JDBC Databricks (скачать). В этом выпуске рассматривается ряд проблем с уязвимостью путем обновления сторонних библиотек. Кроме того, этот выпуск устраняет следующие проблемы:

  • Утечка потока при сбое подключения запроса к серверу.
  • Отсутствуют комментарии в REMARKS столбце метаданных таблицы.
  • Когда операция закрытия набора результатов возвращает ошибку, соединитель не очищает записи дескриптора операций из потока пульса.

Выпуск также улучшает обработку сообщений об ошибках, учитывая SQLState и коды ошибок с сервера, и проверка правильной версии протокола сервера.

Пакет SDK Databricks для Go обновлен до версии 0.18.0 (бета-версия)

29 августа 2023 г.

Пакет SDK Databricks для Go версии 0.18.0 содержит 17 критических изменений API, добавляет 30 API и добавляет около десятка полей. Дополнительные сведения см. в журнале изменений для версии 0.18.0.

Пакет SDK Databricks для Python обновлен до версии 0.7.0 (бета-версия)

29 августа 2023 г.

Пакет SDK Databricks для Python версии 0.7.0 содержит критические изменения для API файлов, а также 17 дополнительных критических изменений. Этот выпуск также добавляет 14 полей и добавляет 27 классов данных. Дополнительные сведения см. в журнале изменений для версии 0.7.0.

Поставщик Databricks Terraform обновлен до версии 1.24.1

29 августа 2023 г.

Поставщик Databricks Terraform версии 1.24.1 включает исправление для проверки доступности рабочей области. Дополнительные сведения см. в журнале изменений версии 1.24.1.

Скрипты инициализации в DBFS, продленные до 1 декабря 2023 г.

29 августа 2023 г.

Databricks ранее объявил, что скрипты инициализации в DBFS достигли конца жизни 1 сентября 2023 года. Дата окончания жизни была продлена до 1 декабря 2023 года.

Databricks Runtime 14.0 (бета-версия)

29 августа 2023 г.

Databricks Runtime 14.0 и Databricks Runtime 14.0 ML теперь доступны в качестве бета-выпусков.

См. раздел Databricks Runtime 14.0 (неподдерживаемый) и Databricks Runtime 14.0 для Машинное обучение (неподдерживаемый).

Единый интерфейс навигации — это общедоступная версия

28 августа 2023 г.

Теперь общедоступен единый интерфейс навигации Azure Databricks. Пользователи больше не могут отменить изменения классической навигации. Дополнительные сведения см. в статье "Навигация по рабочей области".

Поставщик Databricks Terraform обновлен до версии 1.24.0

25 августа 2023 г.

Поставщик Databricks Terraform версии 1.24.0 добавляет поддержку API уровня учетной записи для объектов каталога Unity, добавляется acl_principal_id в несколько источников данных и многое другое. Дополнительные сведения см. в журнале изменений версии 1.24.0.

Параметр Databricks Runtime для Genomics удален из страницы параметров администратора рабочей области

25 августа 2023 г.

Администраторы рабочей области больше не могут включать или отключать среду выполнения Databricks для Genomics на странице параметров администратора рабочей области или API конфигурации рабочей области. Среда выполнения Databricks Genomics устарела и поддержка Databricks Runtime для Genomics была удалена 24 сентября 2022 г.

Среда выполнения Databricks Genomics устарела. Сведения о открытый код эквивалентах см. в репозиториях для конвейеров genomics и Glow.

Дополнительные сведения о политике и расписании нерекомендуемой среды выполнения Databricks см. в статье "Поддерживаемые выпуски LTS среды выполнения Databricks".

Параметры служб контейнеров, удаленные на странице параметров администратора рабочей области

25 августа 2023 г.

Администраторы рабочей области больше не могут включать или отключать службы контейнеров на странице параметров администратора рабочей области. Службы контейнеров позволяют использовать контейнеры клиентов в кластерах. Она включена по умолчанию во всех новых рабочих областях. Службы контейнеров по-прежнему могут быть включены или отключены с помощью API конфигурации рабочей области. Дополнительные сведения см. в разделе "Включение служб контейнеров".

Интерфейс командной строки Databricks обновлен до версии 0.203.2 (общедоступная предварительная версия)

24 августа 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.203.2. Дополнительные сведения см. в журнале изменений для версии 0.203.2.

Перейти к определению функций и переменных в записных книжках Python

24 августа 2023 г.

В Databricks Runtime 12.2 LTS и более поздних версиях при присоединении записной книжки Python к кластеру можно автоматически перейти к определению переменной или функции, определенной в этой записной книжке. Дополнительные сведения см. в разделе " Перейти к определению ".

Браузер унифицированных схем — это общедоступная версия

24 августа 2023 г.

Браузер унифицированных схем теперь доступен в Обозреватель каталога, редакторе SQL и записных книжках. См. раздел "Что такое каталог Обозреватель?".

Databricks Runtime 13.3 LTS — это общедоступная версия

22 августа 2023 г.

Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS ML теперь общедоступны.

Дополнительные сведения см. в разделе Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS для Машинное обучение.

Знакомство с тегами с каталогом Unity

22 августа 2023 г.

Теперь вы можете применить теги к защищаемым объектам в каталоге Unity. Теги помогают упорядочить защищаемые объекты и упростить поиск и обнаружение ресурсов данных. См. раздел "Применить теги".

Список разрешений для сценариев инициализации, JAR и Maven координат в общих кластерах каталога Unity находится в общедоступной предварительной версии

23 августа 2023 г.

Теперь вы можете использовать каталог allowlist Unity для управления установкой скриптов инициализации, JAR и Maven координат для вычислений с общим режимом доступа под управлением Databricks Runtime 13.3 и более поздних версий. См . библиотеки allowlist и скрипты инициализации в общих вычислительных ресурсах.

Поддержка томов для сценариев init и JAR доступна в общедоступной предварительной версии

23 августа 2023 г.

Теперь вы можете использовать тома каталога Unity для хранения скриптов и ИНИЦ для вычислений с назначенными или общими режимами доступа, работающими под управлением Databricks Runtime 13.3 и более поздних версий. См. библиотеки с область кластера и библиотеки установки из тома.

Упрощение фиксаций выходных данных файла Databricks Repos .ipynb

21 августа 2023 г.

Databricks Repos добавил функции, чтобы сделать выходные фиксации выходных данных ФАЙЛА IPynb проще управлять и просматривать:

  • Репозиторий может создать файл конфигурации commit_output.
  • Уведомления в пользовательском интерфейсе позволяют узнать состояние фиксаций выходных данных.
  • В меню "Файл" можно управлять фиксацией выходных данных noteook.

См. сведения о фиксациях выходных данных записной книжки .ipynb.

Поддержка записной книжки IPYNB в Databricks Repos — это общедоступная версия

21 августа 2023 г.

Поддержка файлов записной книжки IPYNB в Databricks Repos является общедоступной. Дополнительные сведения о Репозитории см. в следующем разделе:

Пакет SDK Databricks для Go обновлен до версии 0.17.0 (бета-версия)

18 августа 2023 г.

Пакет SDK Databricks для Go версии 0.17.0 добавляет более 30 API и переименовывает около 10 API. Дополнительные сведения см. в журнале изменений для версии 0.17.0.

Пакет SDK Databricks для Python обновлен до версии 0.6.0 (бета-версия)

18 августа 2023 г.

Пакет SDK Databricks для Python версии 0.6.0 добавляет около 20 классов данных, добавляет около 10 API и включает около 20 переименований. Дополнительные сведения см. в журнале изменений версии 0.6.0.

Интерфейс командной строки Databricks обновлен до версии 0.203.1 (общедоступная предварительная версия)

16 августа 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.203.1. Дополнительные сведения см. в журнале изменений версии 0.203.1.

Теперь браузер унифицированных схем — это общедоступная версия

16 августа 2023 г.

Единый способ навигации по данным теперь доступен для записных книжек, редактора SQL и каталога Обозреватель, включая следующие новые возможности:

  • Сокращенная версия дерева.
  • Отображение количества объектов каталога Unity на уровне схемы при фильтрации.
  • Щелкните правой кнопкой мыши меню для просмотра действий.

Изменения бессерверной подсети могут повлиять на кодирование идентификаторов в скрипте или шаблоне.

15 августа 2023 г.

Если вы используете брандмауэр служба хранилища Azure, до конца августа некоторые идентификаторы подсети изменяются. Это не влияет на большинство клиентов, так как Azure автоматически переносит идентификаторы подсети в существующих правилах брандмауэра хранилища. Эта миграция не влияет на существующие рабочие нагрузки.

Если вы кодируете список бессерверных подсетей в шаблоне или скрипте, который обновляет правила брандмауэра службы хранилища Azure, перед попыткой обновить правила необходимо получить последний список идентификаторов подсети. Последние идентификаторы для каждого региона см . в регионах Azure Databricks.

Пакет SDK Databricks для Go обновлен до версии 0.16.0 (бета-версия)

14 августа 2023 г.

Пакет SDK Databricks для Go версии 0.16.0 добавляет около десятка полей, удаляет около полу десятков полей и изменяет подписи около полудюжины API. Дополнительные сведения см. в журнале изменений для версии 0.16.0.

Партнер Подключение поддерживает перепись

14 августа 2023 г.

Теперь вы можете использовать партнерские Подключение для подключения рабочей области Azure Databricks к переписи. Дополнительные сведения см. в Подключение переписи.

Управляемые ключи HSM в Azure Key Vault теперь поддерживаются для ключей, управляемых клиентом.

14 августа 2023 г.

Некоторые службы Azure Databricks и поддержка данных добавляют управляемый клиентом ключ для защиты и контроля доступа к зашифрованным данным. Azure Databricks имеет три ключевые функции, управляемые клиентом, которые включают различные типы данных и расположений. Все три из этих функций теперь поддерживают управляемые клиентом ключи из управляемого HSM Azure Key Vault (аппаратные модули безопасности) вместе с хранилищами Azure Key Vault. См . ключи, управляемые клиентом, для шифрования.

Пакет SDK Databricks для Python обновлен до версии 0.5.0 (бета-версия)

11 августа 2023 г.

Пакет SDK Databricks для Python версии 0.5.0 изменяет подписи полу десятков API, добавляет десятки полей, удаляет пол-десятка полей и добавляет несколько классов данных. Дополнительные сведения см. в журнале изменений для версии 0.5.0.

Поддержка программной записи файлов рабочей области

11 августа 2023 г.

Кластеры с помощью Databricks Runtime 11.2 и более поздних версий поддерживают запись в файлы рабочей области. Вы можете программно создавать, обновлять и удалять файлы и каталоги в рабочей области.

Интерфейс командной строки Databricks обновлен до версии 0.203.0 (общедоступная предварительная версия)

10 августа 2023 г.

Интерфейс командной строки Databricks (Интерфейс командной строки Databricks) версии 0.203.0 улучшает команду и многое auth login другое. Дополнительные сведения см. в журнале изменений версии 0.203.0.

Поставщик Databricks Terraform обновлен до версии 1.23.0

9 августа 2023 г.

Поставщик Databricks Terraform версии 1.23.0 расширяется RunJobTask с дополнительными поддерживаемыми полями, databricks_jobдобавляет поддержку экспортера для databricks_model_servingи многое другое. Дополнительные сведения см. в журнале изменений версии 1.23.0.

Теперь группы можно переименовать

8 августа 2023 г.

Теперь можно переименовать существующие группы учетных записей и локальные группы рабочей области. См. раздел "Изменение имени группы".

Пакет SDK Databricks для Go обновлен до версии 0.15.0 (бета-версия)

7 августа 2023 г.

Пакет SDK databricks для Go версии 0.15.0 рефакторингов, связанных с РАЗРЕШЕНИЯми, чтобы сделать их более понятными и простыми в использовании. Дополнительные сведения см. в журнале изменений для версии 0.15.0.

Пакет SDK Databricks для Python обновлен до версии 0.4.0 (бета-версия)

7 августа 2023 г.

Пакет SDK Databricks для Python версии 0.4.0 рефакторингов, связанных с api-интерфейсами, чтобы сделать их более понятными и простыми в использовании. Дополнительные сведения см. в журнале изменений версии 0.4.0.

Был удален сторонний параметр конфигурации защиты iFraming

7 августа 2023 г.

Azure Databricks снижает риск сторонних доменов от iFraming Azure Databricks путем добавления соответствующих заголовков HTTP. Защита от iFraming сторонних производителей по-прежнему включена по умолчанию, но Azure Databricks удалил параметр администратора рабочей области, чтобы отключить его. Если вы ранее отключили сторонние iFraming для рабочей области, эта функция будет отключена для этой рабочей области. Чтобы повторно включить сторонний iFraming, обратитесь к группе учетной записи Azure Databricks.

Расширение Databricks для Visual Studio Code обновлено до версии 1.1.1

4 августа 2023 г.

Расширение Databricks для Visual Studio Code версии 1.1.1 предоставляет несколько дополнительных исправлений, например правильную обработку переменной HOME среды в Windows и многое другое. Дополнительные сведения см. в журнале изменений версии 1.1.1.

LangChain доступен в версии 13.1 и выше

4 августа 2023 г.

LangChain доступен в качестве экспериментального вкуса MLflow, который позволяет клиентам LangChain использовать надежные средства и возможности отслеживания экспериментов MLflow непосредственно из среды Azure Databricks.

LangChain — это платформа программного обеспечения, предназначенная для создания приложений, использующих большие языковые модели (LLM) и сочетающих их с внешними данными, чтобы повысить контекст обучения для LLM.

Databricks Runtime для Машинное обучение включается langchain в Databricks Runtime 13.1 ML и более поздних версий.

Проектирование компонентов в каталоге Unity — общедоступная предварительная версия

3 августа 2023 г.

Благодаря проектированию компонентов в каталоге Unity каталог Unity становится хранилищем компонентов. Вы можете использовать любую таблицу Delta с первичным ключом в качестве таблицы функций для обучения модели или вывода. Каталог Unity предоставляет обнаружение и управление функциями.

Улучшена обработка ошибок для повторяющихся сбоев непрерывного задания

3 августа 2023 г.

Непрерывные задания, превышающие пороговое значение для последовательных сбоев, теперь используют экспоненциальную схему обратной отработки , чтобы эффективно выполнять задания повторных попыток и разрешать заданиям восстанавливаться после временных проблем. Ранее непрерывные задания, превышающие пороговое значение сбоя, были приостановлены и не были извлечены.

Бессерверные хранилища SQL теперь доступны в дополнительных регионах

3 августа 2023 г.

Бессерверные склады SQL доступны в дополнительных регионах: Восточная Австралия, Центральная Канада, Западная часть США 2, южная часть США и Юго-Восточная Азия. Ознакомьтесь с регионами Azure Databricks.

Если вы планируете использовать брандмауэр служба хранилища Azure, настройте брандмауэр, чтобы разрешить доступ из бессерверных подсетей хранилища SQL. Ознакомьтесь с регионами Azure Databricks.

Общий доступ к схемам с помощью разностного общего доступа (общедоступная предварительная версия)

2 августа 2023 г.

Теперь вы можете использовать разностный общий доступ для совместного использования всей схемы, предоставляя получателю доступ ко всем таблицам и представлениям в схеме в данный момент, а также для всех таблиц и представлений, добавленных в схему в будущем. Для добавления схем в общую папку с помощью команд SQL требуется хранилище SQL или кластер под управлением Databricks Runtime 13.2 или более поздней версии. Выполнение этого же действия с помощью Обозреватель каталога не имеет требований к вычислению. См. раздел "Добавление схем в общую папку".

Выполнение задач условно в заданиях Azure Databricks

2 августа 2023 г.

Вы можете использовать новое Run if условие для выполнения задачи задания на основе состояния зависимостей задачи, обеспечивая большую гибкость при реализации рабочего процесса с заданием Azure Databricks. Например, можно использовать Run if условие для выполнения задачи, когда некоторые или все зависимости задачи завершились сбоем. См . сведения об условном выполнении задач в задании Azure Databricks.

Поставщик Databricks Terraform обновлен до версии 1.22.0

1 августа 2023 г.

Поставщик Databricks Terraform версии 1.22.0 добавляет ресурс, добавляет databricks_access_control_rule_setdatabricks_metastore и databricks_metastore источники данных и многое другое. Дополнительные сведения см. в журнале изменений версии 1.22.0.

Расширенные функции безопасности и соответствия требованиям

1 августа 2023 г.

Вы можете включить профиль безопасности соответствия, который обеспечивает дополнительный мониторинг, защищенный вычислительный образ и другие функции в рабочих областях. Профиль безопасности соответствия требованиям необходим для обработки данных, регулируемых PCI-DSS, с помощью Azure Databricks, но вы можете включить профиль, если вы не обрабатываете такие данные. Вы несете ответственность за обеспечение собственного соответствия всем применимым законам и нормативным актам.

Кроме того, можно отдельно включить расширенный мониторинг безопасности, который обеспечивает дополнительный мониторинг и защищенный вычислительный образ.

Обе функции доступны в составе новой надстройки с повышенной безопасностью и соответствием требованиям. Если включить любую из этих функций в рабочей области, вы будете взиматься за новую надстройку, как описано на странице цен. Для обоих функций требуется ценовая категория "Премиум".

Мониторинг Lakehouse — общедоступная предварительная версия

1 августа 2023 г.

Databricks Lakehouse Monitoring интегрирует мониторинг качества данных и моделей на платформу Databricks. Он предоставляет из поля метрики качества, такие как сводная статистика, изменения распределения с течением времени, а также производительность модели, включая справедливость и предвзятость. Мониторинг Lakehouse автоматически создает сводную панель мониторинга для визуализации качества данных с течением времени. Вы также можете настроить оповещения на основе данных.

Databricks Runtime 13.3 LTS (бета-версия)

1 августа 2023 г.

Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS ML теперь доступны в качестве бета-версий.

Дополнительные сведения см. в разделе Databricks Runtime 13.3 LTS и Databricks Runtime 13.3 LTS для Машинное обучение.

Новые операции Git обычно доступны: слияние ветвей, перебаза и извлечения с разрешением конфликтов

1 августа 2023 г.

В Databricks Repos теперь доступны следующие операции Git:

  • Слияние и повторная база. Теперь вы можете объединить или перебазировать две ветви непосредственно в Azure Databricks. Это упрощает процесс объединения ветвей и предоставляет возможность разрешать конфликты, возникающие во время операции.
  • Вытягивание с разрешением конфликтов. Теперь можно использовать Databricks Repos для управления конфликтами, которые происходят при извлечении удаленного репозитория Git с помощью Azure Databricks.

Благодаря этим мощным новым средствам разрешения конфликтов совместная работа с кодом с помощью Databricks Repos становится еще более упрощенной и эффективной.