Октябрь 2019 г.

Эти функции и Azure Databricks улучшений платформы были выпущены в октябре 2019.

Примечание

Выпуски являются промежуточными. Учетная запись Azure Databricks не может быть обновлена до определенной недели после первоначальной даты выпуска.

Метрики поддержки, перемещенные в Центры событий Azure

22-29 октября, 2019

Метрики поддержки, позволяющие Azure Databricks отслеживать работоспособность кластера, были перенесены из хранилища BLOB-объектов Azure в конечные точки концентратора событий. Это позволяет Azure Databricks предоставлять ответы с меньшими задержками для разрешения инцидентов клиентов. Для рабочих областей с внедрением виртуальной сети мы добавили дополнительное правило в группу безопасности сети для EventHub конечной точки службы. Сведения доступны в таблице правил группы безопасности сети . Для непрерывной доступности служб никаких действий не требуется.

Список конечных точек концентраторов событий, поддерживаемых Azure Databricks, см. в разделе хранилище метаданных, хранилище BLOB-объектов артефактов, хранилище больших двоичных объектов журнала и конечная точка концентратора событий.

Сквозная передача учетных данных Azure Data Lake Storage в стандартных кластерах и Scala теперь общедоступна

22-29 октября, 2019: версия 3,5

Доступна транзитная передача учетных данных для Python, SQL и Scala в стандартных кластерах под Databricks Runtime 5,5 и более поздних версий, а также в общедоступной версии Databricks Runtime 6,0 и выше. См. раздел Включение транзитного Azure Data Lake Storage учетных данных для стандартного кластера.

Общедоступная версия Databricks Runtime 6.1 для Genomics

22 октября 2019 г.

Databricks Runtime 6,1 для Genomics общедоступна. См. Databricks Runtime для Genomics (не рекомендуется).

Общедоступная версия Databricks Runtime 6.1 для Машинного обучения

22 октября 2019 г.

Общедоступная версия Databricks Runtime 6,1 ML. Он включает поддержку кластеров GPU и обновлений для следующих библиотек машинного обучения:

  • TensorFlow 1.14.0
  • PyTorch 1.2.0
  • Торчвисион 0.4.0
  • Млфлов 1.3.0

Дополнительные сведения см. в заметках о выпуске Databricks Runtime 6,1 для машинное обучение (неподдерживаемых) .

Частота вызовов API MLflow теперь ограничена

22-29 октября, 2019: версия 3,5

Чтобы обеспечить высокое качество обслуживания при высокой нагрузке, Azure Databricks теперь применяет ограничения скорости API для всех вызовов API Млфлов. Ограничения задаются для каждой учетной записи, чтобы обеспечить справедливое использование и высокий уровень доступности для всех организаций, совместно использующих рабочую область.

Клиенты Млфлов с автоматическими повторными попытками доступны в Млфлов 1.3.0 и находятся в Databricks Runtime 6,1 для машинное обучение (не поддерживается). Мы советуем всем клиентам переключиться на последнюю версию клиента Млфлов.

Дополнительные сведения см. в разделе API млфлов.

Пулы экземпляров для быстрого запуска кластера теперь общедоступны

22-29 октября, 2019: версия 3,5

Функция Azure Databricks, которая поддерживает присоединение кластера к предопределенному пулу бездействующих экземпляров, теперь общедоступна.

Azure Databricks не взимает плату (DBU), пока экземпляры остаются в пуле и бездействуют. Но к ним применяется оплата, предусмотренная поставщиком экземпляров. См. сведения о ценах.

Дополнительные сведения см. в разделе Пулы.

Общедоступная версия Databricks Runtime 6.1

16 октября 2019 г.

Databricks Runtime 6,1 предоставляет несколько улучшений в отношении разностной Lake:

  • Простое преобразование таблиц в разностный формат
  • API-интерфейсы Python для разностных таблиц (общедоступная Предварительная версия)
  • Динамическое удаление файлов (ДФП) включено по умолчанию

Databricks Runtime 6,1 также устраняет некоторые ограничения для транзитных учетных данных.

Примечание

Начиная с выпуска 6,1, Databricks Runtime поддерживает только кластеры ЦП. Если вы хотите использовать кластеры GPU, необходимо использовать Databricks Runtime ML.

Дополнительные сведения см. в заметках о полном выпуске Databricks Runtime 6,1 (не поддерживается) .

Общедоступная версия Databricks Runtime 6.0 для Genomics

16 октября 2019 г.

Databricks Runtime для Genomics (Databricks Runtime Genomics) — это вариант Databricks Runtime, оптимизированного для работы с геномных и биомедицинские данные. Начиная с выпуска 6,0, общедоступная версия Databricks Runtime для Genomics (не рекомендуется) .

Возможность развертывать рабочую область Azure Databricks в своей виртуальной сети, которая именуется также внедрением виртуальной сети, вышла в общедоступной версии

9 октября 2019 г.

Мы рады сообщить общедоступной версии возможности развертывания Azure Databricks рабочей области в собственной виртуальной сети, также известной как внедрение виртуальной сети. Этот вариант предназначен для тех, кто требует настройки сети и поэтому не хочет использовать виртуальную сеть по умолчанию, созданную при развертывании рабочей области Azure Databricks стандартным образом. Благодаря вставке в виртуальную сеть вы можете:

Развертывание Azure Databricks в своей виртуальной сети также позволяет использовать гибкие диапазоны CIDR (где угодно между/16-/24 для виртуальной сети и до/26 для подсетей).

Настройка с помощью пользовательского интерфейса портал Azure выполняется быстро и просто. при создании рабочей области просто выберите развернуть Azure Databricks рабочую область в виртуальной сети, выберите виртуальную сеть и укажите диапазоны CIDR для двух подсетей. Azure Databricks обновляет виртуальную сеть с двумя новыми подсетями и группами безопасности сети, разрешает доступ к входящему и исходящему трафику подсети и развертывает рабочую область в обновленной виртуальной сети.

Внедрение виртуальной сети при развертывании рабочей области

Если вы предпочитаете настроить виртуальную сеть для самостоятельного внедрения виртуальной сети (например, вы хотите использовать существующие подсети, использовать существующие группы безопасности сети или создать собственные правила безопасности), вы можете использовать шаблоны ARM, предоставляемые Azure , вместо пользовательского интерфейса портала.

Примечание

Если вы принимали участие в предварительной версии внедрения виртуальной сети, необходимо обновить рабочую область предварительного просмотра до 31 января 2020, чтобы продолжить получение поддержки. См. раздел Обновление вашей рабочей области для внедрения виртуальной сети вобщедоступную версию.

Дополнительные сведения см. в статьях развертывание Azure Databricks в виртуальной сети Azure (вставка в виртуальную сеть) и подключение рабочей области Azure Databricks к локальной сети.

Пользователи Azure Databricks без прав администратора могут считывать имена и идентификаторы пользователей и групп с помощью API SCIM

8-15 октября, 2019: версия 3,4

Пользователи, не являющиеся администраторами, теперь могут вызывать scim API Get Users и Get Groups для чтения отображаемых имен и идентификаторов пользователей и групп. Все остальные операции API SCIM по-прежнему нуждаются в доступе администратора.

API рабочей области возвращает идентификаторы объектов для записных книжек и папок

8-15 октября, 2019: версия 3,4

get-status list Конечные точки и в API рабочей области теперь возвращают идентификаторы записных книжек и объектов папок, что дает возможность ссылаться на эти объекты в других вызовах API.

Общедоступная версия Databricks Runtime 6.0 ML

4 октября 2019 г.

Databricks Runtime 6,0 ML включает следующие обновления:

  • MLflow
    • Новый источник данных Spark для экспериментов Млфлов теперь предоставляет стандартный API для загрузки данных запуска экспериментов Млфлов.
    • Добавлен клиент Java Млфлов
    • Млфлов теперь повышается как библиотека верхнего уровня
  • Хиперопт в общедоступной предварительной версии — поддержка ведения журнала Млфлов в рабочих процессах Spark, правильная обработка PySpark широковещательных переменных, а также новое руководством по выбору модели с помощью Хиперопт.
  • Обновленные библиотеки хоровод и Млфлов и распространение Anaconda.

Примечание

В этом выпуске поддерживаются только кластеры ЦП.

Дополнительные сведения см. в заметках о выпуске Databricks Runtime 6,0 для машинное обучение (неподдерживаемых) .

Новые регионы: Южная Бразилия и Центральная Франция

1 октября 2019 г.

Azure Databricks теперь доступна в Южная Бразилия (Сан Паулу State) и Франции Central (Париж).

Общедоступная версия Databricks Runtime 6.0

1 октября 2019 г.

Databricks Runtime 6,0 включает множество обновлений библиотеки и новые функции, включая следующие:

  • Новые API Scala и Java для команд Delta Lake DML, а также команды очистки и журнала.
  • Улучшенный клиент DBFS предохранитель для более быстрого и надежного чтения и записи во время обучения модели.
  • Поддержка нескольких Matplotlib графиков на ячейку записной книжки.
  • Обновите Python 3,7, а также обновленные NumPy, Pandas, Matplotlib и другие библиотеки.
  • Закат поддержки Python 2.

Примечание

В этом выпуске поддерживаются только кластеры ЦП.

Дополнительные сведения см. в заметках о полном выпуске Databricks Runtime 6,0 (не поддерживается) .