2019 октября

Эти функции и улучшения платформы Azure Databricks стали доступны в октябре 2019 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Метрики поддержки, перемещенные в Центры событий Azure

22–29 октября 2019 г.

Метрики поддержки, позволяющие Azure Databricks отслеживать работоспособность кластера, были перенесены из хранилища BLOB-объектов Azure в конечные точки концентратора событий. Благодаря этому Azure Databricks может предоставлять ответы с меньшими задержками для разрешения инцидентов, произошедших у клиентов. Для рабочих областей внедрения виртуальной сети мы добавили дополнительное правило в группу безопасности сети для конечной точки службы EventHub. Подробнее см. в таблице Правила группы безопасности сети. Для непрерывной доступности служб никаких действий не требуется.

Список конечных точек Центров событий Для поддержки Azure Databricks по регионам см. в разделе "Хранилище метаданных", хранилище BLOB-объектов артефактов, хранилище системных таблиц, хранилище BLOB-объектов журнала и IP-адреса конечных точек концентратора событий.

Сквозная передача учетных данных Azure Data Lake Storage в стандартных кластерах и Scala теперь общедоступна

22–29 октября 2019 г.: версия 3.5

Транзитная передача учетных данных для Python, SQL и Scala в стандартных кластерах Databricks Runtime 5.5 и более поздних версий, а также для SparkR в Databricks Runtime 6.0 и более поздних версий стала общедоступной. См. статью Включение транзитной передачи учетных данных Azure Data Lake Storage для стандартного кластера.

Общедоступная версия Databricks Runtime 6.1 для Genomics

22 октября 2019 г.

Выпущена общедоступная версия Databricks Runtime 6.1 for Genomics.

Общедоступная версия Databricks Runtime 6.1 для Машинного обучения

22 октября 2019 г.

Выпущена общедоступная версия Databricks Runtime 6.1 ML. Она включает поддержку кластеров GPU и обновлений до следующих библиотек машинного обучения:

• TensorFlow — до версии 1.14.0
• PyTorch — до версии 1.2.0
• Torchvision — до версии 0.4.0
• MLflow — до версии 1.3.0

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.1 для машинного обучения (неподдерживаемых).

Частота вызовов API MLflow теперь ограничена

22–29 октября 2019 г.: версия 3.5

Для поддержания высокого качества обслуживания при высокой нагрузке в Azure Databricks теперь применяются ограничения скорости для всех вызовов API MLflow. Ограничения задаются для каждой учетной записи, чтобы обеспечить справедливое использование и высокий уровень доступности всем организациям, совместно использующим рабочую область.

Клиенты MLflow с автоматическими повторными попытками доступны в MLflow 1.3.0 и находятся в Databricks Runtime 6.1 для машинного обучения (неподдерживаемые). Мы рекомендуем всем клиентам перейти на последнюю версию клиента MLflow.

Дополнительные сведения см. в разделе API экспериментов.

Пулы экземпляров для быстрого запуска кластера теперь общедоступны

22–29 октября 2019 г.: версия 3.5

Функция Azure Databricks, которая поддерживает подключение кластера к предопределенному пулу бездействующих экземпляров, теперь общедоступна.

Azure Databricks не взимает плату (DBU), пока экземпляры остаются в пуле и бездействуют. Но к ним применяется оплата, предусмотренная поставщиком экземпляров. См. сведения о ценах.

Дополнительные сведения см . в справочнике по конфигурации пула.

Общедоступная версия Databricks Runtime 6.1

16 октября 2019 г.

Databricks Runtime 6.1 предоставляет несколько улучшений для Delta Lake:

• Простое преобразование таблиц в формат Delta Lake
• API Python для разностных таблиц (общедоступная предварительная версия)
• Включенное по умолчанию динамическое удаление файлов (DFP)

Databricks Runtime 6.1 также устраняет некоторые ограничения для транзитной передачи учетных данных.

Примечание.

Начиная с выпуска 6.1 Databricks Runtime поддерживает только кластеры ЦП. Для кластеров GPU необходимо использовать Databricks Runtime ML.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.1 (неподдерживаемых).

Общедоступная версия Databricks Runtime 6.0 для Genomics

16 октября 2019 г.

Databricks Runtime for Genomics (Databricks Runtime Genomics) — это версия Databricks Runtime, оптимизированная для работы с геномными и биомедицинскими данными. Начиная с выпуска 6.0 среда выполнения Databricks для Genomics общедоступна.

Возможность развертывания рабочей области Azure Databricks в собственной виртуальной сети, также называемой внедрением виртуальной сети, является общедоступной версией.

9 октября 2019 г.

Мы рады сообщить о том, что стала общедоступной возможность развертывания рабочей области Azure Databricks в вашей собственной виртуальной сети (так называемое “внедрение виртуальной сети”). Этот вариант предназначен тем, кому требуется настройка сети и не подходит виртуальная сеть по умолчанию, создаваемая в процессе стандартного развертывания рабочей области Azure Databricks. Внедрение виртуальной сети позволяет:

• подключить Azure Databricks к другим службам Azure (например, службе хранилища Azure) более безопасным образом, используя конечные точки службы;
• подключить к локальным источникам данных для использования с Azure Databricks, используя преимущества определяемых пользователем маршрутов;
• подключить Azure Databricks к виртуальному сетевому модулю, чтобы проверять весь исходящий трафик и выполнять нужные действия в соответствии с правилами разрешения и отклонения;
• настроить использование пользовательских DNS-серверов в Azure Databricks;
• настроить правила группы безопасности сети (NSG), чтобы указать определенные ограничения исходящего трафика;
• развернуть кластеры Azure Databricks в существующей виртуальной сети.

Развертывание Azure Databricks в собственной виртуальной сети также позволяет воспользоваться преимуществами гибких диапазонов CIDR (/16–/24 — для виртуальной сети и до /26 — для подсетей).

Настройка с помощью пользовательского интерфейса портала Azure выполняется быстро и просто: при создании рабочей области просто выберите Развернуть рабочую область Azure Databricks в виртуальной сети и укажите виртуальную сеть и диапазоны CIDR для двух подсетей. Azure Databricks обновляет виртуальную сеть, добавляя две новые подсети и группы безопасности сети, что обеспечивает доступ к входящему и исходящему трафику подсети и позволяет развернуть рабочую область в обновленной виртуальной сети.

Если вы хотите самостоятельно настроить виртуальную сеть для внедрения (например, использовать существующие подсети или группы безопасности сети либо создать собственные правила безопасности), вместо пользовательского интерфейса портала вы можете задействовать шаблоны ARM от Azure Databricks.

Примечание.

Если вы принимали участие в тестировании предварительной версии внедрения виртуальной сети, то, чтобы по-прежнему получать поддержку, необходимо до 31 января 2020 г. обновить предварительную версию рабочей области до общедоступной.

Дополнительные сведения см. в статьях Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети) и Подключение рабочей области Azure Databricks к локальной сети.

Пользователи Azure Databricks без прав администратора могут считывать имена и идентификаторы пользователей и групп с помощью API SCIM

8–15 октября 2019 г.: версия 3.4

Пользователи, не являющиеся администраторами, теперь могут вызывать API получения пользователей и конечных точек получения групп для чтения имен пользователей и групп, отображаемых только идентификаторов и имен пользователей. Для всех остальных операций API SCIM по-прежнему требуется доступ администратора.

API рабочей области возвращает идентификаторы объектов для записных книжек и папок

8–15 октября 2019 г.: версия 3.4

Теперь get-status и list конечные точки API рабочей области возвращают идентификаторы записных книжек и папок, что дает возможность ссылаться на эти объекты в других вызовах API.

Общедоступная версия Databricks Runtime 6.0 ML

4 октября 2019 г.

Databricks Runtime 6.0 ML включает следующие обновления:

• MLflow
  • Новый источник данных Spark для экспериментов MLflow теперь предоставляет стандартный API для загрузки данных выполнения экспериментов MLflow.
  • Добавлен клиент Java для MLflow
  • MLflow теперь считается библиотекой верхнего уровня
• Общедоступная версия Hyperopt: к важным улучшениям в ней относятся: возможность ведение журнала MLflow в рабочих областях Spark, правильная обработка переменных вещания PySpark, а также новое руководство по выбору модели с помощью Hyperopt.
• Обновленные библиотеки Horovod и MLflow и распространение Anaconda.

Примечание.

В этом выпуске поддерживаются только кластеры ЦП.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.0 для машинного обучения (неподдерживаемых).

Новые регионы: Южная Бразилия и Центральная Франция

1 октября 2019 г.

Azure Databricks теперь доступна в Южной Бразилии (штат Сан-Паулу) и Центральной Франции (Париж).

Общедоступная версия Databricks Runtime 6.0

1 октября 2019 г.

В Databricks Runtime 6.0 существенно обновлена библиотека и добавлено много новых функций, в том числе:

• Новые API Scala и Java для команд Delta Lake DML, а также служебные команды очистки и журнала.
• Улучшенный клиент DBFS FUSE для более быстрого и надежного чтения и записи во время обучения модели.
• Поддержка нескольких графиков Matplotlib на одну ячейку записной книжки.
• Обновление Python до версии 3.7, а также обновление библиотек NumPy, Pandas, Matplotlib и других.
• Прекращение поддержки Python 2.

Примечание.

В этом выпуске поддерживаются только кластеры ЦП.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.0 (неподдерживаемых).