2 octobre 2019October 2019

Ces fonctionnalités et Azure Databricks améliorations de la plateforme ont été publiées en octobre 2019.These features and Azure Databricks platform improvements were released in October 2019.

Notes

Les mises en production sont intermédiaires.Releases are staged. Votre compte de Azure Databricks ne peut pas être mis à jour jusqu’à une semaine après la date de publication initiale.Your Azure Databricks account may not be updated until up to a week after the initial release date.

Les métriques de capacité de prise en charge ont été déplacées vers Azure Event HubsSupportability metrics moved to Azure Event Hubs

22-29 octobre, 2019October 22-29, 2019

Les métriques de prise en charge qui permettent à Azure Databricks de surveiller l’intégrité du cluster ont été migrées depuis le stockage d’objets BLOB Azure vers des points de terminaison Event Hub.The supportability metrics that enable Azure Databricks to monitor cluster health have been migrated from Azure Blob storage to Event Hub endpoints. Cela permet à Azure Databricks de fournir des réponses de latence inférieures pour résoudre les incidents des clients.This enables Azure Databricks to provide lower latency responses to resolve customer incidents. Pour les espaces de travail d' injection de réseaux virtuels, nous avons ajouté une règle supplémentaire au groupe de sécurité réseau pour le EventHub point de terminaison de service.For VNet injection workspaces, we have added an additional rule to the network security group for the EventHub service endpoint. Les détails sont disponibles dans le tableau des règles de groupe de sécurité réseau .Details are available in the Network security group rules table. Aucune action n’est requise pour la disponibilité continue des services.There is no action required for continued availability of services.

Pour obtenir la liste des métriques de prise en charge Azure Databricks Event Hubs points de terminaison par région, consultez les adresses IP des points de terminaison de stockage d’objets BLOB, de stockage BLOB d' artefact et de journal des événements.For a list of the Azure Databricks supportability metrics Event Hubs endpoints by region, see Metastore, artifact Blob storage, log Blob storage, and Event Hub endpoint IP addresses.

Le passage d’informations d’identification Azure Data Lake Storage sur les clusters standard et Scala est en disponibilité généraleAzure Data Lake Storage credential passthrough on standard clusters and Scala is GA

22-29 octobre 2019 : version 3,5October 22 - 29, 2019: Version 3.5

Les informations d’identification passthrough pour Python, SQL et Scala sur les clusters standard exécutant Databricks Runtime 5,5 et versions ultérieures, ainsi que sparkr sur Databricks Runtime 6,0 et versions ultérieures, sont généralement disponibles.Credential passthrough for Python, SQL, and Scala on standard clusters running Databricks Runtime 5.5 and above, as well as SparkR on Databricks Runtime 6.0 and above is generally available. Consultez activer Azure Data Lake Storage relais d’informations d’identification pour un cluster standard.See Enable Azure Data Lake Storage credential passthrough for a standard cluster.

Databricks Runtime 6.1 pour la génomique (disponibilité générale)Databricks Runtime 6.1 for Genomics GA

22 octobre 2019October 22, 2019

Databricks Runtime 6,1 pour la génomique est généralement disponible.Databricks Runtime 6.1 for Genomics is generally available. Consultez Databricks Runtime pour la génomique.See Databricks Runtime for Genomics.

Databricks Runtime 6.1 pour le machine learning (disponibilité générale)Databricks Runtime 6.1 for Machine Learning GA

22 octobre 2019October 22, 2019

Databricks Runtime 6,1 ML est mis à la disposition générale.Databricks Runtime 6.1 ML is generally available. Il prend en charge les clusters GPU et les mises à niveau vers les bibliothèques de Machine Learning suivantes :It includes support for GPU clusters and upgrades to the following machine learning libraries:

  • TensorFlow à 1.14.0TensorFlow to 1.14.0
  • PyTorch à 1.2.0PyTorch to 1.2.0
  • Torchvision à 0.4.0Torchvision to 0.4.0
  • MLflow à 1.3.0MLflow to 1.3.0

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,1 ml (non prises en charge) .For more information, see the complete Databricks Runtime 6.1 ML (Unsupported) release notes.

Les appels de l’API MLflow sont désormais à fréquence limitéeMLflow API calls are now rate limited

22-29 octobre 2019 : version 3,5October 22 - 29, 2019: Version 3.5

Pour garantir une haute qualité de service sous une charge importante, Azure Databricks applique désormais les limites de taux d’API pour tous les appels d’API MLflow.To ensure high quality of service under heavy load, Azure Databricks now enforces API rate limits for all MLflow API calls. Les limites sont définies par compte pour garantir une utilisation équitable et une haute disponibilité pour toutes les organisations qui partagent un espace de travail.The limits are set per account to ensure fair usage and high availability for all organizations sharing a workspace.

Les clients MLflow avec des nouvelles tentatives automatiques sont disponibles dans MLflow 1.3.0 et se trouvent dans Databricks Runtime 6,1 ml (non pris en charge).The MLflow clients with automatic retries are available in MLflow 1.3.0 and are in Databricks Runtime 6.1 ML (Unsupported). Nous conseillons à tous les clients de passer à la dernière version du client MLflow.We advise all customers to switch to the latest MLflow client version.

Pour plus d’informations, consultez API MLflow.For details, see MLflow API.

Disponibilité générale de pools d’instances pour un lancement rapide du clusterPools of instances for quick cluster launch generally available

22-29 octobre 2019 : version 3,5October 22 - 29, 2019: Version 3.5

La fonctionnalité de Azure Databricks qui prend en charge l’attachement d’un cluster à un pool prédéfini d’instances inactives est désormais mise à la disposition générale.The Azure Databricks feature that supports attaching a cluster to a predefined pool of idle instances is now generally available.

Azure Databricks ne facture pas de DBU durant le temps d’inactivité des instances dans le pool.Azure Databricks does not charge DBUs while instances are idle in the pool. La facturation du fournisseur d’instances s’applique ; consultez les tarifs.Instance provider billing does apply; see pricing.

Pour plus d’informations, consultez Pools.For details, see Pools.

Databricks Runtime 6.1 (disponibilité générale)Databricks Runtime 6.1 GA

16 octobre 2019October 16, 2019

Databricks Runtime 6,1 apporte plusieurs améliorations à Delta Lake :Databricks Runtime 6.1 brings several enhancements to Delta Lake:

  • Convertir facilement des tables au format Delta LakeEasily convert tables to Delta Lake format
  • API Python pour les tables delta (version préliminaire publique)Python APIs for Delta tables (Public Preview)
  • Nettoyage de fichier dynamique (DFP) activé par défautDynamic File Pruning (DFP) enabled by default

Databricks Runtime 6,1 supprime également plusieurs restrictions dans les informations d’identification passthrough.Databricks Runtime 6.1 also removes several limitations in credential passthrough.

Notes

À partir de la version 6,1, Databricks Runtime prend en charge uniquement les clusters UC.Starting with the 6.1 release, Databricks Runtime supports only CPU clusters. Si vous souhaitez utiliser des clusters GPU, vous devez utiliser Databricks Runtime ML.If you want to use GPU clusters, you must use Databricks Runtime ML.

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,1 (non prises en charge) .For more information, see the complete Databricks Runtime 6.1 (Unsupported) release notes.

Databricks Runtime 6.0 pour la génomique (disponibilité générale)Databricks Runtime 6.0 for Genomics GA

16 octobre 2019October 16, 2019

Databricks Runtime pour la génomique (Databricks Runtime génomique) est une variante de Databricks Runtime optimisée pour l’utilisation de données génomiques et biomédicales.Databricks Runtime for Genomics (Databricks Runtime Genomics) is a variant of Databricks Runtime optimized for working with genomic and biomedical data. À partir de la version 6,0, Databricks Runtime pour la génomique est mis à la disposition générale.Beginning with release 6.0, Databricks Runtime for Genomics is generally available.

La possibilité de déployer un espace de travail Azure Databricks sur votre réseau virtuel, opération également appelée injection de réseau virtuel, est mise à la disposition générale.Ability to deploy a Azure Databricks workspace to your own virtual network, also known as VNet injection, is GA

9 octobre 2019October 9, 2019

Nous sommes heureux d’annoncer la disponibilité générale de la capacité à déployer un espace de travail Azure Databricks sur votre propre réseau virtuel, également appelé injection de réseaux virtuels.We are very pleased to announce the GA of the ability to deploy an Azure Databricks workspace to your own virtual network, also known as VNet injection. Cette option est destinée aux personnes qui nécessitent une personnalisation du réseau et qui, par conséquent, ne souhaitent pas utiliser le réseau virtuel par défaut qui est créé lorsque vous déployez un espace de travail Azure Databricks de manière standard.This option is intended for those of you who require network customization and therefore don’t want to use the default VNet that is created when you deploy an Azure Databricks workspace in the standard manner. Avec l’injection de réseau virtuel, vous pouvez :With VNet injection, you can:

Le déploiement de Azure Databricks sur votre propre réseau virtuel vous permet également de tirer parti de plages CIDR flexibles (n’importe où entre/16-/24 pour le réseau virtuel et jusqu’à/26 pour les sous-réseaux).Deploying Azure Databricks to your own virtual network also lets you take advantage of flexible CIDR ranges (anywhere between /16-/24 for the virtual network and up to /26 for the subnets).

La configuration à l’aide de l’interface utilisateur Portail Azure est simple et rapide : lorsque vous créez un espace de travail, sélectionnez déployer Azure Databricks espace de travail dans votre réseau virtuel, sélectionnez votre réseau virtuel et fournissez des plages CIDR pour deux sous-réseaux.Configuration using the Azure portal UI is quick and easy: when you create a workspace, just select Deploy Azure Databricks workspace in your Virtual Network, select your virtual network, and provide CIDR ranges for two subnets. Azure Databricks met à jour le réseau virtuel avec les deux nouveaux sous-réseaux et groupes de sécurité réseau, les listes d’autorisation entrantes et sortantes du trafic de sous-réseau, et déploie l’espace de travail sur le réseau virtuel mis à jour.Azure Databricks updates the virtual network with the two new subnets and network security groups, whitelists inbound and outbound subnet traffic, and deploys the workspace to the updated virtual network.

Injection de réseau virtuel lors du déploiement de l’espace de travailVNet injection at workspace deployment

Si vous préférez configurer le réseau virtuel pour l’injection de réseaux virtuels, par exemple, si vous souhaitez utiliser des sous-réseaux existants, utiliser des groupes de sécurité réseau existants ou créer vos propres règles de sécurité, vous pouvez utiliser des modèles ARM fournis avec Azure-Databricks au lieu de l’interface utilisateur du portail.If you prefer to configure the virtual network for VNet injection yourself—for example, you want to use existing subnets, use existing network security groups, or create your own security rules—you can use Azure-Databricks-supplied ARM templates instead of the portal UI.

Notes

Si vous avez participé à la préversion de l’injection de réseau virtuel, vous devez mettre à niveau votre espace de travail en préversion vers la version GA avant le 31 janvier 2020 pour continuer à bénéficier du support.If you participated in the VNet injection preview, you must upgrade your preview workspace to the GA version before January 31, 2020 to continue to receive support. Consultez mettre à niveau votre espace de travail d’aperçu de l’injection de réseau virtuel vers GA.See Upgrade your VNet Injection preview workspace to GA.

Pour plus d’informations, consultez déployer des Azure Databricks dans votre réseau virtuel Azure (injection de réseaux virtuels) et connecter votre espace de travail Azure Databricks à votre réseau local.For details, see Deploy Azure Databricks in your Azure virtual network (VNet injection) and Connect your Azure Databricks Workspace to your on-premises network.

Les utilisateurs d’Azure Databricks non-administrateurs peuvent lire les ID et les noms d’utilisateurs et de groupes à l’aide de l’API SCIMNon-admin Azure Databricks users can read user and group names and IDs using SCIM API

8-15 octobre 2019 : version 3,4October 8 - 15, 2019: Version 3.4

Les utilisateurs non-administrateurs peuvent désormais appeler les points de terminaison de l' API scim obtenir des utilisateurs et obtenir des groupes pour lire uniquement les ID et les noms d’utilisateur et de groupe.Non-admin users can now invoke the SCIM API Get Users and Get Groups endpoints to read user and group display names and IDs only. Toutes les autres opérations de l’API SCIM continuent d’exiger un accès administrateur.All other SCIM API operations continue to require administrator access.

L’API de l’espace de travail retourne les ID d’objet de dossier et de notebookWorkspace API returns notebook and folder object IDs

8-15 octobre 2019 : version 3,4October 8 - 15, 2019: Version 3.4

Les get-status list points de terminaison et de l’API de l' espace de travail renvoient désormais des ID d’objet de bloc-notes et de dossier, ce qui vous donne la possibilité de référencer ces objets dans d’autres appels d’API.The get-status and list endpoints of the Workspace API now return notebook and folder object IDs, giving you the ability to reference those objects in other API calls.

Databricks Runtime 6.0 ML (disponibilité générale)Databricks Runtime 6.0 ML GA

4 octobre 2019October 4, 2019

Databricks Runtime 6,0 ML comprend les mises à jour suivantes :Databricks Runtime 6.0 ML includes the following updates:

  • MLflowMLflow
    • Une nouvelle source de données Spark pour les expériences MLflow fournit désormais une API standard permettant de charger des données d’expérimentation MLflow.A new Spark data source for MLflow experiments now provides a standard API to load MLflow experiment run data.
    • Ajout du client Java MLflowAdded MLflow Java Client
    • MLflow est maintenant promu comme bibliothèque de niveau supérieurMLflow is now promoted as a top-tier library
  • Hyperopt GA-les améliorations notables depuis la version préliminaire publique incluent la prise en charge de la journalisation MLflow sur les Workers Spark, la gestion correcte des variables de diffusion PySpark, ainsi qu’un nouveau guide sur la sélection du modèle à l’aide de Hyperopt.Hyperopt GA - Notable improvements since public preview include support for MLflow logging on Spark workers, correct handling of PySpark broadcast variables, as well as a new guide on model selection using Hyperopt.
  • Mise à niveau des bibliothèques Horovod et MLflow et distribution Anaconda.Upgraded Horovod and MLflow libraries and Anaconda distribution.

Notes

Seuls les clusters UC sont pris en charge dans cette version.Only CPU clusters are supported in this release.

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,0 ml (non prises en charge) .For more information, see the complete Databricks Runtime 6.0 ML (Unsupported) release notes.

Nouvelles régions : Brésil Sud et France CentreNew regions: Brazil South and France Central

1 octobre 2019October 1, 2019

Azure Databricks est désormais disponible dans le sud du Brésil (Sao Paolo État) et dans le centre de la France (Paris).Azure Databricks is now available in Brazil South (Sao Paolo State) and France Central (Paris).

Databricks Runtime 6.0 (disponibilité générale)Databricks Runtime 6.0 GA

1 octobre 2019October 1, 2019

Databricks Runtime 6,0 apporte de nombreuses mises à niveau et de nouvelles fonctionnalités de bibliothèque, notamment :Databricks Runtime 6.0 brings many library upgrades and new features, including:

  • Nouvelles API Scala et Java pour les commandes Delta Lake DML, ainsi que les commandes de l’utilitaire vide et d’historique.New Scala and Java APIs for Delta Lake DML commands, as well as the vacuum and history utility commands.
  • Enhanced DBFS telefusible client pour des lectures et écritures plus rapides et plus fiables pendant l’apprentissage du modèle.Enhanced DBFS FUSE client for faster and more reliable reads and writes during model training.
  • Prise en charge de plusieurs tracés de matplotlib par cellule de bloc-notes.Support for multiple matplotlib plots per notebook cell.
  • Mettez à jour vers python 3,7, ainsi qu’une mise à jour de numpy, pandas, matplotlib et d’autres bibliothèques.Update to Python 3.7, as well as updated numpy, pandas, matplotlib, and other libraries.
  • Crépuscule de la prise en charge de Python 2.Sunset of Python 2 support.

Notes

Seuls les clusters UC sont pris en charge dans cette version.Only CPU clusters are supported in this release.

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,0 (non prises en charge) .For more information, see the complete Databricks Runtime 6.0 (Unsupported) release notes.