Juin 2021

Ces fonctionnalités et Azure Databricks améliorations de la plateforme ont été publiées en juin 2021.

Notes

Les mises en production sont intermédiaires. Votre compte de Azure Databricks ne peut pas être mis à jour avant une semaine ou plus après la date de publication initiale.

Correction : L’option des dépôts pour Git est activée par défaut dans les espaces de travail nouveaux et existants dans certaines régions

30 juin 2021

dans une note de publication du 2 juin 2021, Databricks a annoncé que Repos pour git est activé par défaut dans les nouveaux espaces de travail dans certaines régions, mais omis les détails importants suivants : Repos pour git est également activé dans les espaces de travail existants si le contrôle de version git du bloc-notes est déjà activé. La note de publication d’origine a été mise à jour.

Changement apporté au magasin de fonctionnalités

Du 28 juin au 6 juillet 2021 : version 3,49

Les utilisateurs disposant de l' CAN_VIEW_METADATA autorisation sur une table de fonctionnalités peuvent désormais les publier dans des magasins en ligne.

Amélioration de l’accès aux résultats dans la table d’exécutions MLflow

Du 28 juin au 6 juillet 2021 : version 3,49

Les modifications apportées à la table MLflow exécutent un accès plus rapide aux résultats.

  • Les colonnes de mesures apparaissent maintenant avant les colonnes de paramètres , ce qui permet d’identifier plus facilement la meilleure exécution.
  • La colonne heure de début affiche maintenant l’ancienneté de l’exécution, et non l’heure de début. Cela réduit la largeur de la colonne et permet d’afficher plus d’informations sans défilement horizontal. Pour afficher l’heure de début, pointez sur la valeur dans la colonne.

Pointer sur l’heure de début

Meilleure visibilité des coûts pour les tables dynamiques Delta

Du 28 juin au 6 juillet 2021 : version 3,49

Lorsque vous créez un pipeline ou que vous affichez l’interface utilisateur des Détails du pipeline , vous voyez maintenant la dBu par heure pour le cluster par défaut des tables dynamiques Delta.

Amélioration des contraintes de qualité des données pour les tables dynamiques Delta

Du 28 juin au 6 juillet 2021 : version 3,49

Vous pouvez maintenant utiliser les expect_all_or_fail expect_all_or_drop API, et expect_all Python pour définir plusieurs contraintes de qualité des données sur les jeux de données de tables dynamiques Delta. Ces API sont utiles lors de l’application d’une bibliothèque d’attentes courantes à un ou plusieurs jeux de données dans un pipeline. Pour plus d’informations, consultez définir des contraintes de qualité des données.

Changements d’API pour la mise à jour et le remplacement des listes d’adresses IP

Du 28 juin au 6 juillet 2021 : version 3,49

Une nouvelle PATCH opération pour /ip-access-lists/<list-id> dans l’API REST Databricks 2,0 vous permet de mettre à jour par programmation les valeurs individuelles dans une liste d’adresses IP existante. Pour plus d’informations, consultez mettre à jour une liste d’accès IP.

L' PUT opération existante pour /ip-access-lists/<list-id> dans l’API REST Databricks 2,0 vous permet de remplacer par programmation le contenu d’une liste d’adresses IP existante tout en conservant l’ID interne d’origine de la liste. Pour plus d’informations, consultez remplacer une liste d’accès IP.

Fin du support de la série Databricks Runtime 7.5

16 juin, 2021

la prise en charge de Databricks Runtime 7,5, Databricks Runtime 7,5 pour Machine Learning et Databricks Runtime 7,5 pour génomique a pris fin le 16 juin. Consultez cycle de vie du support Databricks Runtime.

Optimisation des performances et contrôle des coûts à l’aide de différents pools pour le nœud de pilote et les nœuds worker

14-21 juin, 2021 : version 3,48

Vous pouvez maintenant optimiser votre cluster en l’attachant à un pool différent pour le nœud de pilote et les nœuds de travail. Par exemple, vous pouvez utiliser un pool optimisé pour le calcul pour le nœud de pilote et un pool optimisé pour le stockage pour les nœuds. Cela vous permet également de contrôler les coûts en affectant différentes balises à chaque pool d’instances. Si vous le souhaitez, vous pouvez utiliser le même pool pour les pilotes et les nœuds de travail.

Pour plus d’informations, consultez attacher un cluster à un ou plusieurs pools.

Autorisations au niveau du Registre pour le registre de modèles

14-21 juin, 2021 : version 3,48

Vous pouvez maintenant définir des autorisations de modèle par défaut pour tous les modèles dans le registre de modèles d’un espace de travail. Les autorisations définies à ce niveau s’appliquent à tous les modèles nouveaux et existants enregistrés dans Model Registry dans cet espace de travail. Pour plus d’informations, consultez configurer des autorisations pour tous les modèles MLflow dans le Registre du modèle.

Le répertoire de base d’un utilisateur n’est plus protégé quand vous supprimez un utilisateur à l’aide de l’API SCIM

14-21 juin, 2021 : version 3,48

Lorsque vous supprimez un utilisateur à l’aide de l’API scim, le répertoire de destination de l’utilisateur n’est plus protégé et un administrateur de l’espace de travail peut le supprimer. Ce comportement correspond à ce qui se produit lorsque vous supprimez un utilisateur à l’aide de la console d’administration.

Databricks Runtime 8.3 (en disponibilité générale)

8 juin 2021

Databricks Runtime 8,3 et Databricks Runtime 8,3 ML sont désormais mis à la disposition générale.

Pour plus d’informations, consultez les notes de publication complètes à l’adresse Databricks Runtime 8,3 et Databricks Runtime 8,3 photonique et Databricks Runtime 8,3 pour machine learning.

Python et contrôle d’accès aux tables SQL (en disponibilité générale)

8 juin 2021

Le contrôle d’accès aux tables vous permet d’accorder et de révoquer l’accès à vos données par programme à l’aide du modèle de contrôle d’accès basé sur l’affichage Azure Databricks. le contrôle d’accès aux tables est disponible en deux versions : SQL uniquement et Python et SQL. auparavant, seul le contrôle d’accès aux tables SQL uniquement était mis à la disposition générale. désormais, Python et SQL contrôle d’accès aux tables sont généralement disponibles. Consultez activer le contrôle d’accès aux tables pour un cluster.

L’interface utilisateur et l’API Jobs affichent désormais le propriétaire d’une exécution de tâche

2-7 juin, 2021 : version 3,47

L’interface utilisateur et l' API Jobs incluent désormais l’utilisateur sur lequel un travail s’exécutera, ce qui facilite la compréhension, le débogage et l’audit des autorisations de travail. Il s’agit d’une valeur en lecture seule définie sur le créateur du travail si le contrôle d’accès aux tâches est désactivé ou l’autorisation du travail is_owner si le contrôle d’accès aux tâches est activé. Pour plus d’informations sur la gestion des autorisations de travail, consultez contrôle d’accès aux tâches.

Protection des propriétés de configuration Spark sensibles et des variables d’environnement à l’aide de secrets (version préliminaire publique)

7 juin 2021

Vous pouvez protéger les propriétés de configuration Spark sensibles et les variables d’environnement à l’aide de secrets. Les secrets récupérés sont rédigés à partir des journaux de sortie du Notebook et du pilote Spark et de l’exécuteur. Consultez secrets.

Si vous utilisez actuellement des mots de passe en texte clair dans une configuration Spark, Databricks vous recommande de faire pivoter vos mots de passe et d’utiliser des chemins d’accès secrets dans la configuration Spark.

L’option des dépôts pour Git est activée par défaut dans les espaces de travail nouveaux et existants dans certaines régions

2 juin 2021

Cette note de publication a été mise à jour le 30 juin 2021.

pour les nouveaux espaces de travail et pour les espaces de travail existants sur lesquels le contrôle de version git du bloc-notes est activé, Repos pour git est désormais activé par défaut dans certaines régions. l’activation par défaut de Repos sera déployée dans d’autres régions dans les prochains mois. pour savoir comment activer ou désactiver les Repos vous-même et pour vérifier les paramètres de votre espace de travail, consultez Repos pour l’intégration de Git.

Refonte de l’interface utilisateur des paramètres de l’espace de travail

2-7 juin, 2021 : version 3,47

l’onglet nouvel espace de travail Paramètres dans la Console d’administration remplace les onglets Stockage, Access Control listes et avancé de l' espace de travail pour la configuration rationalisée de l’espace de travail.

Mises à jour des jetons expirés des requêtes de base de données ListTokens et ListAllTokens

2-7 juin, 2021 : version 3,47

Les requêtes de base de données ListTokens ou ListAllTokens ne retournent plus de jetons expirés. Les jetons indéfinis (ceux avec la expiryTime valeur -1 ) sont retournés.

Confirmation désormais nécessaire lors de l’octroi ou la révocation d’autorisations d’administrateur

2-7 juin, 2021 : version 3,47

Une boîte de dialogue de confirmation s’affiche à présent lorsqu’un utilisateur administrateur accorde ou révoque des privilèges d’administrateur dans l’interface utilisateur Web.

Changements apportés aux raccourcis clavier dans l’interface utilisateur web

2-7 juin, 2021 : version 3,47

Dans un bloc-notes, la manière d’ouvrir la liste des raccourcis clavier a changé. Pour ouvrir la liste, cliquez sur le Icône clavier .