Novembre 2021

  • Article

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en novembre 2021.

Notes

Les publications se font par étapes. Votre compte Azure Databricks ne peut pas être mis à jour jusqu’à une semaine ou plus après la date de publication initiale.

Créer des balises pour les tables de fonctionnalités (préversion publique)

30 novembre - 6 décembre 2021 : Version 3.60

Vous pouvez désormais créer des balises pour les tables de fonctionnalités et les utiliser pour effectuer des recherches.

Coloration syntaxique et autocomplétion des commandes SQL dans les cellules Python

30 novembre - 6 décembre 2021 : Version 3.60

La coloration syntaxique et l’autocomplétion SQL sont disponibles lorsque vous utilisez SQL dans une commande Python, comme dans une commande spark.sql.

Renommer, supprimer et modifier les autorisations pour les expériences MLflow à partir de la page des expériences (préversion publique)

30 novembre - 6 décembre 2021 : Version 3.60

Vous pouvez désormais renommer, supprimer et modifier les autorisations pour une expérience MLflow à partir de sa page d’expérience. Pour plus d'informations, consultez la page Gestion des expériences.

Nouveaux profils de données dans les notebooks : récapitulatifs tabulaires et graphiques de vos données (préversion publique)

30 novembre - 6 décembre 2021 : Version 3.60

Quand vous utilisez display(<dataframe>) dans Scala ou Python ou que vous exécutez une requête SQL, le volet de résultats affiche un nouvel onglet Data Profile qui présente un récapitulatif tabulaire et graphique du DataFrame ou de la table. Pour plus d’informations, consultez Créer un profil de données et Créer une visualisation.

Vous pouvez également utiliser la commande de services Databricks dbutils.data.summarize.

Amélioration de la journalisation lorsque les schémas évoluent lors de l’exécution d’un pipeline de tables dynamiques Delta

30 novembre - 6 décembre 2021 : Version 3.60

Si votre pipeline de tables dynamiques Delta lit les données à l’aide du Chargeur automatique et que le schéma des données d’entrée change alors qu’une mise à jour est en cours d’exécution, la mise à jour est enregistrée en tant que CANCELED et retentée automatiquement. La nouvelle mise à jour est enregistrée avec l’état SCHEMA_CHANGE. Auparavant, lorsque le schéma d’entrée était modifié, la mise à jour était enregistrée comme FAILED même si les tables dynamiques Delta réessayaient automatiquement la mise à jour.

Databricks Partner Connect en disponibilité générale

18 novembre 2021

Databricks Partner Connect est désormais généralement disponible. Vous pouvez utiliser Partner Connect pour découvrir et connecter rapidement et facilement des données populaires et des outils d’intelligence artificielle à votre lac de données Azure Databricks. Voir Qu’est-ce que Databricks Partner Connect ?.

Changement cassant : suppression de l'échappement et des guillemets de $ dans les valeurs de variable d'environnement pour la création de clusters

15-30 novembre 2021 : Version 3.59

Notes

Cette modification sera annulée le 3 décembre 2021 entre 01:00 et 03:00 UTC.

Lorsque vous créez un cluster, vous pouvez spécifier des variables d’environnement. Avant cette modification, pour utiliser $ dans une valeur de variable d’environnement, vous deviez la placer dans une séquence d’échappement ou la mettre entre guillemets. Avec cette modification, les caractères d’échappement ou les guillemets ne sont plus nécessaires. Cette modification introduit un comportement cassant, car les caractères $ d’échappement ou entre guillemets dans les valeurs de variable d’environnement ne sont plus interprétés comme $. Par exemple, maintenant, à partir des déclarations de variable d’environnement suivantes :

WITH_ESCAPING=\\$123
WITH_DOUBLE_QUOTING="$123"
NO_ESCAPING=$123
WITH_SINGLE_QUOTING='$123'
NO_QUOTING=$123

Impression de ces valeurs à partir d’un notebook, par exemple :

%sh
echo ${WITH_ESCAPING}
echo ${WITH_DOUBLE_QUOTING}
echo ${NO_ESCAPING}
echo ${WITH_SINGLE_QUOTING}
echo ${NO_QUOTING}

Retourne les valeurs suivantes :

\\$123
"$123"
$123
driver23
$123

Notes

Cette modification s’applique uniquement aux variables d’environnement. Elle ne s'applique pas aux secrets.

Améliorations de la facilité d’utilisation des fichiers dans Repos

15-30 novembre 2021 : Version 3.59

De nouvelles fonctionnalités ont été ajoutées à l’éditeur de texte des fichiers :

  • Une balise de fermeture est générée automatiquement lorsque vous créez une balise.
  • Le pliage de code est désormais disponible.

En outre, pour les fichiers texte, vous pouvez maintenant copier le chemin d’accès complet référentiel en plus du chemin d’accès à partir de la racine du référentiel. Pour plus d’informations, consultez Interaction programmatique avec les fichiers d’espace de travail.

La prise en charge des widgets SQL hérités prend fin le 15 janvier 2022

15 novembre 2021

Databricks cessera de prendre en charge les widgets SQL hérités le 15 janvier 2022. Après cette date, les notebooks n’afficheront plus les widgets SQL hérités dans l’interface utilisateur, mais les paramètres transmis via %run continueront de fonctionner avec l’API de widget SQL hérité. Pour vous assurer que vos widgets continuent de s’afficher dans l’interface utilisateur, mettez à jour votre code pour utiliser les widgets SQL.

Améliorations de l’interface utilisateur pour les travaux Azure Databricks

15-30 novembre 2021 : Version 3.59

Cette version inclut les améliorations suivantes sur l’interface utilisateur des travaux :

  • Vous pouvez maintenant cloner une seule tâche, ce qui facilite l’ajout de nouvelles tâches à un travail existant. Consultez Créer une tâche à partir d’une tâche existante.
  • Lorsque vous affichez les détails d’exécution d’une tâche ou les détails d’exécution d’un travail, l’ID de travail et l’ID d’exécution de travail sont désormais des liens, ce qui vous permet de basculer facilement entre les vues des détails du travail. Consultez Afficher les détails de l’exécution d’un travail.
  • Vous pouvez maintenant copier le chemin d’accès à une tâche, par exemple un chemin d’accès de notebook, lors de l’affichage ou la modification d’une tâche. Consultez Copier un chemin d'accès de tâche.

Connecteur de partage Delta pour Power BI

15 novembre 2021

Nous avons publié le connecteur de partage Delta Power BI, qui permet aux utilisateurs de découvrir, d’analyser et de visualiser des jeux de données partagés via le protocole ouvert Delta Sharing. Ce protocole permet l’échange sécurisé de jeux de données entre les produits et les plateformes par le biais de l’API REST et du stockage cloud. Pour plus d’informations, consultez Connecteur de partage Delta Power BI.

Pilote ODBC Databricks 2.6.19

12 novembre 2021

Nous avons publié la version 2.6.19 du pilote ODBC Databricks (Téléchargement). Le nouveau pilote propage des conditions d’erreur SQL (SQLState) retournées par Databricks au client.

Databricks Runtime 10.1 et 10.1 ML sont en disponibilité générale ; 10.1 Photon est en Préversion publique

10 novembre 2021

Databricks Runtime 10.1 et 10.1 ML sont désormais en disponibilité générale. 10.1 Photon est en préversion publique.

Consultez Databricks Runtime 10.1 (non pris en charge) et Databricks Runtime 10.1 pour ML (non pris en charge).

Databricks Runtime 10.1 (bêta)

4 novembre 2021

Databricks Runtime 10.1, 10.1 Photon et 10.1 ML sont désormais disponibles en versions bêta.

Consultez les notes de publication complètes dans Databricks Runtime 10.1 (non pris en charge) et Databricks Runtime 10.1 pour ML (non pris en charge).

Renommer et supprimer des expériences MLflow (préversion publique)

2-8 novembre 2021 : Version 3.58

Vous pouvez désormais renommer, supprimer et modifier les autorisations pour une expérience MLflow à partir de la page Expériences.

Vous pouvez maintenant créer une stratégie de cluster en clonant une stratégie existante

2-8 novembre 2021 : Version 3.58

La prise en charge de la création d’une stratégie de cluster en clonant une stratégie existante a été ajoutée. Consultez Créer et gérer des stratégies de calcul.

Changer plus aisément de langue par défaut pour les notebooks et les cellules de notebook

2-8 novembre 2021 : Version 3.58

Un nouveau bouton de langue apparaît en haut du notebook et dans chaque cellule. Vous pouvez utiliser ce bouton pour sélectionner la langue par défaut du notebook et pour sélectionner la langue d’une cellule spécifique. Pour plus d’informations, consultez Définir la langue par défaut et Combinaison de langues.

Utiliser des fichiers dans Repos à partir du terminal web

2-8 novembre 2021 : Version 3.58

Vous pouvez maintenant accéder aux Fichiers dans Repos à partir du terminal web, à l’aide du chemin d’accès /Workspace.