Août 2021

  • Article

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en août 2021.

Notes

Les publications se font par étapes. Votre compte Azure Databricks ne peut pas être mis à jour jusqu’à une semaine ou plus après la date de publication initiale.

Databricks Repos en GA

31 août 2021

Databricks Repos est désormais en disponibilité générale. Grâce à Repos, vous pouvez créer de nouveaux référentiels Git ou cloner des référentiels existants dans Azure Databricks, utiliser des notebooks dans ces référentiels, suivre les meilleures pratiques de développement et de collaboration basées sur Git et intégrer vos flux de travail CI/CD avec les API de Repos. Databricks Repos s’intègre à GitHub, Bitbucket, GitLab et Azure DevOps. Pour plus d’informations, consultez Intégration de Git aux dossiers Git Databricks et API Repos.

Prolongement du délai d’expiration pour les travaux de notebook de longue durée

23 au 30 août 2021 : version 3.53

Vous pouvez maintenant exécuter des travaux de workflow de notebook dont l’exécution peut durer jusqu’à 30 jours. Auparavant, seuls les travaux de workflow de notebook prenant jusqu’à 48 heures étaient pris en charge. Pour plus d’informations, consultez Exécuter un notebook Databricks à partir d’un autre notebook .

Améliorations de la stabilité et de la scalabilité des services de travaux

23 au 30 août 2021 : version 3.53

Les modifications suivantes améliorent la stabilité et la scalabilité du service Jobs :

  • Chaque nouveau travail et exécution se voit attribuer un identificateur numérique plus long, unique et non séquentiel. Les clients qui utilisent l’API Travaux et qui dépendent d’une longueur d’identificateur fixe ou d’identifiants séquentiels ou à augmentation monotone doivent être modifiés pour accepter des identificateurs plus longs, non séquentiels et non ordonnés. Le type d’identificateur int64 reste inchangé, et la compatibilité est préservée pour les clients qui utilisent des nombres à virgule flottante IEEE 754 64 bits, par exemple les clients JavaScript.
  • La valeur du champ number_in_job, incluse dans la réponse à certaines demandes de l’API Travaux, est maintenant définie sur la même valeur que run_id.

Notes

Cette fonctionnalité a été retardée jusqu’en février 2022.

Affichage des droits utilisateur accordés par l’appartenance aux groupes dans la console d’administration

23 au 30 août 2021 : version 3.53

Les droits utilisateur accordés par l’appartenance à un groupe sont désormais affichés pour chaque utilisateur sous l’onglet Utilisateurs de la console d’administration.

Gestion des autorisations d’expérience MLflow (préversion publique)

23 au 30 août 2021 : version 3.53

Vous pouvez maintenant gérer les autorisations d’une expérience MLflow à partir de la page de l’expérience. Pour obtenir des détails, consultez Modifier les autorisations pour l’expérience.

Amélioration de la création de travaux à partir de notebooks

23 au 30 août 2021 : version 3.53

Vous pouvez maintenant modifier et cloner les travaux associés à un notebook. Pour plus d’informations, consultez Créer et gérer des tâches de notebook planifiées.

Machines virtuelles Ddsv4-series (préversion publique)

23 au 30 août 2021 : version 3.53

Azure Databricks prend désormais en charge les machines virtuelles de la série Ddsv4. Pour plus d’informations sur ces machines virtuelles, consultez Séries Ddv4 et Ddsv4.

Amélioration de la prise en charge de la réduction des en-têtes de notebook

23 au 30 août 2021 : version 3.53

Vous pouvez maintenant réduire ou développer tous les titres réductibles d’un notebook. Auparavant, vous pouviez uniquement réduire ou développer un seul titre à la fois. Pour plus d’informations, consultez Titres réductibles.

Databricks Runtime 9.0 et 9.0 ML sont en disponibilité générale ; 9.0 Photon est en Préversion publique

17 août 2021

Databricks Runtime 9.0 et 9.0 ML sont désormais en disponibilité générale. 9.0 Photon est en Préversion publique.

Pour plus d’informations, consultez les notes de publication complètes dans Databricks Runtime 9.0 (non pris en charge) et Databricks Runtime 9.0 pour Machine Learning (non pris en charge).

Databricks Runtime 9.0 (bêta)

10 août 2021

Databricks Runtime 9.0 et Databricks Runtime 9.0 ML sont désormais disponibles en versions bêta.

Pour plus d’informations, consultez les notes de publication complètes dans Databricks Runtime 9.0 (non pris en charge) et Databricks Runtime 9.0 pour Machine Learning (non pris en charge).

Gérer les dépôts par programmation avec l’interface CLI Databricks (préversion publique)

9 au 16 août 2021 : version 3.52

Vous pouvez désormais gérer les référentiels Git distants à l’aide de l’interface de ligne de commande (CLI) de Databricks. Consultez l’interface CLI Repos (héritée).

Gérer les dépôts par programmation avec l’API REST Databricks (préversion publique)

9 au 16 août 2021 : version 3.52

Vous pouvez désormais gérer les référentiels Git distants à l’aide de l’API REST Databricks. Voir API Repos.

Fin du support de la série Databricks Runtime 7.6

8 août 2021

Le support de Databricks Runtime 7.6, Databricks Runtime 7.6 pour le Machine Learning et Databricks Runtime 7.6 pour Genomics a pris fin le 8 août. Consultez Cycles de vie du support de Databricks Runtime.

Les événements d’audit sont consignés lorsque vous interagissez avec Databricks Repos

9 au 13 août 2021 : version 3.52

Si la journalisation d’audit est activée, un événement d’audit est désormais consigné lorsque vous créez, mettez à jour ou supprimez un référentiel Databricks, lorsque vous répertoriez tous les référentiels Databricks associés à un espace de travail et lorsque vous synchronisez les modifications entre un référentiel Databricks et un référentiel distant. Pour plus d’informations, consultez Événements du dossier Git.

Amélioration du flux de travail de création et de gestion des travaux

9 au 13 août 2021 : version 3.52

Vous pouvez désormais afficher et gérer les travaux associés à un notebook. Plus précisément, vous pouvez démarrer l’exécution d’un travail, afficher l’exécution actuelle ou la plus récente, suspendre ou reprendre la planification du travail et supprimer le travail.

L’interface utilisateur de création de travaux de notebook a été révisée et de nouvelles options de configuration ont été ajoutées. Pour plus d’informations, consultez Créer et gérer des tâches de notebook planifiées.

Runtimes photons à présent disponibles (préversion publique)

9 au 13 août 2021 : version 3.52

Photon est le nouveau moteur vectoriel natif sur Azure Databricks, directement compatible avec les API Apache Spark. Pour approvisionner les clusters avec Photon, vous devez utiliser une image Photon.

Instructions simplifiées pour la définition des informations d’identification Git (préversion publique)

9 au 13 août 2021 : version 3.52

Les instructions de l’onglet d’intégration Git de la page Paramètres utilisateur ont été simplifiées.

Importer plusieurs notebooks au format .html

9 au 13 août 2021 : version 3.52

Vous pouvez maintenant importer plusieurs notebooks au format .html dans un fichier .zip. Auparavant, vous ne pouviez importer qu’un seul notebook au format .html à la fois.

Le fichier .zip peut contenir des dossiers et des notebooks au format .html ou au format de fichier source (Python, Scala, SQL ou R). Un fichier .zip ne peut pas inclure les deux formats.

Améliorations de la convivialité pour les tables dynamiques Delta

9 au 13 août 2021 : version 3.52

Cette version comprend les améliorations suivantes apportées au runtime et à l’interface utilisateur de Delta Live Tables :

  • Lorsque vous créez un pipeline, vous pouvez maintenant spécifier une base de données cible pour la publication de vos tables et métadonnées Delta Live Tables. Pour plus d’informations sur la publication de jeux de données, consultez la page Publier des données à partir de pipelines Delta Live Tables au metastore Hive.
  • Les notebooks prennent désormais en charge la mise en surbrillance syntaxique des mots clés dans les définitions de jeux de données SQL. Vous pouvez utiliser cette mise en surbrillance syntaxique pour vous assurer de l’exactitude de vos instructions SQL Delta Live Tables. Pour plus d’informations sur la syntaxe SQL de Delta Live Tables, consultez la référence du langage SQL.
  • Le runtime Delta Live Tables émet désormais le graphique de votre pipeline avant de l’exécuter, ce qui vous permet de voir le graphique dans l’interface utilisateur plus rapidement.
  • Toutes les bibliothèques Python configurées dans vos notebooks sont désormais installées avant l’exécution de tout code Python, ce qui garantit que les bibliothèques sont globalement accessibles à tous les notebooks Python de votre pipeline. See [_]](../../../delta-live-tables/external-dependencies.md).