Février 2020

Ces fonctionnalités et Azure Databricks améliorations de la plateforme ont été publiées en février 2020.

Notes

Les mises en production sont intermédiaires. Votre compte de Azure Databricks ne peut pas être mis à jour jusqu’à une semaine après la date de publication initiale.

Databricks Runtime 6.4 pour Genomics en disponibilité générale

26 février 2020

Databricks Runtime 6,4 pour la génomique est basé sur Databricks Runtime 6,4. Il comprend de nombreuses améliorations et mises à niveau de Databricks Runtime 6,3 pour la génomique.

Les fonctionnalités clés sont les suivantes :

  • Vous pouvez désormais personnaliser DNASeq. Les utilisateurs de pipeline peuvent désactiver de manière sélective toute combinaison légitime de l’alignement de lecture, de l’appel de variante et des étapes d’annotation variant. Les utilisateurs peuvent également effectuer un alignement de lecture d’un seul bout.
  • la version de lueur comprise dans Databricks Runtime 6,4 pour la génomique fournit désormais des api Python et Scala pour les fonctions précédemment exposées uniquement par le biais d’expressions SQL. Ces fonctions sont disponibles pour les opérations tableau, ce qui améliore la sécurité au moment de la compilation.

Pour plus d’informations, consultez les notes de publication Complete Databricks Runtime 6,4 pour génomique (non prise en charge) .

Databricks Runtime 6.4 ML en disponibilité générale

26 février 2020

Databricks Runtime 6,4 ML GA offre des mises à niveau de bibliothèque, notamment :

  • PyTorch : 1.3.1 à 1.4.0
  • Horovod : 0.18.2 1.19.0

pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,4 pour Machine Learning (non prises en charge) .

Databricks Runtime 6.4 en disponibilité générale

26 février 2020

Databricks Runtime 6,4 GA apporte de nouvelles fonctionnalités, des améliorations et de nombreux correctifs de bogues.

  • Traitez les nouveaux fichiers de données de façon incrémentielle avec le chargeur automatique (version préliminaire publique). Le chargeur automatique vous permet de traiter plus efficacement de nouveaux fichiers de données de façon incrémentielle à mesure qu’ils arrivent dans un magasin d’objets BLOB Cloud pendant l’ETL. Il s’agit d’une amélioration par rapport à la diffusion en continu structurée basée sur des fichiers, qui identifie les nouveaux fichiers en répertoriant de façon répétée l’annuaire du Cloud et en effectuant le suivi des fichiers qui ont été vus, et peut être très inefficace à mesure que le répertoire augmente.
  • Chargez des données dans Delta Lake avec des nouvelles tentatives idempotent (version préliminaire publique). la COPY INTO commande SQL vous permet de charger des données dans Delta Lake avec des nouvelles tentatives idempotent (version préliminaire publique). Pour charger des données dans Delta Lake dès aujourd’hui, vous devez utiliser Apache Spark API tableau. En cas d’échec lors des chargements, vous devez les gérer efficacement.
  • Les métriques de l’opération pour toutes les écritures, les mises à jour et les suppressions d’une table Delta s’affichent maintenant dans l’historique des tables.
  • Les figures matplotlib en ligne sont désormais activées par défaut dans Azure Databricks blocs-notes (version préliminaire publique).

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,4 (non prises en charge) .

Nouveaux graphiques interactifs qui offrent des interactions riches côté client

25 février-3 mars, 2019 : version 3,14

Cette version introduit deux nouveaux types de graphiques interactifs qui remplacent les implémentations de graphique à barres et de graphique en courbes. En plus des fonctionnalités de graphique existantes, le graphique en courbes comporte quelques nouvelles options de traçage personnalisé : la définition d’une plage de l’axe des Y, l’indication ou le masquage des marqueurs et l’application de l’échelle du journal à l’axe des Y. Les deux graphiques ont une barre d’outils intégrée qui prend en charge un ensemble complet d’interactions côté client.

Barre d’outils Graphique

Si vous souhaitez utiliser les implémentations de graphiques existantes, vous pouvez les sélectionner dans le menu déroulant graphiques hérités . Les graphiques existants continueront à utiliser les implémentations précédemment disponibles.

Types de graphiques hérités

Le nouveau réseau d’ingestion de données ajoute des intégrations de partenaires avec Delta Lake (préversion publique)

Le 24 février 2020

Vous pouvez désormais facilement alimenter votre « Lakehouse », votre Data Lake, qui vous permet d’accéder aux structures de données et aux fonctionnalités de gestion des données que vous recevez généralement avec un entrepôt de données, de centaines de sources de données dans Delta Lake. La nouvelle galerie d’intégrations de partenaires, accessible à partir de votre espace de travail, vous donne accès à un vaste réseau de sources de données via nos partenaires Fivetran, qlik Sense, InfoWorks, StreamSets et Syncsort.

Portail d’intégration des partenaires

Pour obtenir une vue d’ensemble, consultez notre blog. Pour plus d’informations, consultez intégrations de données de partenaires.

Ajout automatique d’un créateur d’espace de travail en tant qu’administrateur Azure Databricks

Le 24 février 2020

Avant le 24 février, 2020, l’utilisateur qui a créé un espace de travail Azure Databricks n’est ajouté qu’en tant qu’utilisateur administrateur pour l’espace de travail, s’il a également cliqué sur le bouton lancer l’espace de travail dans le portail Azure ou a été ajouté en tant qu’administrateur par un utilisateur qui était déjà un utilisateur administrateur dans l’espace de travail À présent, l’utilisateur qui crée l’espace de travail est ajouté automatiquement en tant qu’administrateur d’espace de travail.

Pour plus d’informations sur la création et le lancement des espaces de travail, consultez gérer votre abonnement .

Indicateurs pour gérer les fonctionnalités de notebook et de sécurité des espaces de travail maintenant disponibles

4-11 février, 2020 : version 3,12

Cette version introduit de nouveaux indicateurs pour la gestion des en-têtes de sécurité qui sont envoyés pour empêcher les attaques sur votre espace de travail, ainsi que l’accès aux téléchargements de résultats des Notebooks et le contrôle de version git. Consultez gérer les en-têtes de sécurité de l’espace de travail et gérer l’accès aux fonctionnalités du bloc-notes. Toutes ces options d’administration sont activées par défaut.