Janvier 2020

Ces fonctionnalités et Azure Databricks améliorations de la plateforme ont été publiées en janvier 2020.

Notes

Les mises en production sont intermédiaires. Votre compte de Azure Databricks ne peut pas être mis à jour jusqu’à une semaine après la date de publication initiale.

Ce mois-ci, nous avons vu la publication des versions de Azure Databricks plateforme 3,9 et 3,11. Il n’existe aucune version des versions 3,10 ou 3,8. La version 3,7 était une version de stabilité et de correction des bogues uniquement.

Bientôt disponible : les étiquettes d’espace de travail, de pool et de cluster s’étendent aux détails de l’utilisation de DBU et aux machines virtuelles Azure pour améliorer les rapports de gestion des coûts

Le 10 février, nous mettrons à jour la propagation des balises pour Azure Databricks les détails d’utilisation et les machines virtuelles Azure. La nouvelle fonctionnalité de propagation de balises associe Azure Databricks balises d’espace de travail (autrement dit, les balises de groupe de ressources), les balises de pool et les balises de cluster et les propage aux détails d’utilisation Databricks DBU et aux machines virtuelles Azure en tant que balises de ressource. Vous serez en mesure d’afficher les informations relatives aux balises dans le portail Azure Cost Management et dans les exportations des détails d’utilisation, ce qui vous offre une meilleure visibilité de l’utilisation des Azure Databricks (coût total de possession) et de l’attribution exacte aux divisions et aux équipes.

Azure Databricks et Azure Lighthouse peuvent maintenant se trouver dans le même abonnement

29 janvier 2020

Tous les espaces de travail Azure Databricks existants ont migré de l’utilisation de verrous managés pour refuser les attributions. Tous les nouveaux espaces de travail créés auront des affectations refuser. Cela ne modifie pas le comportement existant et le niveau de sécurité reste le même. Bien que vous puissiez intégrer des abonnements qui utilisent Azure Databricks, les utilisateurs du client gérant peuvent ’ lancer Azure Databricks espaces de travail sur un abonnement délégué pour le moment.

Databricks Runtime 6.3 pour Genomics en disponibilité générale

22 janvier 2020

Databricks Runtime 6,3 pour la génomique est basé sur Databricks Runtime 6,3. Il comprend de nombreuses améliorations et mises à niveau de Databricks Runtime 6,2 pour la génomique.

Les fonctionnalités clés sont les suivantes :

  • Prise en charge des tables delta comme entrée pour le pipeline de génotypage conjoint
  • Analyse automatique des annotations lors de la lecture de VCFs
  • Séparateur de variantes multiallelic amélioré
  • Fonctions plus rapides de régression linéaire et logistique

Pour plus d’informations, consultez les notes de publication Complete Databricks Runtime 6,3 pour génomique (non prise en charge) .

Databricks Runtime 6.3 ML en disponibilité générale

22 janvier 2020

Databricks Runtime 6,3 ML GA apporte de nombreuses mises à niveau de bibliothèque, notamment :

  • PyTorch : 1.3.0 à 1.3.1
  • torchvision : 0.4.1 0.4.2
  • MLflow : 1.4.0 à 1.5.0
  • Hyperopt : 0.2.1 0.2.2

pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,3 pour Machine Learning (non prises en charge) .

Databricks Runtime 6.3 en disponibilité générale

22 janvier 2020

Databricks Runtime 6,3 GA apporte de nouvelles fonctionnalités, des améliorations et de nombreux correctifs de bogues.

Cette version offre une meilleure concurrence. Les fonctionnalités clés sont les suivantes :

  • Concurrence améliorée pour toutes les opérations Delta Lake
  • Prise en charge améliorée de la compression de fichiers
  • Amélioration des performances pour la fusion en insertion seule

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6,3 (non prises en charge) .

Cache différentiel activé par défaut

7-14 janvier 2020 : version 3,9

Le cache Delta est maintenant activé par défaut sur les instances de la série Lsv2 pour toutes les versions de Databricks Runtime prises en charge. Consultez utilisation de la mise en cache Delta.

L’étape de mise à l’échelle automatique standard de cluster est maintenant configurable

7-14 janvier 2020 : version 3,9

Par défaut, la première étape de la mise à l’échelle automatique standard ajoute 8 nœuds. Vous pouvez maintenant définir la valeur de l’étape dans la configuration du cluster Spark. Consultez mise à l’échelle automatique standard.

L’API SCIM prend en charge la pagination pour Get Users et Get Groups (préversion publique)

7-14 janvier 2020 : version 3,9

L’API SCIM prend désormais en charge la pagination pour obtenir les utilisateurs et obtenir des groupes. Lorsque vous spécifiez startIndex les count paramètres de requête et, scim retourne un sous-ensemble d’utilisateurs/groupes. Le startIndex paramètre est l’index de base 1 du premier résultat. Le count paramètre correspond au nombre maximal d’utilisateurs ou de groupes à retourner. Cela garantit l’extensibilité du client SCIM et simplifie les appels SCIM pour les administrateurs de Azure Databricks. Consultez l' API SCIM 2,0.

La largeur de couloir de l’Explorateur de fichiers est passée à 240px

7-14 janvier 2020 : version 3,9

L’augmentation de la largeur réduit la nécessité de passer la souris sur les objets pour voir le nom de fichier complet.

Fin du support de Databricks Runtime 3.5 LTS

2 janvier 2020

La prise en charge de Databricks Runtime 3,5 LTS (support à long terme) a pris fin le 2 janvier. Consultez cycle de vie du support Databricks Runtime.