Novembre 2018

  • Article

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en novembre 2018.

Notes

Les publications se font par étapes. Votre compte Azure Databricks peut ne pas être mis à jour jusqu’à une semaine après la date de publication initiale.

IU de la bibliothèque

Important

Cette mise à jour a été annulée le 7 décembre 2018.

27 novembre au 4 décembre 2018 : version 2.85

Dans cette version, l’interface utilisateur de la bibliothèque a été considérablement améliorée.

L’interface utilisateur d’Azure Databricks prend désormais en charge les bibliothèques d’espace de travail et les bibliothèques attachées à un cluster. Une bibliothèque d’espace de travail existe dans l’espace de travail et peut être attachée à un ou plusieurs clusters. Une bibliothèque attachée à un cluster est une bibliothèque qui existe uniquement dans le contexte du cluster auquel elle est attachée. Informations supplémentaires :

  • Vous pouvez maintenant créer une bibliothèque à partir d’un fichier chargé dans le stockage d’objets.
  • Vous pouvez maintenant attacher et détacher des bibliothèques à partir de la page de détails de la bibliothèque et de l’onglet Bibliothèques d’un cluster.
  • Les bibliothèques installées à l’aide de l’API s’affichent désormais sous l’onglet Bibliothèques d’un cluster.

Paramètres de mémoire de tas Spark personnalisés activés

27 novembre au 4 décembre 2018 : version 2.85

Les paramètres de mémoire Spark suivants prennent désormais effet :

  • spark.executor.memory
  • spark.driver.memory

Important

  • Azure Databricks a des services qui s’exécutent sur chaque nœud, donc la mémoire maximale autorisée pour Spark est inférieure à la capacité de mémoire de la machine virtuelle rapportée par le fournisseur de cloud. Si vous souhaitez fournir à Spark la quantité maximale de mémoire du tas pour l’exécuteur ou le pilote, ne spécifiez pas spark.executor.memory ou spark.driver.memory, respectivement.
  • Certaines configurations de cluster qui n’étaient pas valides auparavant, mais qui étaient ignorées peuvent entraîner des échecs de cluster.

Travaux et éviction des contextes d’exécution inactifs

27 novembre au 4 décembre 2018 : version 2.85

Les travaux procèdent désormais à l’éviction automatique des contextes d’exécution inactifs. Consultez Contextes d’exécution des notebooks Databricks. Pour réduire l’éviction automatique, Azure Databricks recommande d’utiliser différents clusters pour les travaux et les charges de travail interactives.

Publication de Databricks Runtime 5.0 pour le machine learning (version bêta)

19 novembre 2018

Databricks Runtime 5.0 ML (bêta) fournit un environnement prêt à l’emploi pour le Machine Learning et la science des données. Il contient plusieurs bibliothèques populaires, notamment TensorFlow, Keras et XGBoost. Il prend également en charge l’entraînement TensorFlow distribué avec Horovod. Databricks Runtime 5.0 ML est basé sur Databricks Runtime 5.0. Databricks Runtime 5.0 ML comprend les nouvelles fonctionnalités suivantes :

  • HorovodRunner pour l’exécution de travaux d’entraînement de Deep Learning distribué à l’aide de Horovod. Voir Entraînement distribué.
  • Prise en charge de Conda pour la gestion des packages.
  • Intégration de MLeap.
  • Intégration de GraphFrames.

Voir les notes de publication complètes pour Databricks Runtime 5.0 pour Machine Learning (non pris en charge).

Publication de Databricks Runtime 5.0

8 novembre 2018

Databricks Runtime 5.0 est désormais disponible. Databricks Runtime 5.0 comprend Apache Spark 2.4.0, de nouvelles fonctionnalités et mises à niveau de Delta Lake et Structured Streaming, ainsi que des bibliothèques Python, R, Java et Scala mises à niveau. Pour plus d’informations, consultez Databricks Runtime 5.0 (non pris en charge).

Sur Databricks Runtime 5.0, Azure Databricks évince désormais les contextes d’exécution inactifs lorsqu’un cluster a atteint la limite maximale de contextes (145). Consultez Contextes d’exécution des notebooks Databricks.

Prise en charge de displayHTML pour le chargement non restreint de contenu tiers

6 au 13 novembre 2018 : version 2.84

Auparavant, le bac à sable iframe displayHTML était dépourvu de l’attribut allow-same-origin. Cela signifiait que l’iframe avait une origine Null, ce qui n’était pas convivial pour les requêtes XHR à origine croisée, les cookies ou l’accès aux iframes incorporées. Avec cette version, l’iframe displayHTML est servie depuis un nouveau domaine, databricksusercontent.com, et le bac à sable de l’iframe inclut désormais l’attribut allow-same-origin.

Il n’est pas nécessaire de modifier votre utilisation de displayHTML si cela fonctionne déjà pour vous.

databricksusercontent.com doit être accessible à partir de votre navigateur. S’il est bloqué par votre réseau d’entreprise, il doit être inclus dans la liste verte par le service informatique.