Databricks Runtime 6.0 (non pris en charge)

Article
03/01/2024

Databricks a publié cette image en octobre 2019.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 6.0 avec Apache Spark.

Nouvelles fonctionnalités

Environnement Python

Databricks Runtime 6.0 inclut des modifications majeures apportées à Python et à la façon dont les environnements Python sont configurés, notamment la mise à niveau de Python vers 3.7.3, l’affinage de la liste des packages Python installés et la mise à niveau de ces packages installés vers des versions plus récentes. Pour plus d’informations, consultez Bibliothèques Python installées.

En outre, comme annoncé précédemment, Databricks Runtime 6.0 ne prend pas en charge Python 2.

Les changements clé sont notamment :

Mise à niveau de Python de 3.5.2 vers 3.7.3. Certaines anciennes versions des packages Python peuvent ne pas être compatibles avec Python 3.7 parce qu’elles dépendent d’anciennes versions de Cython qui ne sont pas compatibles avec Python 3.7. L’installation d’un tel package peut déclencher des erreurs similaires à ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ (voir le problème GitHub 1978 pour plus d’informations). Installez les versions compatibles Python 3.7 des packages Python à la place.
Principales mises à niveau des packages :
- boto3 vers 1.9.162
- ipython vers 7.4.0
- matplotlib vers 3.0.3
- numpy vers 1.16.2
- pandas vers 0.24.2
- pyarrow vers 0.13.0
Par rapport à Databricks Runtime 5.5 LTS (sans support), les packages Python suivants sont inclus depuis peu : asn1crypto, backcall, jedi, kiwisolver, parso et PySocks.
Par rapport à Databricks Runtime 5.5 LTS (sans support), les packages Python suivants ne sont pas installés : ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson et singledispatch.
La fonction display sur les objets ggplot Python n’est plus prise en charge, car le package ggplot n’est pas compatible avec la version plus récente de pandas.
Définir PYSPARK_PYTHON sur la valeur /databricks/python2/bin/python n’est pas pris en charge, car Databricks Runtime 6.0 ne prend pas en charge Python 2. Un cluster avec ce paramètre peut toujours démarrer. Toutefois, les notebooks Python et les commandes Python ne fonctionneront pas. En fait, les cellules de commande Python échouent avec une erreur « Annulé » et une erreur Python shell failed to start s’affiche dans les journaux du pilote.
Si PYSPARK_PYTHON pointe vers un exécutable Python qui se trouve dans un environnement géré par Virtualenv, cet environnement est activé pour les scripts init et les notebooks. Vous pouvez utiliser les commandes python et pip qui sont définies dans l’environnement activé directement sans avoir à spécifier les emplacements absolus de ces commandes. Par défaut, PYSPARK_PYTHON est défini sur /databricks/python3/bin/python. Par conséquent, par défaut, python pointe vers /databricks/python3/bin/python et pip pointe vers /databricks/python3/bin/pip pour les notebooks et les scripts init. Si votre PYSPARK_PYTHON pointe vers un exécutable Python qui ne se trouve pas dans un environnement géré par Virtualenv ou si vous écrivez un script init pour créer le Python spécifié par PYSPARK_PYTHON, vous devrez utiliser des chemins d’accès absolus pour accéder aux python et pip corrects. Lorsque l’isolation de la bibliothèque Python est activée (ce qui est le cas par défaut), l’environnement activé est toujours l’environnement avec lequel PYSPARK_PYTHON est associé. Nous vous recommandons d’utiliser l’utilitaire de bibliothèque (dbutils.library) pour modifier l’environnement isolé associé à un notebook Python.

API Scala et Java pour les commandes DML Delta Lake

Vous pouvez maintenant modifier des données dans des tables delta à l’aide d’API de programmation pour la suppression, la mise à jour et la fusion. Ces API reflètent la syntaxe et la sémantique de leurs commandes SQL correspondantes et sont idéales pour de nombreuses charges de travail, par exemple, les opérations de dimensions lentement variables, la fusion des données de modification pour la réplication et les upserts à partir de requêtes de streaming.

Pour plus d’informations, consultez Qu’est-ce que Delta Lake ?.

API Scala et Java pour les commandes d’utilitaire Delta Lake

Databricks Runtime possède désormais des API de programmation pour les commandes d’utilitaire vacuum et history. Ces api reflètent la syntaxe et la sémantique de leurs commandes SQL correspondantes disponibles dans les versions antérieures de Databricks Runtime.

Vous pouvez nettoyer les fichiers qui ne sont plus référencés par une table Delta et qui sont antérieurs au seuil de conservation des données en exécutant vacuum sur la table. L’exécution de la commande vacuum sur la table vide de manière récursive les répertoires associés à la table Delta. Le seuil de conservation des données par défaut pour les fichiers s’élève à 7 jours. Toute possibilité de revenir à une version antérieure à la période de conservation est perdue après l’exécution de la commande vacuum. vacuum n’est pas déclenché automatiquement.

Vous pouvez récupérer des informations sur les opérations, l’utilisateur,le timestamp, etc. pour chaque écriture dans une table Delta en exécutant la commande history. Les opérations sont retournées dans l’ordre chronologique inverse. Par défaut, l’historique de la table est conservé pendant 30 jours.

Pour plus d’informations, consultez Qu’est-ce que Delta Lake ?.

Mise en cache de disque disponible pour les instances Azure Lsv2

[Disk caching]](../../optimizations/disk-cache.md) est désormais activé par défaut pour toutes les instances Lsv2.

Stockage optimisé à l’aide des API de fichier local

Les API de fichier local sont utiles car elles vous permettent d’accéder à des fichiers à partir du stockage d’objets distribués sous-jacent en tant que fichiers locaux. Dans Databricks Runtime 6.0, nous avons amélioré le montage FUSE qui permet aux API de fichier local d’adresser des limitations de clé. Databricks Runtime 6.0 améliore considérablement la vitesse de lecture et d’écriture et prend en charge les fichiers dont la taille est supérieure à 2 Go. Si vous avez besoin de lectures et d’écritures plus rapides et plus fiables, telles que pour l’apprentissage de modèle distribué, cette amélioration est particulièrement utile. En outre, il n’est pas nécessaire de charger des données dans un stockage local pour vos charges de travail, ce qui permet d’économiser les coûts et d’améliorer la productivité.

Pour plus d’informations, consultez Qu’est-ce que DBFS (Databricks File System) ?.

Plusieurs tracés matplotlib par cellule de notebook

Vous pouvez maintenant afficher plusieurs tracés matplotlib par cellule de notebook :

Multiple matplotlib plots in cell

Informations d’identification de service pour plusieurs comptes Azure Data Lake Storage Gen1

Vous pouvez maintenant configurer des informations d’identification de service pour plusieurs comptes d’Accès au stockage Azure Data Lake Storage Gen1 à partir d’Azure Databricks en vue de leur utilisation dans une même session Apache Spark. Pour ce faire, ajoutez account.<account-name> aux clés de configuration. Par exemple, si vous souhaitez configurer des informations d’identification qui permettent aux deux comptes d’accéder à adl://example1.azuredatalakestore.net et adl://example2.azuredatalakestore.net, ajoutez ce code :

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Améliorations

Mise à niveau du Kit de développement logiciel AWS vers la version 1.11.596.
Mise à niveau du Kit de développement logiciel (SDK) Stockage Azure dans le pilote WASB vers la version 7.0.
OPTIMIZE fournit maintenant un résumé des métriques telles que le nombre de fichiers ajoutés, le nombre de fichiers supprimés et la taille de fichier maximale et minimale. Voir Compacter des fichiers de données avec l’optimisation sur Delta Lake.

Suppression

L’exportation du modèle ML Databricks a été supprimée. Utilisez MLeap pour importer et exporter des modèles à la place.

Apache Spark

Notes

Cet article contient des références au terme esclave, un terme qu’Azure Databricks n’utilise pas. Lorsque le terme sera supprimé du logiciel, nous le supprimerons de cet article.

Databricks Runtime 6.0 comprend Apache Spark 2.4.3. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 5.5 LTS (sans prise en charge) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

[SPARK-27992][SPARK-28881][PYTHON] Autorisation de Python à se joindre avec un thread de connexion pour propager des erreurs
[SPARK-27330][SS] Prend en charge l’abandon de tâche dans l’enregistreur foreach (6.0, 5.x)
[SPARK-28642][SQL] Masque les informations d’identification dans SHOW CREATE TABLE
[SPARK-28699][CORE] Correction d’un cas particulier pour l’abandon d’une étape indéterminée
[SPARK-28647][WEBUI] Fonctionnalité de récupération de métriques supplémentaires
[SPARK-28766][R][DOC] Correction de l’avertissement de faisabilité entrante CRAN sur une URL non valide
[SPARK-28486][CORE][PYTHON] Mappage du fichier de données PythonBroadcast vers un BroadcastBlock pour éviter la suppression par GC
[SPARK-25035][CORE] Éviter le mappage de mémoire au niveau de la réplication des blocs stockés sur le disque
[SPARK-27234][SS][PYTHON] Utiliser InheritableThreadLocal pour l’époque actuelle dans EpochTracker (pour prendre en charge les fonctions définies par l’utilisateur Python)
[SPARK-28638][WEBUI] Le résumé de la tâche doit contenir uniquement les métriques de tâches réussies
[SPARK-28153][PYTHON] Utiliser AtomicReference sur InputFileBlockHolder (pour prendre en charge input_file_name avec la fonction UDF de Python)
[SPARK-28564][CORE] L’application de l’historique des accès a comme valeur par défaut le dernier ID de tentative
[SPARK-28260] Le cluster peut se terminer automatiquement quand la requête thriftserver continue de récupérer les résultats
[SPARK-26152][CORE] Synchroniser le nettoyage du Worker avec l’arrêt du Worker
[SPARK-28545][SQL] Ajout de la taille de la table de hachage au journal directionnel de ObjectAggregationIterator
[SPARK-28489][SS] Correction d’un bogue où KafkaOffsetRangeCalculator.getRanges peut supprimer des décalages
[SPARK-28421][ML] Optimisation des performances SparseVector.apply
[SPARK-28156][SQL] La jointure réflexive ne doit pas manquer la vue mise en cache
[SPARK-28152][SQL] ShortType mappé à SMALLINT et FloatType à REAL pour MsSqlServerDialect
[SPARK-28054][SQL] Résolution de l’erreur lors de l’insertion dynamique de la table partitionnée Hive, où le nom de la partition est en majuscules
[SPARK-27159][SQL] Mise à jour du dialecte de serveur mssql pour prendre en charge le type binaire
[SPARK-28355][CORE][PYTHON] Utilisation de Spark conf pour le seuil auquel com...
[SPARK-27989][CORE] Ajout de nouvelles tentatives sur la connexion au pilote pour k8s
[SPARK-27416][SQL] Sérialisation UnsafeMapData et UnsafeArrayData Kryo …
[SPARK-28430][UI] Résolution du rendu de la table de phases lorsque certaines métriques de tâches sont manquantes
[SPARK-27485] EnsureRequirements.reorder doit gérer les expressions dupliquées correctement
[SPARK-28404][SS] Correction de la valeur du délai d’expiration négatif dans RateStreamContinuousPartitionReader
[SPARK-28378][PYTHON] Suppression de l’utilisation de cgi.escape
[SPARK-28371][SQL] Le filtre Parquet « StartsWith » devient null-safe
[SPARK-28015][SQL] Vérifie que stringToDate() consomme une entrée entière pour les formats aaaa et aaaa-[m]m
[SPARK-28302][CORE] Assurez-vous de générer un fichier de sortie unique pour SparkLauncher sur Windows
[SPARK-28308][CORE] La partie de CalendarInterval inférieure à une seconde doit être complétée avant l’analyse
[SPARK-28170][ML][PYTHON] Documentation sur la matrice et les vecteurs uniformes
[SPARK-28160][CORE] Résolution d’un bogue où la fonction de rappel peut se bloquer quand une exception non vérifiée est manquante
[SPARK-27839][SQL] Modification de UTF8String.replace() pour qu’il fonctionne sur les octets UTF8
[SPARK-28157][CORE] Faire en sorte que SHS efface KVStore loginfo pour les entrées bloquées
[SPARK-28128][PYTHON][SQL] Les fonctions définies par l’utilisateur groupées pandas ignorent les partitions vides
[SPARK-28012][SQL] La fonction définie par l’utilisateur Hive prend en charge l’expression pliable de type struct
[SPARK-28164] Correction de la description de l’utilisation de start-slave.sh
[SPARK-27100][SQL] Utiliser Array au lieu de Seq dans FilePartition pour empêcher StackOverflowError
[SPARK-28154][ML] Résolution GMM de la mise en cache double

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 6.0.

Environnement du système

Système d’exploitation : Ubuntu 16.04.6 LTS
Java : 1.8.0_232
Scala : 2.11.12
Python : 3.7.3
R : R version 3.6.1 (2019-07-05)
Delta Lake : 0.3.0