Databricks Runtime 10.1 (non pris en charge)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.1 et Databricks Runtime 10.1 Photon, avec Apache Spark 3.2.0. Databricks a publié ces images en novembre 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

Nouveaux paramètres de table Delta pour compacter de petits fichiers

La propriété de table Delta delta.autoOptimize.autoCompact accepte désormais les nouvelles valeurs d’auto et de legacy en plus des valeurs existantes de true et false. Quand la valeur est auto (recommandé), le compactage automatique utilise les meilleures valeurs par défaut, comme la définition de 32 Mo en tant que taille de fichier cible (bien que les comportements par défaut soient susceptibles de changer à l’avenir). Quand la valeur est legacy ou true, le compactage automatique utilise 128 Mo comme taille de fichier cible.

Au lieu de définir cette propriété pour une table individuelle, vous pouvez définir la configuration spark.databricks.delta.autoCompact.enabled sur auto, legacy ou true pour activer le compactage automatique pour toutes les tables Delta. Cette configuration est prioritaire sur la propriété de table associée pendant la session active.

La taille de fichier cible pour le compactage automatique peut être contrôlée à l’aide de la configuration spark.databricks.delta.autoCompact.maxFileSize.

Pour plus d’informations sur le compactage automatique, consultez Compactage automatique pour Delta Lake sur Azure Databricks.

Nouvelles métriques de groupe de lignes pour les analyses de requête Parquet

Les analyses des requêtes avec Parquet font maintenant apparaître les métriques de groupe de lignes dans l’interface utilisateur Spark. Ces métriques de groupe de lignes sont les suivantes :

  • nombre total de groupes de lignes Parquet
  • nombre de groupes de lignes Parquet lus

Trigger.AvailableNow pour les requêtes de streaming de source Delta

Cette modification prend en charge un nouveau type de déclencheur pour les requêtes de streaming de source Delta dans Scala : Trigger.AvailableNow. C’est comme Trigger.Once, qui traite toutes les données disponibles, puis arrête la requête. Toutefois, Trigger.AvailableNow offre une meilleure scalabilité, car les données peuvent être traitées en plusieurs lots au lieu d’un seul. Cette modification n’introduit pas une nouvelle interface ; elle implémente une API Spark existante. Ce déclencheur prend également en charge toutes les options de limitation de débit déjà prises en charge par Delta comme source.

Exemple :

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Vous voulez voir la couverture de Trigger.AvailableNow dans Qu’est-ce que Auto Loader ?.

Trigger.AvailableNow pour le chargeur automatique

Trigger.AvailableNow est un nouveau mode déclencheur de streaming similaire à Trigger.Once. Trigger.Once traite toutes les données disponibles, puis arrête la requête. Trigger.AvailableNow propose une meilleure scalabilité, car les données peuvent être traitées en plusieurs lots au lieu d’un seul. Le chargeur automatique prend désormais en charge Trigger.AvailableNow à la fois dans les modes Liste de répertoires et Notification de fichiers pour Scala. Vous voulez voir la couverture de Trigger.AvailableNow dans Qu’est-ce que Auto Loader ?.

Prise en charge Delta pour les configurations de système de fichiers Hadoop transmises via les options DataFrame

Comme pour Parquet, Delta prend désormais en charge la lecture des configurations de système de fichiers Hadoop à partir des options DataFrameReader et DataFrameWriter lorsque la table est lue ou écrite, à l’aide de DataFrameReader.load(path) ou DataFrameWriter.save(path). Consultez Configurer les informations d'identification du stockage Delta.

La réalisation d’un point de contrôle d’état asynchrone est désormais prise en charge dans les travaux de streaming avec état (préversion publique)

La réalisation d’un point de contrôle d’état asynchrone est une nouvelle fonctionnalité qui réduit potentiellement la latence de microlot de bout en bout dans les travaux de streaming avec état par d’importantes mises à jour d’état. Consultez Point de contrôle d’état asynchrone pour les requêtes avec état.

Sparklyr avec passage des informations d’identification

Vous pouvez maintenant utiliser les API sparklyr pour lire et écrire des données depuis et vers le stockage cloud avec le passage des informations d’identification. Cette fonctionnalité est limitée aux clusters standard avec un accès mono-utilisateur. Consultez Accéder à Azure Data Lake Storage à l’aide du relais d’informations d’identification Microsoft Entra ID (anciennement Azure Active Directory) (hérité).

Contrôle de précision de synthèse des données des utilitaires Databricks (préversion publique)

Un nouveau paramètre precise pour dbutils.data.summarize contrôle la précision des résultats de synthèse. Lorsque precise est défini sur false (valeur par défaut), la synthèse renvoie des résultats approximatifs pour le comptage de valeurs, le centile et le nombre d’éléments fréquents. Lorsque precise a la valeur true, les synthèses sont maintenant calculées avec le comptage de valeurs et le nombre d’éléments fréquents exacts, avec des estimations de centile plus précises. Consultez la commande summarize (dbutils.data.summarize).

Les notebooks Azure Databricks peuvent maintenant être utilisés avec le noyau IPython

Vous pouvez maintenant configurer un cluster Azure Databricks pour utiliser le noyau IPython pour exécuter du code Python. L’utilisation du noyau IPython sur Azure Databricks ajoute la prise en charge des outils d’affichage et de sortie d’IPython. En outre, le noyau IPython capture les sorties stdout et stderr des processus enfants créés par un notebook, ce qui permet d’inclure cette sortie dans les résultats de la commande du notebook.

Pour plus d’informations, consultez Noyau IPython.

Nouvelles fonctions dans Spark SQL

Les objets et commandes suivants ont été ajoutés pour l’utilisation des données dans le catalogue Unity (préversion) :

Les commandes suivantes ont été ajoutées pour le partage Delta (préversion), qui vous permet de partager des données en lecture seule avec des destinataires en dehors de votre organisation :

Résolution des bogues

  • Correction d’une condition de concurrence susceptible d’entraîner l’échec d’une requête avec une exception IOException telle que No FileSystem for scheme ou d’empêcher les modifications apportées à sparkContext.hadoopConfiguration d’entrer en vigueur dans les requêtes.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • filelock de 3.0.12 vers 3.3.1
    • koalas de 1.8.1 vers 1.8.2
    • plotly de 5.1.0 vers 5.3.0
  • Bibliothèques R mises à niveau :
    • bslib de 0.3.0 vers 0.3.1
    • caret de 6.0-88 vers 6.0-90
    • cpp11 de 0.3.1 vers 0.4.0
    • data.table de 1.14.0 vers 1.14.2
    • desc de 1.3.0 vers 1.4.0
    • diffobj de 0.3.4 vers 0.3.5
    • digest de 0.6.27 vers 0.6.28
    • generics de 0.1.0 vers 0.1.1
    • hms de 1.1.0 vers 1.1.1
    • knitr de 1.34 vers 1.36
    • lattice de 0.20-44 vers 0.20-45
    • lifecycle de 1.0.0 vers 1.0.1
    • lubridate de 1.7.10 vers 1.8.0
    • mgcv de 1.8-37 vers 1.8-38
    • mime de 0.11 vers 0.12
    • pkgload de 1.2.2 vers 1.2.3
    • progressr de 0.8.0 vers 0.9.0
    • rcmdcheck de 1.3.3 vers 1.4.0
    • readr de 2.0.1 vers 2.0.2
    • recipes de 0.1.16 vers 0.1.17
    • remotes de 2.4.0 vers 2.4.1
    • rlang de 0.4.11 vers 0.4.12
    • rvest de 1.0.1 vers 1.0.2
    • shiny de 1.6.0 vers 1.7.1
    • stringi de 1.7.4 vers 1.7.5
    • testthat de 3.0.4 vers 3.1.0
    • tidyr de 1.1.3 vers 1.1.4
    • tinytex de 0.33 vers 0.34
    • usethis de 2.0.1 vers 2.1.2
    • xfun de 0.26 vers 0.27
  • Bibliothèques Java mises à niveau :
    • com.zaxxer.HikariCP de 3.1.0 vers 4.0.3

Apache Spark

Databricks Runtime 10.1 comprend Apache Spark 3.2.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 10.0 (non pris en charge), ainsi que les correctifs de bogues supplémentaires et les améliorations apportées à Spark suivants :

  • [SPARK-37037] [SQL] Améliorer le tri des tableaux d’octets en unifiant la fonction compareTo d’UTF8String et ByteArray
  • [SPARK-37091] [R] SystemRequirements pour inclure Java < 18
  • [SPARK-37041] [SQL] Rétroportage de HIVE-15025 : prise en charge du protocole SSL (Secure Socket Layer) pour HMS
  • [SPARK-37098] [SQL] Les propriétés ALTER TABLE doivent invalider le cache
  • [SPARK-36992] [SQL] Améliorer les performances de tri des tableaux d’octets en unifiant la fonction getPrefix d’UTF8String et ByteArray
  • [SPARK-37047] [SQL] Ajouter des fonctions lpad et rpad pour les chaînes binaires
  • [SPARK-37076] [SQL] Implémenter StructType.toString explicitement pour Scala 2.13
  • [SPARK-37075] [SQL] Déplacer la génération d’expression UDAF à partir de sql/catalyst vers sql/core
  • [SPARK-37084] [SQL] Définir spark.sql.files.openCostInBytes sur bytesConf
  • [SPARK-37088] [PYSPARK][SQL] Le thread de l’enregistreur ne doit pas accéder à l’entrée après le retour de l’écouteur de complétion de tâche
  • [SPARK-37069] [SQL] Secours correct lorsque Hive.getWithoutRegisterFns n’est pas disponible
  • [SPARK-37050] [PYTHON] Mettre à jour les instructions d’installation Conda
  • [SPARK-37067] [SQL] Utiliser ZoneId.of() pour gérer la chaîne de fuseau horaire dans DatetimeUtils
  • [SPARK-35925] [SQL] Prendre en charge DayTimeIntervalType dans la fonction width-bucket
  • [SPARK-35926] [SQL] Ajouter la prise en charge de YearMonthIntervalType pour width_bucket
  • [SPARK-35973] [SQL] Ajouter une commande SHOW CATALOGS
  • [SPARK-36922] [SQL] Les fonctions SIGN/SIGNUM doivent prendre en charge les intervalles ANSI
  • [SPARK-37078] [CORE] Prendre en charge les anciens constructeurs de récepteur à 3 paramètres
  • [SPARK-37061] [SQL] Corriger CustomMetrics lors de l’utilisation des classes internes
  • [SPARK-35918] [AVRO] Unifier la gestion des incompatibilités de schéma pour la lecture/l’écriture et améliorer les messages d’erreur
  • [SPARK-36871] [SQL] Migrer CreateViewStatement vers la commande v2
  • [SPARK-36898] [SQL] Rendre le facteur de jointure de hachage aléatoire configurable
  • [SPARK-36921] [SQL] Prendre en charge les intervalles ANSI par DIV
  • [SPARK-36794] [SQL] Ignorer les clés de jointure dupliquées lors de la création d’une relation pour une jointure de hachage aléatoire SEMI/ANTI
  • [SPARK-36867] [SQL] Corriger le message d’erreur avec un alias GROUP BY
  • [SPARK-36914] [SQL] Implémenter dropIndex et listIndexes dans JDBC (dialecte MySQL)
  • [SPARK-35531] [SQL] Passer directement la table Hive à HiveClient quand vous appelez getPartitions pour éviter la conversion inutile de HiveTable -> CatalogTable - -> HiveTable
  • [SPARK-36718] [SQL] Réduire uniquement les projets si nous ne dupliquons pas d’expressions coûteuses
  • [SPARK-37046] [SQL] : ALTER VIEW ne préserve pas la casse des colonnes
  • [SPARK-36978] [SQL] La règle InferConstraints doit créer des contraintes IsNotNull sur le champ imbriqué consulté au lieu du type imbriqué racine
  • [SPARK-37052] [CORE] Spark doit uniquement passer l’argument –verbose à la classe main quand il s’agit de l’interpréteur de commandes SQL
  • [SPARK-37017] [SQL] Réduire l’étendue de la synchronisation afin d’éviter un blocage potentiel
  • [SPARK-37032] [SQL] Corriger le lien de syntaxe SQL rompu dans la page de référence SQL
  • [SPARK-36905] [SQL] Corriger la lecture des affichages Hive sans nom de colonne explicite
  • [SPARK-36678] Migrer SHOW TABLES pour utiliser la commande V2 par défaut
  • [SPARK-36943] [SQL] Améliorer la lisibilité du message d’erreur de colonne manquante
  • [SPARK-36980] [SQL] Insérer une requête de prise en charge avec CTE
  • [SPARK-37001] [SQL] Désactiver deux niveaux de mappage pour l’agrégation de hachage finale par défaut
  • [SPARK-36970] [SQL] Désactiver manuellement le format B de la fonction date_format pour rendre Java 17 compatible avec Java 8
  • [SPARK-36546] [SQL] Ajouter la prise en charge des tableaux à unionByName
  • [SPARK-36979] [SQL] Ajouter la règle RewriteLateralSubquery dans nonExcludableRules
  • [SPARK-36949] [SQL] Interdire les tables du fournisseur Hive avec des intervalles ANSI
  • [SPARK-36849] [SQL] Migrer UseStatement vers le framework de commande v2
  • [SPARK-36868] [SQL] Migrer CreateFunctionStatement vers le framework de commande v2
  • [SPARK-36841] [SQL] Ajouter une syntaxe ansi set catalog xxx pour modifier le catalogue actuel
  • [SPARK-36821] [SQL] Rendre la classe ColumnarBatch extensible - addenda
  • [SPARK-36963] [SQL] Ajouter max_by/min_by à sql.functions
  • [SPARK-36913] [SQL] Implémenter createIndex et IndexExists dans DS V2 JDBC (dialecte MySQL)
  • [SPARK-36848] [SQL] Migrer ShowCurrentNamespaceStatement vers le framework de commande v2
  • [SPARK-36526] [SQL] Prise en charge de l’index DSV2 : ajouter l’interface supportsIndex
  • [SPARK-36960] [SQL] Filtres pushdown avec des valeurs d’intervalle ANSI dans ORC
  • [SPARK-36929] [SQL] Supprimer la méthode inutilisée EliminateSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL] Prendre en charge la lecture et l’écriture des intervalles ANSI depuis/vers les sources de données ORC
  • [SPARK-34980] [SQL] Prendre en charge la fusion de partition par le biais d’union dans AQE
  • [SPARK-36809] [SQL] Supprimer la diffusion pour InSubqueryExec utilisée dans DPP
  • [SPARK-36813] [SQL][PYTHON] Proposer une infrastructure de jointure as-of et implémenter ps.merge_asof
  • [SPARK-36918] [SQL] Ignorer les types lors de la comparaison de structs pour unionByName
  • [SPARK-36891] [SQL] Refactoriser SpecificParquetRecordReaderBase et ajouter plus de couverture au décodage Parquet vectorisé
  • [SPARK-36920] [SQL] Prendre en charge les intervalles ANSI par ABS()
  • [SPARK-36888] [SQL] Ajouter des cas de test pour la fonction sha2
  • [SPARK-36889] [SQL] Respect de spark.sql.parquet.filterPushdown par le générateur d’analyses Parquet v2
  • [SPARK-36830] [SQL] Prendre en charge la lecture et l’écriture des intervalles ANSI depuis/vers les sources de données JSON
  • [SPARK-36870] [SQL] Introduire la classe d’erreur INTERNAL_ERROR
  • [SPARK-36831] [SQL] Prendre en charge la lecture et l’écriture des intervalles ANSI depuis/vers les sources de données CSV
  • [SPARK-36550] [SQL] Cause de propagation en cas d’échec de la réflexion UDF
  • [SPARK-36866] [SQL] Filtres pushdown avec des valeurs d’intervalle ANSI dans Parquet
  • [SPARK-33832] [SQL] Forcer la simplification et l’amélioration du code des jointures d’asymétrie
  • [SPARK-36642] [SQL] Ajouter l’API pyspark df.withMetadata
  • [SPARK-35765] [SQL] Les agrégations distinctes ne respectent pas les doublons
  • [SPARK-36825] [SQL] Lire/écrire des dataframes avec intervalles ANSI depuis/vers des fichiers Parquet
  • [SPARK-36829] [SQL] Refactoriser un contrôle de valeur NULL pour collectionOperators
  • [SPARK-32712] [SQL] Prendre en charge l’écriture de la table compartimentée Hive (formats de fichiers Hive avec hachage Hive)
  • [SPARK-36797] [SQL] L’union doit résoudre les colonnes imbriquées en tant que colonnes de niveau supérieur
  • [SPARK-36838] [SQL] Améliorer les performances de code générées par InSet
  • [SPARK-36683] [SQL] Ajouter de nouvelles fonctions SQL intégrées : SEC et CSC
  • [SPARK-36721] [SQL] Simplifier les égalités booléennes si un côté est littéral
  • [SPARK-36760] [SQL] Ajouter l’interface SupportsPushDownV2Filters
  • [SPARK-36652] [SQL] La sélection de jointure dynamique AQE ne doit pas s’appliquer à une jointure différente
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys doit retourner les prédicats d’origine sur les clés de jointure
  • [SPARK-36107] [SQL] Refactoriser le premier jeu de 20 erreurs d’exécution de requête pour utiliser des classes d’erreur
  • [SPARK-32709] [SQL] Prendre en charge l’écriture de la table compartimentée Hive (format Parquet/ORC avec hachage Hive)
  • [SPARK-36735] [SQL] Ajuster la surcharge liée à la relation mise en cache pour DPP
  • [SPARK-33832] [SQL] Prendre en charge l’optimisation de la jointure asymétrique même si c’est encore plus aléatoire
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec doit utiliser toutes les conditions au lieu de la condition différente
  • [SPARK-35221] [SQL] Ajouter la vérification des indicateurs de jointure pris en charge
  • [SPARK-36814] [SQL] Rendre la classe ColumnarBatch extensible
  • [SPARK-36663] [SQL] Prendre en charge les noms de colonnes composés exclusivement de chiffres dans les sources de données ORC
  • [SPARK-36751] [SQL][PYTHON][R] Ajouter des API bit/octet_length à Scala, Python et R
  • [SPARK-36733] [SQL] Résoudre un problème de performances dans SchemaPruning lorsqu’un struct contient de nombreux champs
  • [SPARK-36724] [SQL] Prendre en charge timestamp_ntz en tant que type de colonne de temps pour SessionWindow
  • [SPARK-36556] [SQL] Ajouter des filtres DSV2
  • [SPARK-36687] [SQL][CORE] Renommer des classes d’erreur avec le suffixe _ERROR
  • [SPARK-35803] [SQL] Prendre en charge DataSource V2 CreateTempViewUsing
  • [SPARK-36642] [SQL] Ajouter df.withMetadata : sucre syntaxique pour mettre à jour les métadonnées d’un dataframe

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.1.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.3 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.8.10
  • R : 4.1.1
  • Delta Lake : 1.0.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0.3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.3.0 numpy 1.19.2 empaquetage 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2.20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN de Microsoft du 26/10/2021.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 objet BLOB 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.2 jeux de données 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 cycle de vie 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrice 1.3-4
memoise 2.0.0 methods 4.1.1 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2,10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0,27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1