Databricks Runtime 8.0 (non pris en charge)

  • Article

Databricks a publié cette image en mars 2021.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 8.0 avec Apache Spark 3.1.1.

Nouvelles fonctionnalités

Databricks Runtime 8.0 comprend Apache Spark 3.1.1. Pour plus d’informations, consultez Apache Spark.

Améliorations

Delta est désormais le format par défaut quand aucun format n’est spécifié

Databricks Runtime 8.0 remplace le format par défaut par delta afin de simplifier la création d’une table Delta. Lorsque vous créez une table à l’aide de commandes SQL ou d’API {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream}, et que vous ne spécifiez pas de format, le format par défaut est delta.

Avec Delta Lake, vous bénéficiez de meilleures performances par rapport à Parquet, d’une meilleure fiabilité des données avec une validation enrichie des schémas, des contraintes de qualité et des garanties transactionnelles. Delta Lake vous permet de simplifier vos pipelines de données avec le streaming structuré unifié et le traitement par lots sur une source de données unique.

Alors que Databricks recommande d’utiliser Delta Lake pour stocker vos données, vous pouvez avoir des workflows hérités qui nécessitent une migration vers Delta Lake. Pour obtenir des informations sur la migration de workflows existants, consultez Présentation de Delta Lake.

Un nouvel intervalle de déclencheur par défaut Structured Streaming réduit les coûts

Si vous ne définissez pas un intervalle de déclencheur à l’aide de Trigger.ProcessingTime dans votre requête de streaming, l’intervalle est défini sur 500 ms. Auparavant, l’intervalle par défaut était de 0 ms. Cette modification devrait réduire le nombre de déclencheurs vides et réduire les coûts du stockage cloud, comme les listes.

Utiliser la fonction de transformation LDA avec le transfert direct des informations d’identification (préversion publique)

Vous pouvez maintenant utiliser la fonction de transformation LDA sur un cluster configuré pour utiliser le transfert direct des informations d’identification pour l’authentification.

Les clusters à utilisateur unique configurés avec le transfert direct des informations d’identification ne nécessitent plus de systèmes de fichiers approuvés (préversion publique)

Vous n’avez plus besoin de configurer des systèmes de fichiers locaux en tant que systèmes de fichiers approuvés lors de l’utilisation d’un cluster standard ou de travail configuré pour le transfert direct des informations d’identification avec un utilisateur unique. Cette modification supprime les restrictions de système de fichiers inutiles lors de l’exécution de travaux sur un cluster à utilisateur unique.

Mises à niveau de la bibliothèque

Apache Spark

Databricks Runtime 8.0 comprend Apache Spark 3.1.1.

Dans cette section :

Core et Spark SQL

Point clé

Améliorations de la compatibilité ANSI SQL

  • Prise en charge du type de données char/varchar (SPARK-33480)
  • Mode ANSI : erreurs d’exécution au lieu du retour de la valeur null (SPARK-33275)
  • Mode ANSI : nouvelles règles de syntaxe de cast explicite (SPARK-33354)
  • Ajout de la command SQL standard SET TIME ZONE (SPARK-32272)
  • Unification de la syntaxe SQL create table (SPARK-31257)
  • Unification des comportements des vues temporaires et des vues permanentes (SPARK-33138)
  • Prise en charge de la liste des colonnes dans l’instruction INSERT (SPARK-32976)
  • Prise en charge des commentaires entre crochets imbriqués ANSI (SPARK-28880)

Une amélioration du niveau de performance

  • Lecture aléatoire des données localement sur l’hôte sans le service de lecture aléatoire (SPARK-32077)
  • Suppression des tris redondants avant les nœuds de répartition (SPARK-32276)
  • Pushdown partiel de prédicats (SPARK-32302, SPARK-32352)
  • Pushdown des filtres à l’aide du développement (SPARK-33302)
  • Transmissions d’autres prédicats possibles par le biais de la jointure via la conversion CNF (SPARK-31705)
  • Suppression de la lecture aléatoire en conservant le partitionnement de sortie de la jointure hachée de diffusion (SPARK-31869)
  • Suppression de la lecture aléatoire en améliorant la réorganisation des clés de jointure (SPARK-32282)
  • Suppression de la lecture aléatoire en normalisant le partitionnement de la sortie et l’ordre de tri (SPARK-33399)
  • Amélioration des jointures hachées aléatoires (SPARK-32461)
    • Conservation du partitionnement côté build des jointures hachées aléatoires (SPARK-32330)
    • Conservation du classement côté flux (BHJ et SHJ) des jointures hachées (SPARK-32383)
    • Fusion des tables compartimentées pour la jointure de fusion de tri (SPARK-32286)
    • Ajout de la génération de code pour une jointure hachée aléatoire (SPARK-32421)
    • Prise en charge de la jointure externe entière dans une jointure hachée aléatoire (SPARK-32399)
  • Prise en charge de l’élimination des sous-expressions dans un projet avec whole-stage-codegen (SPARK-33092)
  • Prise en charge de l’élimination des sous-expressions dans les expressions conditionnelles (SPARK-33337)
  • Prise en charge de l’élimination des sous-expressions pour l’évaluation des expressions interprétées (SPARK-33427)
  • Prise en charge de l’élimination des sous-expressions pour un prédicat interprété (SPARK-33540)
  • Autres règles de l’optimiseur
    • Règle ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Règle EliminateNullAwareAntiJoin (SPARK-32573)
    • Règle EliminateAggregateFilter (SPARK-32540)
    • Règle UnwrapCastInBinaryComparison (SPARK-32858)
    • Règle DisableUnnecessaryBucketedScan (SPARK-32859)
    • Règle CoalesceBucketsInJoin (SPARK-31350)
    • Nettoyage des champs imbriqués inutiles de la génération sans projet (SPARK-29721)
    • Nettoyage des champs imbriqués inutiles de l’agrégat et du développement (SPARK-27217)
    • Nettoyage des champs imbriqués inutiles de la répartition par expression et de la jointure (SPARK-31736)
    • Nettoyage des champs imbriqués inutiles sur les variations cosmétiques (SPARK-32163)
    • Nettoyage des champs imbriqués inutiles de la fenêtre et du tri (SPARK-32059)
    • Optimisation de la taille de CreateArray/CreateMap pour qu’elle corresponde à la taille de ses enfants (SPARK-33544)

Améliorations de l’extensibilité

  • Ajout des API SupportsPartitions sur DataSourceV2 (SPARK-31694)
  • Ajout de l’API SupportsMetadataColumns sur DataSourceV2 (SPARK-31255)
  • Rendre la sérialisation de cache SQL enfichable (SPARK-32274)
  • Introduction de l’option purge dans TableCatalog.dropTable pour le catalogue v2 (SPARK-33364)

Améliorations des connecteurs

  • Amélioration du pushdown des filtres de partition du metastore Hive (SPARK-33537)
    • Prise en charge des filtres « Contient », « Commence par » et « Se termine par » (SPARK-33458)
    • Prise en charge du filtrage par type de date (Spark-33477)
    • Prise en charge du filtrage par type de date (Spark-33582)
  • Parquet
    • Autoriser un type complexe dans le type de clé de mappage dans Parquet (SPARK-32639)
    • Autoriser l’enregistrement et le chargement d’INT96 dans Parquet sans la rebasage (SPARK-33160)
  • ORC
    • Pushdown de prédicat de colonne imbriqué pour ORC (SPARK-25557)
    • Mise à niveau d’Apache ORC vers la version 1.5.12 (SPARK-33050)
  • CSV
    • Exploitation d’une source de données texte SQL pendant une inférence de schéma CSV (SPARK-32270)
  • JSON
    • Prise en charge du pushdown de filtres dans une source de données JSON (SPARK-30648)
  • JDBC
  • Avro
    • Prise en charge du pushdown de filtres dans une source de données Avro (SPARK-32346)

Améliorations de la fonctionnalité

  • Désaffectation de nœuds (SPARK-20624)
    • Framework de base (SPARK-20628)
    • Migration de blocs RDD pendant une désaffectation (SPARK-20732)
    • Désaffectation sans perte de données dans le cadre d’une mise à l’échelle dynamique (SPARK-31198)
    • Migration de blocs de lecture aléatoire pendant une désaffectation (SPARK-20629)
    • Sortie de l’exécuteur uniquement lorsque les tâches et la migration des blocs sont terminés (SPARK-31197)
    • Prise en charge du stockage de secours pendant la désaffectation (SPARK-33545)
  • Nouvelles fonctions intégrées
  • Amélioration de la commande EXPLICATION (Spark-32337, Spark-31325)
  • Fourniture d’une option permettant de désactiver les indications fournies par l’utilisateur (SPARK-31875)
  • Prise en charge de la syntaxe REPLACE COLUMNS de style Hive (SPARK-30613)
  • Prise en charge des opérateurs LIKE ANY et LIKE ALL (SPARK-30724)
  • Prise en charge d’un nombre illimité de MATCHED et de NOT MATCHED dans MERGE INTO (SPARK-32030)
  • Prise en charge de littéraux de type float avec le suffixe F (SPARK-32207)
  • Prise en charge de la syntaxe RESET pour la réinitialisation d’une configuration unique (SPARK-32406)
  • La prise en charge d’une expression de filtre permet une utilisation simultanée de DISTINCT (SPARK-30276)
  • Prise en charge de la commande alter table add/drop partition pour DSv2 (SPARK-32512)
  • Prise en charge des sous-requêtes NOT IN dans des conditions OR imbriquées (SPARK-25154)
  • Prise en charge de la commande REFRESH FUNCTION (SPARK-31999)
  • Ajout des méthodes sameSemantics et sementicHash dans un jeu de données (SPARK-30791)
  • Prise en charge d’un type composé de la classe case au format UDF (SPARK-31826)
  • Prise en charge de l’énumération dans les encodeurs (SPARK-32585)
  • Prise en charge des API de champs imbriqués withField et dropFields (SPARK-31317, SPARK-32511)
  • Prise en charge du remplissage avec des valeurs null pour les colonnes manquantes dans unionByName (SPARK-29358)
  • Prise en charge de DataFrameReader.table pour prendre les options spécifiées (SPARK-32592, SPARK-32844)
  • Prise en charge de l’emplacement HDFS dans spark.sql.hive.metastore.jars (SPARK-32852)
  • Prise en charge de l’option --archives en mode natif (SPARK-33530, SPARK-33615)
  • Amélioration de l’API ExecutorPlugin afin d’inclure des méthodes pour les événements de début et de fin de tâche (SPARK-33088)

Autres changements notables

  • Fourniture d’une fonction de recherche dans le site de documentation Spark (SPARK-33166)
  • Mise à niveau d’Apache Arrow vers la version 2.0.0 (SPARK-33213)
  • Activation de l’API de temps de Java 8 dans le serveur Thrift (SPARK-31910)
  • Activation de l’API de temps de Java 8 dans des fonctions définies par l’utilisateur (SPARK-32154)
  • Contrôle de dépassement pour une somme agrégée avec des décimales (SPARK-28067)
  • Correction de la collision de validation en mode de remplacement de partition dynamique (SPARK-27194, SPARK-29302)
  • Suppression des références aux subordonnés, aux listes rouges et aux listes vertes (SPARK-32004, SPARK-32036, SPARK-32037)
  • Suppression de la vérification de la taille du résultat de la tâche pour l’étape de mappage de lecture aléatoire (SPARK-32470)
  • Généralisation de ExecutorSource pour exposer des schémas de système de fichiers donnés par l’utilisateur (SPARK-33476)
  • Ajout de StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Exposition des métriques de mémoire de l’exécuteur dans l’interface utilisateur web pour les exécuteurs (SPARK-23432)
  • Exposition des métriques de mémoire de l’exécuteur au niveau de l’étape, sous l’onglet Étapes (SPARK-26341)
  • Correction de l’ensemble explicite de spark.ui.port en mode de cluster YARN (SPARK-29465)
  • Ajout d’une configuration spark.submit.waitForCompletion pour contrôler la sortie de spark-submit en mode Cluster autonome (SPARK-31486)
  • Configurer yarn.Client pour imprimer des liens directs vers le pilote stdout/stderr (SPARK-33185)
  • Correction de la fuite de mémoire lors de l’échec du stockage d’éléments de diffusion (SPARK-32715)
  • Rendre le délai d’expiration des pulsations du pilote BlockManagerMaster configurable (SPARK-34278)
  • Unification et achèvement des comportements du cache (SPARK-33507)

Changements de comportement

Consultez les guides de migration pour chaque composant : Spark Core et Spark SQL.

PySpark

Project Zen

  • Project Zen : Amélioration de la facilité d’utilisation de Python (SPARK-32082)
  • Prise en charge des indicateurs de type PySpark (SPARK-32681)
  • Refonte de la documentation PySpark (SPARK-31851)
  • Migration vers le style de documentation NumPy (SPARK-32085)
  • Option d’installation pour les utilisateurs PyPI (SPARK-32017)
  • Annulation de la dépréciation de l’inférence d’un schéma de DataFrame de la liste des dictionnaires (SPARK-32686)
  • Simplification du message d’exception des fonctions définies par l’utilisateur Python (SPARK-33407)

Autres changements notables

  • Déduplication des appels déterministes à PythonUDF (SPARK-33303)
  • Prise en charge des fonctions d’ordre supérieur dans des fonctions PySpark (SPARK-30681)
  • Prise en charge des API d’écriture de source de données v2x (SPARK-29157)
  • Prise en charge de percentile_approx dans les fonctions PySpark (SPARK-30569)
  • Prise en charge de inputFiles dans un DataFrame PySpark (SPARK-31763)
  • Prise en charge de withField dans une colonne PySpark (SPARK-32835)
  • Prise en charge de dropFields dans une colonne PySpark (SPARK-32511)
  • Prise en charge de nth_value dans les fonctions PySpark (SPARK-33020)
  • Prise en charge de acosh, asinh et atanh (SPARK-33563)
  • Prise en charge de la méthode getCheckpointDir dans SparkContext PySpark (SPARK-33017)
  • Prise en charge du remplissage avec des valeurs null pour les colonnes manquantes dans unionByName (SPARK-32798)
  • Mise à jour de cloudpickle vers la version 1.5.0 (SPARK-32094)
  • Ajout de la prise en charge de MapType pour PySpark avec Arrow (SPARK-24554)
  • DataStreamReader.table et DataStreamWriter.toTable (SPARK-33836)

Changements de comportement

Consultez les guides de migration pour [PySpark]https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html).

Structured Streaming

Une amélioration du niveau de performance

  • Mise en cache de la liste de fichiers récupérée en plus de maxFilesPerTrigger en tant que fichier non lu (Spark-30866)
  • Rationalisation de la logique sur la source de flux de fichier et le journal des métadonnées du récepteur (SPARK-30462)
  • Éviter de lire deux fois le journal des métadonnées compactes si la requête redémarre à partir d’un lot compact (SPARK-30900)

Améliorations de la fonctionnalité

  • Ajout d’une API DataStreamReader.table (SPARK-32885)
  • Ajout d’une API DataStreamWriter.toTable (SPARK-32896)
  • Semi-jointure gauche flux-flux (SPARK-32862)
  • Jointure externe entière flux-flux (SPARK-32863)
  • Fourniture d’une nouvelle option permettant une conservation sur les fichiers de sortie (SPARK-27188)
  • Ajout de la prise en charge du serveur d’historique Spark Structured Streaming (SPARK-31953)
  • Introduction de la validation du schéma d’état parmi les redémarrages de requêtes (SPARK-27237)

Autres changements notables

  • Introduction de la validation de schéma pour le stockage d’état de streaming (SPARK-31894)
  • Prise en charge de l’utilisation d’un codec de compression différent dans un magasin d’état (SPARK-33263)
  • Attente infinie du connecteur Kafka car les métadonnées ne sont jamais mises à jour (SPARK-28367)
  • Mise à niveau de Kafka vers la version 2.6.0 (SPARK-32568)
  • Prise en charge de la pagination pour les pages d’interface utilisateur Structured Streaming (SPARK-31642, SPARK-30119)
  • Informations d’état dans l’interface utilisateur Structured Streaming (SPARK-33223)
  • Informations sur l’écart du filigrane dans l’interface utilisateur Structured Streaming (SPARK-33224)
  • Exposition des informations de métriques personnalisées d’état sur l’interface utilisateur Structured Streaming (SPARK-33287)
  • Ajout d’une nouvelle métrique concernant le nombre de lignes postérieures au filigrane (SPARK-24634)

Changements de comportement

Consultez les guides de migration pour Structured Streaming.

MLlib

Points forts

  • Vecteurs d’entrée blockify LinearSVC (SPARK-30642)
  • Vecteurs d’entrée blockify LogisticRegression (SPARK-30659)
  • Vecteurs d’entrée blockify LinearRegression (SPARK-30660)
  • Vecteurs d’entrée blockify AFT (SPARK-31656)
  • Ajout de la prise en charge de règles d’association dans ML (SPARK-19939)
  • Ajout d’un récapitulatif d’entraînement pour LinearSVCModel (SPARK-20249)
  • Ajout d’un récapitulatif à RandomForestClassificationModel (SPARK-23631)
  • Ajout d’un récapitulatif d’entraînement à FMClassificationModel (SPARK-32140)
  • Ajout d’un récapitulatif à MultilayerPerceptronClassificationModel (SPARK-32449)
  • Ajout de FMClassifier à SparkR (SPARK-30820)
  • Ajout d’un wrapper LinearRegression SparkR (SPARK-30818)
  • Ajout d’un wrapper FMRegressor à SparkR (SPARK-30819)
  • Ajout d’un wrapper SparkR pour vector_to_array (SPARK-33040)
  • Instances blockify de manière adaptative - LinearSVC (SPARK-32907)
  • Faire en sorte que CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer prennent en charge l’estimateur/évaluateur back-end Python (SPARK-33520)
  • Amélioration des performances de ML ALS recommendForAll par GEMV (SPARK-33518)
  • Ajout de UnivariateFeatureSelector (SPARK-34080)

Autres changements notables

  • Résumé de calcul GMM et distributions des mises à jour en un seul travail (SPARK-31032)
  • Suppression de la dépendance de ChiSqSelector sur mllib.ChiSqSelectorModel (SPARK-31077)
  • Mise à plat du dataframe de résultats des tests dans testChiSquare (SPARK-31301)
  • Optimisation de keydistance MinHash (SPARK-31436)
  • Optimisation de KMeans basée sur une inégalité triangulaire (SPARK-31007)
  • Ajout d’une prise en charge du poids dans ClusteringEvaluator (SPARK-31734)
  • Ajout de getMetrics dans les évaluateurs (SPARK-31768)
  • Ajout de la prise en charge du poids des instances dans LinearRegressionSummary (SPARK-31944)
  • Ajout d’une colonne de pli spécifiée par l’utilisateur à CrossValidator (SPARK-31777)
  • Parité de la valeur par défaut des paramètres ML dans les fonctionnalités et le paramétrage (SPARK-32310)
  • Correction de la mise en cache en double dans KMeans/BiKMeans (SPARK-32676)
  • Optimisation des transformations AFT (SPARK-33111)
  • Optimisation des transformations FeatureHasher (SPARK-32974)
  • Ajout de la fonction array_to_vector pour la colonne de dataframe (SPARK-33556)
  • Parité de la valeur par défaut des paramètres ML dans la classification, la régression, le clustering et FPM (SPARK-32310)
  • Valeur Summary.totalIterations supérieure à maxIters (SPARK-31925)
  • Optimisation de la prédiction des modèles d’arborescence (SPARK-32298)

Changements de comportement

Consultez les guides de migration pour MLlib.

SparkR

  • Ajout d’une interface SparkR pour les fonctions d’ordre supérieur (SPARK-30682)
  • Prise en charge du remplissage avec des valeurs null pour les colonnes manquantes dans unionByName (SPARK-32798)
  • Prise en charge de withColumn dans les fonctions SparkR (SPARK-32946)
  • Prise en charge de timestamp_seconds dans les fonctions SparkR (SPARK-32949)
  • Prise en charge de nth_value dans les fonctions SparkR (SPARK-33030)
  • Version minimale d’Arrow qui passe à 1.0.0 (SPARK-32452)
  • Prise en charge d’array_to_vector dans les fonctions SparkR (SPARK-33622)
  • Prise en charge d’acosh, d’asinh et d’atanh (SPARK-33563)
  • Prise en charge de from_avro et de to_avro (SPARK-33304)

Changements de comportement

Consultez les guides de migration pour SparkR (R sur Spark).

GraphX

Guide de programmation : Guide de programmation GraphX

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 8.0.

Environnement du système

  • Système d’exploitation : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala : 2.12.10
  • Python : 3.8.8 (mis à jour à partir de la version 3.8.6 dans la mise à jour de maintenance du 26 mai 2021)
  • R : R version 4.0.3 (10/10/2020)
  • Delta Lake : 0.8.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
chiffrement 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requêtes 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
six 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/11/2020.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 objet BLOB 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
jeux de données 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 cycle de vie 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 Matrice 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52