Databricks Runtime 4.3 (non pris en charge)

  • Article

Databricks a publié cette image en août 2018.

Important

Cette version a été dépréciée le 9 avril 2019. Pour plus d’informations sur la politique de dépréciation et la planification de Databricks Runtime, consultez Cycles de vie du support des runtimes Databricks.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 4.3, optimisé par Apache Spark.

Nouvelles fonctionnalités

  • Delta Lake
    • TRUNCATE TABLE commande : Supprimer toutes les lignes d’une table Contrairement à son équivalent pour les tables Spark, les tables delta ne prennent pas en charge la suppression de partitions spécifiques.
    • ALTER TABLE REPLACE COLUMNS commande : Remplacer les colonnes d’une table Delta. Il prend en charge la modification du commentaire d’une colonne et la réorganisation de plusieurs colonnes.
    • FSCK REPAIR TABLE commande : Supprimer les entrées de fichier du journal des transactions d'une table Delta qui ne peuvent plus être trouvées dans le système de fichiers sous-jacent. Cela peut se produire lorsque ces fichiers ont été supprimés manuellement.
    • Prise en charge des requêtes sur les tables delta obsolètes pour améliorer l’expérience de requête interactive : les requêtes sur les tables delta peuvent désormais s’exécuter sur une version obsolète de la table lorsque les résultats à jour ne sont pas nécessaires. Cette fonctionnalité réduit la latence des requêtes, en particulier lorsque les tables delta sous-jacentes sont mises à jour en continu par le biais de flux.
  • Structured Streaming
    • Prise en charge de la diffusion en continu Scalable pour le connecteur Azure Synapse Analytics.
    • Prise en charge de foreachBatch() dans Python (déjà disponible dans Scala). Pour plus d’informations, consultez la documentation foreach et foreachBatch .
    • Prise en charge du choix du filigrane min ou Max lorsqu’il y a plusieurs flux d’entrée dans une requête. Précédemment, l’horodatage minimal était toujours utilisé. Pour plus d’informations, consultez la stratégie à plusieurs filigranes .
    • Prise en charge de l’opérateur LIMIT pour les flux en mode de sortie Append et Complete. Pour réduire les erreurs de insuffisance sur le pilote, LIMIT est automatiquement appliqué lorsque vous utilisez sur des flux non liésdisplay().

Améliorations

  • Delta Lake

    • Préversion privée de la nouvelle implémentation évolutive de la commande MERGE INTO qui n’a pas la limite d’insertion de ligne 10000. Contactez le support technique si vous souhaitez essayer.
    • Amélioration des performances et de l’extensibilité de la commande OPTIMIZE, en particulier sur les clusters de grande taille.
    • La commande OPTIMIZE est désormais validée à la table de façon incrémentielle, ce qui signifie que si la commande échoue, une nouvelle tentative n’a pas besoin de traiter l’ensemble du jeu de données.
    • Réduction du nombre de RPC de système de fichiers requis pour découvrir de nouvelles données lors de l’utilisation de Delta Lake comme source de streaming.
    • Ajout de la prise en charge de df.writeStream.table(table-name) dans Python pour créer une table Delta à partir d’un flux.

  • Amélioration des performances pour les requêtes avec plusieurs jointures, agrégations ou fenêtres.

  • Amélioration de l’efficacité de l’élagage au niveau de la partition dans les requêtes avec des jointures de hachage de diffusion.

  • Améliorations apportées à la génération de code de la phase entière pour détecter les expressions dupliquées, réduire la quantité de code générée et améliorer les performances de certains types d’expressions.

  • Les clusters à haute concurrence prennent désormais en charge l’exécution %fs dans les blocs-notes.

  • Py4J mis à niveau utilisé par PySpark pour 0.10.7.

  • Amélioration des performances de la mise en cache de disque sur les instances de la série Azure Ls. Le cache est maintenant activé par défaut sur ces instances, accélérant les charges de travail qui lisent de façon répétée les fichiers parquet.

Fonctionnalités dépréciées

  • Les données ignorées en dehors de Databricks Delta sont dépréciées. Une version améliorée des données ignorées continuera d’être disponible dans le cadre de l’exécution de Delta Lake. Nous vous recommandons de passer à l’utilisation de Delta Lake pour continuer à tirer parti de cette fonctionnalité. Pour plus d’informations, consultez Databricks Delta Data ignorée.

Résolution des bogues

  • Correction de l’instruction de déportage de prédicat MERGE INTO incorrecte pour Delta lorsque la condition on avait des prédicats référençant uniquement la table cible.

  • Correction du bogue dans et mapGroupsWithState qui empêchait la définition de flatMapGroupsWithState délais d’attente lorsque l’État a été supprimé (SPARK-22187).

  • Correction du bogue empêchant le filigraneing de fonctionner correctement avec Trigger.Once (SPARK-24699).

  • La commande Update valide désormais les colonnes de la clause SET pour s’assurer que toutes les colonnes existent et qu’aucune colonne n’est définie plusieurs fois.

  • Correction d’une condition de concurrence potentielle pouvant provoquer des blocages pour la validation de répertoire.

  • Correction d’un bogue provoquant l’utilisation d’une version déconseillée du client DBFS lors de l’actualisation des montages.

Problèmes connus

  • Les options de configuration Delta Lake pour une table prennent effet uniquement dans le premier bloc-notes qui charge la table.

Apache Spark

Databricks Runtime 4.3 comprend Apache Spark 2.3.1. Cette version contient tous les améliorations et correctifs inclus dans Databricks Runtime 4.2 (non pris en charge), ainsi que les améliorations et correctifs de bogues supplémentaires suivants apportés à Spark :

  • [SPARK-24934][SQL] Autoriser explicitement les types supportés dans les limites supérieures/inférieures pour l'élagage des partitions en mémoire.
    • Lorsque des types de données complexes sont utilisés dans des filtres de requête sur des données en cache, Spark renvoie toujours un jeu de résultats vide. Le nettoyage basé sur les statistiques en mémoire génère des résultats incorrects, car la valeur Null est définie comme limites supérieure/inférieure pour les types complexes. La solution consiste à ne pas utiliser l'élagage basé sur les statistiques en mémoire pour les types complexes.
  • [SPARK-24957][SQL] La moyenne avec décimale suivie d’une agrégation renvoie un résultat incorrect.
    • Les résultats incorrects de AVERAGE peuvent être renvoyés. Le CAST ajouté dans l’opérateur Average sera contourné si le résultat de Divide est du même type que celui vers lequel il est casté.
  • [SPARK-24867][SQL] Ajout de AnalysisBarrier à DataFrameWriter.
    • Le cache SQL n’est pas utilisé lors de l’utilisation de DataFrameWriter pour écrire un DataFrame avec UDF. Il s’agit d’une régression causée par les modifications que nous avons apportées à AnalysisBarrier, car les règles de l’analyseur ne sont pas toutes idempotentes.
  • [SPARK-24790][SQL] Autoriser des expressions d’agrégation complexes dans un tableau croisé dynamique
    • Assouplissez la vérification pour autoriser des expressions d’agrégation complexes, telles que ceil (Sum (col1)) ou Sum (col1) + 1, ce qui signifie approximativement toute expression d’agrégation pouvant apparaître dans un plan d’agrégation à l’exception de pandas UDF.
  • [SPARK-24870][SQL] le Cache ne peut pas fonctionner normalement s’il y a des lettres de cas dans SQL
    • Résout un problème de canonisation de plan.
  • [SPARK-24852] Avoir une formation spark.ml utilisent des API d' instrumentation mises à jour.
  • [SPARK-24891][SQL] règle HandleNullInputsForUDF de correction
    • Faites de la règle HandleNullInputsForUDF idempotent, afin d’éviter toute incompatibilité de plan dans le gestionnaire de cache lorsqu’un plan est analysé plusieurs fois.
  • [SPARK-24878][SQL] Correction de la fonction inverse pour le type de tableau de type primitif contenant la valeur Null.
  • [SPARK-24871][SQL] refactoriser concat et MapConcat pour éviter de créer un objet concaténer pour chaque ligne.
  • [SPARK-24802][SQL] ajouter une nouvelle configuration pour l’Exclusion de la règle d’optimisation
    • Fournit une configuration aux utilisateurs pour exclure certaines règles d’optimiseur.
  • [SPARK-24879][SQL] correction de le ’NPE dans le filtre de nettoyage de la partition Hive
    • Lorsque le prédicat de la partition est semblable à col IN (1, null), un NPE est levé. Ce correctif résout le bogue.
  • [SPARK-23731][SQL] Rendre FileSourceScanExec canonisable après avoir été (dé)sérialisé
  • [SPARK-24755][Core] la perte d’exécuteur peut entraîner la non-soumission de la tâche
    • Corrige un bogue dans lequel Spark peut ne pas renvoyer les tâches ayant échoué par l’exécuteur. Ce bogue a été introduit dans Spark 2,3.
  • [SPARK-24677][Core] Évitez NoSuchElementException à partir de MedianHeap
    • Résout un bogue lié aux tâches spéculatives lors de la collecte des mesures de durée des tâches.
  • [SPARK-24868][PYTHON] ajouter une fonction de séquence dans Python
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Correction des coercitions et des nullités de type.
  • [SPARK-24699]Faire fonctionner les filigranes avec Trigger.Once en sauvegardant le filigrane mis à jour dans le journal de livraison.
  • [SPARK-24537][R] Ajouter array_remove/array_zip/map_from_arrays/array_distinct
  • [SPARK-22187][SS] Mettre à jour le format unsaferow pour l’état enregistré dans flatMapGroupsWithState afin d’autoriser les délais d’attente avec l’état supprimé (4.x)
  • [SPARK-24681][SQL] Vérifier les noms de colonnes imbriquées dans metastore Hive
    • Assurez-vous que les noms de colonnes imbriquées n’incluent pas', ', ' : 'et'; 'dans le metastore Hive
  • [SPARK-23486]Mettre en cache le nom de la fonction à partir du catalogue externe pour lookupFunctions
    • Pour accélérer les recherches de fonctions.
  • [SPARK-24781][SQL] L’utilisation d’une référence à partir d’un jeu de données dans Filter/Sort peut ne pas fonctionner
  • [SPARK-24208][SQL] Correction de la déduplication des attributs pour FlatMapGroupsInPandas
    • Corriger l’échec de jointure automatique sur un jeu de données qui contient un FlatMapGroupsInPandas en raison d’attributs dupliqués
  • [SPARK-24530][python] Ajouter un contrôle pour forcer la version de Python dans Sphinx via une variable d’environnement, SPHINXPYTHON
  • [SPARK-24250]Prise en charge de l’accès à SQLConf à l’intérieur des tâches
    • Enregistrer toutes les configurations de SQL dans les propriétés du travail lorsqu’une exécution de SQL est déclenchée. À côté de l’exécuteur, nous régénérons le SQLConf à partir des propriétés du travail.
  • [SPARK-23936][SQL] Implémente map_concat
  • [SPARK-23914][SQL] Ajouter une fonction array_union
  • [SPARK-24732][SQL] Forçage de type entre MapTypes.
    • Ajoute la prise en charge de la contrainte de type entre les MapTypes, où les types de clés et les types de valeur sont compatibles. Par exemple, les types MapType (IntegerType, FloatType) et MapType (LongType, DoubleType) peuvent être convertis en type MapType (LongType, DoubleType)
  • [SPARK-24662][SQL] [SS] Limite de prise en charge dans la diffusion en continu structurée
  • [SPARK-24730][SS] Ajout d'une politique pour choisir le maximum comme filigrane global lorsque la requête de streaming a plusieurs filigranes (branch-4.x)
  • [SPARK-24596][SQL] Invalidation de cache sans cascade
    • Lorsque vous décachetez ou abandonnez une vue temporaire, il n'est pas nécessaire de décacheter en cascade tous les plans qui dépendent de la vue, car les données sous-jacentes ne sont pas modifiées.
  • [SPARK-23927][SQL] Ajouter l’expression « séquence »
  • [SPARK-24636][SQL] Forçage de type des tableaux pour la fonction array_join
  • [SPARK-22384][SQL] Affiner le nettoyage de la partition lorsque l’attribut est encapsulé dans un Cast
    • Améliorer l'élagage des partitions, capable de pousser vers le bas les prédicats de partition avec des castings de type sûrs (int vers long, pas long vers int).
  • [SPARK-24385][SQL] Résoudre l’ambiguïté de condition de jointure réflexive pour EqualNullSafe
    • Implémente EqualNullSafe pour résoudre les ambiguïtés des conditions d'auto-jonction.
  • [SPARK-24696][SQL] La règle ColumnPruning ne parvient pas à supprimer des projets supplémentaires
    • Corrige un bogue dans la règle ColumnPruning qui a provoqué une erreur de boucle infinie dans l’optimiseur.
  • [SPARK-24603][SQL] Correction de la référence findTightestCommonType dans les commentaires
  • [SPARK-24613][SQL] Le cache avec UDF n’a pas pu être mis en correspondance avec les caches dépendants suivants
    • Enveloppe le plan logique dans un élément AnalysisBarrier pour la compilation du plan d’exécution dans CacheManager, afin d’éviter que le plan soit à nouveau analysé. Il s’agit également d’une régression de Spark 2.3
  • [SPARK-24017][SQL] Refactoriser ExternalCatalog en tant qu’interface
  • [SPARK-24324][python] Les fonctions définies par l'utilisateur pandas Grouped Map doit attribuer les colonnes de résultats par nom.
    • Assigne des colonnes de résultats par nom de schéma si l’utilisateur a appelé avec des chaînes, sinon en utilisant la position.
  • [SPARK-23778][Core] Éviter les mélanges inutiles lorsque l'union obtient un RDD vide
    • Ignore les RDD vides entrants dans la méthode d'union pour éviter un brassage supplémentaire inutile lorsque tous les autres RDD ont le même partitionnement.
  • [SPARK-24552][CORE] [SQL] Utiliser un identifiant unique au lieu d'un numéro de tentative pour les écritures.
    • Transmet l'identifiant unique de tentative de tâche au lieu du numéro de tentative aux sources de données v2, car le numéro de tentative est réutilisé lorsque les étapes sont relancées. Cela affecte les API v1 et V2 de la source de données, mais les API de format de fichier ne sont pas affectées, car DBR utilise un protocole de validation différent.
  • [SPARK-24588] La jointure en continu devrait exiger le HashClusteredPartitioning des enfants.
  • [SPARK-24589][Core] Identifier correctement les tâches dans la coordination de l'engagement de sortie.
    • Ajoute plus d’informations à l’état intermédiaire suivi par le coordinateur, de sorte qu’une seule tâche est autorisée à valider la sortie. Ce correctif supprime également les modifications de code inutiles introduites par SPARK-18113.
  • [SPARK-23933][SQL] Ajouter une fonction map_from_arrays
  • [SPARK-24583][SQL] Type de schéma incorrect dans InsertIntoDataSourceCommand
    • Lors de la création d'une table Delta avec des contraintes NOT NULL, nous pouvions abandonner la nullité et insérer les valeurs NULL sans vérifier la violation.
  • [SPARK-24542][SQL] Les séries UDF UDFXPathXXXX permettent aux utilisateurs de transmettre un XML soigneusement conçu pour accéder à des fichiers arbitraires.
    • Il s’agit d’un correctif de sécurité signalé par la communauté. UDF series UDFXPathXXXX allow users to pass carefully crafted XML to access arbitrary files. Les UDF de la série UDFXPathXXXX permettent aux utilisateurs de passer du XML soigneusement conçu pour accéder à des fichiers arbitraires.
  • [SPARK-23934][SQL] Ajout d’une fonction map_from_entries
  • [SPARK-23912][SQL] Ajout de array_distinct
  • [SPARK-24574][SQL] les fonctions array_contains, array_position, array_remove et element_at traitent le type de colonne

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 4.3.

Environnement du système

  • Système d’exploitation : Ubuntu 16.04.4 LTS
  • Java : 1.8.0_162
  • Scala : 2.11.8
  • Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
  • R : R version 3.4.4 (2018-03-15)
  • Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
    • Pilote Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
chiffrement 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requêtes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Bibliothèques R installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 objet BLOB 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 voiture 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
jeux de données 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 cartes 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrice 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flux 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx collecteur 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52