Databricks Runtime 4.0 (niet ondersteund)

  • Artikel

Databricks heeft deze afbeelding uitgebracht in maart 2018.

Belangrijk

Deze release is afgeschaft op 1 november 2018. Zie de ondersteuningslevenscycli van Databricks Runtime voor meer informatie over het afschaffingsbeleid en de planning van Databricks Runtime.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.0, mogelijk gemaakt door Apache Spark.

Wijzigingen en verbeteringen

  • De JSON-gegevensbron probeert nu automatisch codering te detecteren in plaats van ervan uit te gaan dat deze UTF-8 is. In gevallen waarin de automatische detectie mislukt, kunnen gebruikers de optie charset opgeven om een bepaalde codering af te dwingen. Zie De automatische detectie van Charset.
  • Scoren en voorspellen met Behulp van Spark MLlib-pijplijnen in Structured Streaming wordt volledig ondersteund.
  • Export van Databricks ML-modellen wordt volledig ondersteund. Met deze functie kunt u een Spark MLlib-model trainen op Databricks, het exporteren met een functieoproep en een Databricks-bibliotheek gebruiken in het systeem van uw keuze om het model te importeren en nieuwe gegevens te scoren.
  • Een nieuwe Implementatie van Spark-gegevensbronnen biedt schaalbare lees-/schrijftoegang tot Azure Synapse Analytics. Zie Spark - Synapse Analytics Verbinding maken or.
  • Het schema van de from_json functie wordt nu altijd geconverteerd naar een nullable. Met andere woorden, alle velden, inclusief geneste velden, kunnen null worden. Dit zorgt ervoor dat de gegevens compatibel zijn met het schema, waardoor beschadiging wordt voorkomen nadat de gegevens naar Parquet zijn geschreven wanneer een veld ontbreekt in de gegevens en het door de gebruiker verstrekte schema het veld declareert als niet-nullable.
  • Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
    • futures: van 3.1.1 tot 3.2.0
    • pandas: van 0.18.1 tot 0.19.2
    • pyarrow: van 0.4.1 tot 0.8.0
    • setuptools: van 38.2.3 tot 38.5.1
    • tornado: 4.5.2 tot 4.5.3
  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
  • AWS Java SDK bijgewerkt van 1.11.126 naar 1.11.253.
  • Sql Server JDBC-stuurprogramma bijgewerkt van 6.1.0.jre8 naar 6.2.2.jre8.
  • PostgreSQL JDBC-stuurprogramma bijgewerkt van 9.4-1204-jdbc41 naar 42.1.4.

Apache Spark

Databricks Runtime 4.0 bevat Apache Spark 2.3.0.

Core, PySpark en Spark SQL

Belangrijke functies

  • Vectorized ORC Reader: [SPARK-16060]: voegt ondersteuning toe voor nieuwe ORC-lezer die de ORC-scandoorvoer aanzienlijk verbetert via vectorisatie (2-5x). Als u de lezer wilt inschakelen, kunnen gebruikers instellen op spark.sql.orc.implnative.
  • Spark History Server V2: [SPARK-18085]: een nieuwe SHS-back-end (Spark History Server) die een betere schaalbaarheid biedt voor grootschalige toepassingen met een efficiënter mechanisme voor gebeurtenisopslag.
  • Gegevensbron-API V2: [SPARK-15689][SPARK-22386]: een experimentele API voor het aansluiten van nieuwe gegevensbronnen in Spark. De nieuwe API probeert verschillende beperkingen van de V1-API aan te pakken en is erop gericht om de ontwikkeling van uiterst presterende, eenvoudig te onderhouden en uitbreidbare externe gegevensbronnen te vergemakkelijken. Deze API ondergaat nog steeds actieve ontwikkeling en wijzigingen die fouten veroorzaken, moeten worden verwacht.
  • Prestatieverbeteringen in PySpark: [SPARK-22216][SPARK-21187]: Aanzienlijke verbeteringen in de prestaties en interoperabiliteit van Python door snelle gegevensserialisatie en gevectoriseerde uitvoering.

Prestaties en stabiliteit

Andere belangrijke wijzigingen

Programmeerhandleidingen: Spark RDD Programming Guide en Spark SQL DataFrames and Datasets Guide.

Gestructureerd streamen

Continue verwerking

  • Een nieuwe uitvoeringsengine die streamingquery's met een end-to-end-latentie van sub milliseconden kan uitvoeren door slechts één regel gebruikerscode te wijzigen. Zie de programmeerhandleiding voor meer informatie.

Stream-Stream Joins

  • De mogelijkheid om twee gegevensstromen samen te voegen, waarbij rijen worden gebufferd totdat overeenkomende tuples in de andere stroom binnenkomen. Predicaten kunnen worden gebruikt voor gebeurtenistijdkolommen om de hoeveelheid status te binden die moet worden bewaard.

Streaming-API V2

  • Een experimentele API voor het aansluiten van nieuwe bron- en sinks die geschikt zijn voor batch-, microbatch- en continue uitvoering. Deze API ondergaat nog steeds actieve ontwikkeling en wijzigingen die fouten veroorzaken, moeten worden verwacht.

Programmeerhandleiding: Structured Streaming Programming Guide.

MLlib

Hoogtepunten

  • ML-voorspelling werkt nu met Structured Streaming, met behulp van bijgewerkte API's. De details volgen.

Nieuwe en verbeterde API's

  • [SPARK-21866]: ingebouwde ondersteuning voor het lezen van afbeeldingen in een DataFrame (Scala/Java/Python).
  • [SPARK-19634]: DataFrame-functies voor beschrijvende samenvattingsstatistieken over vectorkolommen (Scala/Java).
  • [SPARK-14516]: voor het ClusteringEvaluator afstemmen van clusteringalgoritmen, het ondersteunen van cosinus silhouet en metrische euclidean silhouetgegevens (Scala/Java/Python).
  • [SPARK-3181]: Robuuste lineaire regressie met Huber-verlies (Scala/Java/Python).
  • [SPARK-13969]: FeatureHasher transformator (Scala/Java/Python).
  • Ondersteuning voor meerdere kolommen voor verschillende functietransformatoren:
  • [SPARK-21633] en SPARK-21542]: verbeterde ondersteuning voor aangepaste pijplijnonderdelen in Python.

Nieuwe functies

  • [SPARK-21087]: CrossValidator en TrainValidationSplit kan alle modellen verzamelen wanneer ze passen (Scala/Java). Hiermee kunt u alle aangepaste modellen inspecteren of opslaan.
  • [SPARK-19357]: Meta-algoritmen CrossValidator, TrainValidationSplitOneVsRest ondersteunen een parallellismeparam voor het aanpassen van meerdere submodellen in parallelle Spark-taken.
  • [SPARK-17139]: Modeloverzicht voor multinomiale logistieke regressie (Scala/Java/Python)
  • [SPARK-18710]: Verschuiving toevoegen in GLM.
  • [SPARK-20199]: Param toegevoegd featureSubsetStrategy aan GBTClassifier en GBTRegressor. Door dit te gebruiken om subsample-functies te gebruiken, kan de trainingssnelheid aanzienlijk worden verbeterd; deze optie is een belangrijke kracht geweest van xgboost.

Andere belangrijke wijzigingen

  • [SPARK-22156]: Het schalen num van leersnelheid met iteraties is opgelostWord2Vec. Het nieuwe leerpercentage is ingesteld op overeenstemming met de oorspronkelijke Word2Vec C-code en moet betere resultaten opleveren van training.
  • [SPARK-22289]: ondersteuning toegevoegd JSON voor matrixparameters (dit heeft een bug opgelost voor ML-persistentie bij LogisticRegressionModel het gebruik van grenzen aan coëfficiënten.)
  • [SPARK-22700]: Bucketizer.transform hiermee wordt de rij met NaN. Wanneer Param handleInvalid is ingesteld op 'overslaan', Bucketizer zou een rij met een geldige waarde in de invoerkolom worden verwijderd als een andere (irrelevante) kolom een NaN waarde had.
  • [SPARK-22446]: Katalysator optimizer veroorzaakt soms een StringIndexerModel onjuiste uitzondering 'Unseen label' wanneer handleInvalid deze is ingesteld op 'error'. Dit kan gebeuren voor gefilterde gegevens, vanwege push-down van predicaat, waardoor fouten ontstaan, zelfs nadat ongeldige rijen al zijn gefilterd uit de invoergegevensset.
  • [SPARK-21681]: Er is een fout opgelost in multinomiale logistieke regressie die resulteert in onjuiste coëfficiënten wanneer sommige functies geen variantie hadden.
  • Belangrijke optimalisaties:
    • [SPARK-22707]: verminderd geheugenverbruik voor CrossValidator.
    • [SPARK-22949]: verminderd geheugenverbruik voor TrainValidationSplit.
    • [SPARK-21690]: Imputer moet trainen met behulp van één pass over de gegevens.
    • [SPARK-14371]: OnlineLDAOptimizer vermijdt het verzamelen van statistieken voor het stuurprogramma voor elke minibatch.

Programmeerhandleiding: Handleiding voor Machine Learning Library (MLlib).

SparkR

De belangrijkste focus van SparkR in de release 2.3.0 was het verbeteren van de stabiliteit van UDF's en het toevoegen van verschillende nieuwe SparkR-wrappers rond bestaande API's:

Belangrijke functies

Programmeerhandleiding: SparkR (R in Spark).

GraphX

Optimalisaties

  • [SPARK-5484]: Pregel controleert nu periodiek controlepunten om te voorkomen StackOverflowErrors.
  • [SPARK-21491]: Kleine prestatieverbetering op verschillende plaatsen.

Programmeerhandleiding: GraphX Programming Guide.

Afgeschafte onderdelen

Python

  • [SPARK-23122]: afgeschaft register* voor UDF's in SQLContext en Catalog in PySpark

MLlib

  • [SPARK-13030]: OneHotEncoder is afgeschaft en wordt verwijderd in 3.0. Het is vervangen door het nieuwe OneHotEncoderEstimator. OneHotEncoderEstimator wordt OneHotEncoder in 3.0 gewijzigd in 3.0 (maar OneHotEncoderEstimator wordt bewaard als alias).

Wijzigingen in gedrag

SparkSQL

  • [SPARK-22036]: Rekenkundige bewerkingen tussen decimalen retourneren standaard een afgeronde waarde als een exacte weergave niet mogelijk is (in plaats van in de vorige versies te retourneren NULL )
  • [SPARK-22937]: Wanneer alle invoer binair is, retourneert SQL elt() een uitvoer als binair. Anders wordt deze geretourneerd als een tekenreeks. In eerdere versies wordt deze altijd geretourneerd als een tekenreeks, ongeacht invoertypen.
  • [SPARK-22895]: De deterministische predicaten van het Join/Filter die zich na de eerste niet-deterministische predicaten bevinden, worden indien mogelijk ook omlaag gepusht/door de onderliggende operators. In de vorige versies komen deze filters niet in aanmerking voor predicaatpushdown.
  • [SPARK-22771]: Wanneer alle invoer binair is, functions.concat() wordt een uitvoer geretourneerd als binair. Anders wordt deze geretourneerd als een tekenreeks. In de vorige versies wordt deze altijd geretourneerd als een tekenreeks, ongeacht invoertypen.
  • [SPARK-22489]: Wanneer een van de join-zijden uitzendbaar is, geven we de voorkeur aan het uitzenden van de tabel die expliciet is opgegeven in een broadcast-hint.
  • [SPARK-22165]: Partitiekolomdeductie heeft eerder een onjuist gemeenschappelijk type gevonden voor verschillende uitgestelde typen. Eerder werd het bijvoorbeeld getypt als double het algemene type voor double het type en date het type. Nu wordt het juiste algemene type gevonden voor dergelijke conflicten. Raadpleeg de migratiehandleiding voor meer informatie.
  • [SPARK-22100]: De percentile_approx functie heeft eerder typeinvoer en uitvoertyperesultaten double geaccepteerdnumeric. Het ondersteunt nu date type, timestamp type en numeric typen als invoertypen. Het resultaattype wordt ook gewijzigd in hetzelfde als het invoertype, wat redelijker is voor percentielen.
  • [SPARK-21610]: de query's uit onbewerkte JSON-/CSV-bestanden zijn niet toegestaan wanneer de kolommen waarnaar wordt verwezen alleen de interne beschadigde recordkolom bevatten (standaard benoemd _corrupt_record ). In plaats daarvan kunt u de geparseerde resultaten in de cache opslaan of opslaan en vervolgens dezelfde query verzenden.
  • [SPARK-23421]: Sinds Spark 2.2.1 en 2.3.0 wordt het schema altijd tijdens runtime afgeleid wanneer de gegevensbrontabellen de kolommen bevatten die bestaan in zowel het partitieschema als het gegevensschema. Het uitgestelde schema heeft geen gepartitioneerde kolommen. Bij het lezen van de tabel respecteert Spark de partitiewaarden van deze overlappende kolommen in plaats van de waarden die zijn opgeslagen in de gegevensbestanden van de gegevensbron. In de release 2.2.0 en 2.1.x wordt het uitgestelde schema gepartitioneerd, maar de gegevens van de tabel zijn onzichtbaar voor gebruikers (de resultatenset is leeg).

PySpark

  • [SPARK-19732]: na.fill() of fillna accepteert booleaanse waarde en vervangt null-waarden door booleaanse waarden. In eerdere Spark-versies negeert PySpark het gewoon en retourneert het oorspronkelijke Gegevensset/DataFrame.
  • [SPARK-22395]: pandas 0.19.2 of upper is vereist voor het gebruik van pandas-gerelateerde functies, zoals toPandas, createDataFrame van pandas DataFrame, enzovoort.
  • [SPARK-22395]: het gedrag van tijdstempelwaarden voor pandas-gerelateerde functies is gewijzigd om de tijdzone van de sessie te respecteren, die wordt genegeerd in de vorige versies.
  • [SPARK-23328]: df.replace staat niet toe om weg te laten value wanneer to_replace dit geen woordenlijst is. value Eerder kon worden weggelaten in de andere gevallen en None standaard had, wat contra-intuïtief en foutgevoelig is.

MLlib

  • Belangrijke API-wijzigingen: de klasse- en eigenschappenhiërarchie voor logistieke regressiemodelsamenvattingen is gewijzigd in schoner en beter geschikt voor de toevoeging van de samenvatting met meerdere klassen. Dit is een belangrijke wijziging voor gebruikerscode die een LogisticRegressionTrainingSummary naar een BinaryLogisticRegressionTrainingSummary. Gebruikers moeten in plaats daarvan de model.binarySummary methode gebruiken. Zie [SPARK-17139]: voor meer informatie (let op: dit is een @Experimental API). Dit heeft geen invloed op de Python-samenvattingsmethode, die nog steeds correct werkt voor zowel multinomiale als binaire gevallen.
  • [SPARK-21806]: BinaryClassificationMetrics.pr()eerste punt (0,0, 1.0) is misleidend en is vervangen door (0,0, p) waarbij precisie p overeenkomt met het laagste relevante punt.
  • [SPARK-16957]: beslissingsstructuren gebruiken nu gewogen middelpunten bij het kiezen van gesplitste waarden. Dit kan de resultaten van modeltraining wijzigen.
  • [SPARK-14657]: RFormula zonder een snijpunt wordt nu de referentiecategorie uitgevoerd bij het coderen van tekenreekstermen om het systeemeigen R-gedrag te vinden. Dit kan de resultaten van modeltraining wijzigen.
  • [SPARK-21027]: de standaardparallelisme waarin wordt gebruikt OneVsRest , is nu ingesteld op 1 (bijvoorbeeld serieel). In 2.2 en eerdere versies is het niveau van parallelle uitvoering ingesteld op de standaardthreadpoolgrootte in Scala. Dit kan de prestaties wijzigen.
  • [SPARK-21523]: Bijgewerkte Breeze naar 0.13.2. Dit bevatte een belangrijke bug fix in sterke Wolfe lijn zoeken naar L-BFGS.
  • [SPARK-15526]: de JPMML-afhankelijkheid is nu gearceerd.
  • Zie ook de sectie 'Opgeloste fouten' voor gedragswijzigingen als gevolg van het oplossen van fouten.

Bekende problemen

  • [SPARK-23523][SQL]: Onjuist resultaat veroorzaakt door de regel OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: Bugs in stream-stream self-joins.

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 4.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (of 3.5.2 als u Python 3 gebruikt)
  • R: R versie 3.4.3 (2017-11-30)
  • GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
    • Tesla bestuurder 375.66
    • CUDA 8.0
    • CUDNN 6.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
Boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 Cffi 1.7.0
Chardet 2.3.0 colorama 0.3.7 Configobj 5.0.6
Cryptografie 1.5 cycler 0.10.0 Cython 0.24.1
Decorator 4.0.10 Docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
Ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
Lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 Numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
Pexpect 4.0.1 pickleshare 0.7.4 Kussen 3.3.1
Pip 9.0.1 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 Pygobject 3.20.0 Pyopenssl 16.0.0
Pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
Scipy 0.18.1 Schuren 0.32 seaborn 0.7.1
Setuptools 38.5.1 Simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Zes 1.10.0 statsmodels 0.6.1
Tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
Virtualenv 15.0.1 wcwidth 0.1.7 Wiel 0.30.0
Wsgiref 0.1.2

Geïnstalleerde R-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Abind 1.4-5 assertthat 0.2.0 Backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0,1
bindrcpp 0,2 bit 1.1-12 bit64 0.9-7
Bitops 1.0-6 blob 1.1.0 opstarten 1.3-20
Brouwsel 1.0-6 Bezem 0.4.3 car 2.1-6
caret 6.0-77 Chron 2.3-51 class 7.3-14
cluster 2.0.6 Codetools 0.2-15 Colorspace 1.3-2
commonmark 1.4 Compiler 3.4.3 Crayon 1.3.4
curl 3,0 CVST 0.2-1 data.table 1.10.4-3
gegevenssets 3.4.3 DBI 0,7 ddalpha 1.3.1
DEoptimR 1.0-8 Desc 1.1.1 Devtools 1.13.4
dichromat 2.0-0 Digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 Buitenlandse 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
Lijm 1.2.0 Gower 0.1.2 afbeeldingen 3.4.3
grDevices 3.4.3 Raster 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ipred 0.9-6
Iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
Kernsmooth 2.23-15 Labeling 0,3 Lattice 0.20-35
lava 1.5.1 lazyeval 0.2.1 Littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
Mapproj 1.2-5 Kaarten 3.2.0 MASS 7.3-48
Matrix 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
methoden 3.4.3 Mgcv 1.8-23 Mime 0,5
minqa 1.2.4 Mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 Mvtnorm 1.0-6 Nlme 3.1-131
nloptr 1.0.4 Nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
Pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 Lof 1.0.0 Proc 1.10.0
prodlim 1.6.1 Proto 1.0.0 Psych 1.7.8
Purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 Rcolorbrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recepten 0.1.1 hervorm2 1.4.2 rlang 0.1.4
Robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
Rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0,7 Schalen 0.5.0
sfsmisc 1.1-1 Sp 1.2-5 SparkR 2.3.0
SparseM 1.77 Ruimtelijke 7.3-11 Splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 Stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
Overleving 2.41-3 Tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 Timedate 3042.101 tools 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Stream 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-gearceerd 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.0.0
com.fasterxml.jackson.core jackson-annotaties 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrische gegevenskern 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrische gegevensgrafiet 3.1.5
io.dropwizard.metrics metrische statuscontroles 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Collector 0,7
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.validation validatie-API 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.8.0
org.apache.arrow pijlgeheugen 0.8.0
org.apache.arrow pijlvector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-codering 1.8.2-databricks1
org.apache.parquet parquet-indeling 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-gearceerd 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-vervolg 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate sluimerstand-validator 5.1.1.Final
org.iq80.snappy Snappy 0,2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark Ongebruikte 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
Oro Oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52