Databricks Runtime 5.4 (stöds inte)
Databricks släppte den här bilden i juni 2019.
Följande viktig information innehåller information om Databricks Runtime 5.4, som drivs av Apache Spark.
Nya funktioner
Delta Lake på Azure Databricks lägger till Automatisk optimering (offentlig förhandsversion)
I dag när du skriver data till molnlagring måste du komprimera filer för optimalA I/O-prestanda. Du måste oroa dig för rätt filstorlek, hur ofta filerna ska komprimeras, hur stort ett kluster ska användas och så vidare. För att lösa den här klassen av problem är vi glada över att kunna introducera Automatisk optimering med Delta Lake i Azure Databricks. Under varje skrivning till Delta-tabeller tar vi automatiskt reda på rätt filstorlekar och kompakta filer så att du inte behöver oroa dig för att optimera lagringslayouten. Om alternativet är trueunder skrivningar auto-optimize avgör Azure Databricks automatiskt om en optimering krävs och optimerar de små filerna. Mer information finns i Konfigurera Delta Lake för att styra datafilstorleken.
Biblioteksverktyg allmänt tillgängliga
Biblioteksverktyg är nu allmänt tillgängliga. Med den här funktionen kan du ändra Python-bibliotek inom omfånget för en notebook-session. Se Biblioteksverktyget (dbutils.library) (äldre).
Databricks Anslut allmänt tillgänglig
Databricks Anslut är nu allmänt tillgänglig. Den här funktionen är ett Spark-klientbibliotek som låter dig ansluta din favorit-IDE (IntelliJ, Eclipse, PyCharm, RStudio), notebook-server (Zeppelin, Jupyter) och andra anpassade program till Azure Databricks-kluster och köra Spark-kod. Se Databricks Anslut.
Datakälla för binär fil
Datakällan för binära filer läser binära filer och konverterar varje fil till en enda post som innehåller råinnehållet och metadata för filen. Nu kan du effektivt läsa godtyckliga filer i en Spark DataFrame utan att gå till innehållet i filerna. Detta är särskilt användbart om du vill använda Spark för att läsa in stora filer, till exempel bilder, för bedömning. Se Binär fil.
Förbättringar
Diskcachelagring
Diskcachelagring är nu förkonfigurerad för Lsv2-instanser. Cachen är dock inte aktiverad som standard. Se Aktivera eller inaktivera diskcacheminnet för information om hur du aktiverar den.
Genomströmning av Azure Data Lake Storage Gen2 Azure AD-autentiseringsuppgifter
DBFS-montering av Azure Data Lake Storage (ADLS) Gen2-filsystem med Microsoft Entra-ID (tidigare Azure Active Directory) genomströmning av autentiseringsuppgifter stöds nu. Se Azure Data Lake Storage Gen2.
Uppgraderad R till 3.6.0
R-basen uppgraderas från 3.5.2 till 3.6.0.
Apache Spark
Databricks Runtime 5.4 innehåller Apache Spark 2.4.3. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 5.3 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-27596][SQL] JDBC-frågealternativet fungerar inte för Oracle-databasen
- [SPARK-27240][PYTHON] Använd Pandas DataFrame för struct-typargument i Scalar Pandas UDF.
- [SPARK-26745][SQL] [TESTER] JsonSuite-testfall: tom rad –> antal poster 0
- [SPARK-25535][CORE] Kringgå felaktig felhantering i commons-crypto.
- [SPARK-26891][YARN] Fixering av flagnande test i YarnSchedulerBackendSuite
- [SPARK-27563][SQL] [TEST] hämta automatiskt de senaste Spark-versionerna i HiveExternalCatalogVersionsSuite
- [SPARK-27494][SS] Null-värden fungerar inte i Kafka source v2
- [SPARK-27550][TEST] Åtgärda test-dependencies.sh inte använda kafka-0-8-profilen för Scala-2.12
- [SPARK-26992][STS] Åtgärda rätt leverans av STS-schemaläggarpoolen
- [SPARK-27544][PYTHON] [TEST] Åtgärda Python-testskriptet så att det fungerar i Scala-2.12-versionen
- [SPARK-27539][SQL] Åtgärda felaktiga aggregerade utdataRows-uppskattning med kolumn som innehåller null-värden
- [SPARK-27469][BUILD] Förena commons-beanutils deps till senaste 1.9.3
- [SPARK-27419][UPPFÖLJNING] [DOCS] Lägg till anteckningar om spark.executor.heartbeatInterval-ändring i migreringsguiden
- [SPARK-27496][CORE] Allvarliga fel bör också skickas tillbaka till avsändaren
- [SPARK-25079][PYTHON] uppdatera python3 körbar till 3.6.x
- [SPARK-27163][PYTHON] Rensa och konsolidera Pandas UDF-funktioner
- [SPARK-27403][SQL] Åtgärda updateTableStats för att uppdatera tabellstatistik alltid med ny statistik eller Ingen
- [SPARK-27479][BUILD] Dölj API-dokument för org.apache.spark.util.kvstore
- [SPARK-27446][R] Använd befintlig spark-konfiguration om det är tillgängligt.
- [SPARK-27453] Skicka partitionBy som alternativ i DataFrameWriter
- [SPARK-27454][SPARK-27454][HOT-FIX] [ML] [SQL] Cherrypick (Korrigering i Spark-bilddatakällan misslyckas när det uppstår några olagliga bilder)
- [SPARK-27351][SQL] Fel outputRows-uppskattning efter AggregateEstimation med endast null-värdekolumn
- [SPARK-27314][SQL] Deduplicera exprIds för Union.
- [SPARK-27394][WEBUI] Töm LiveEntity om det behövs när du tar emot SparkListenerExecutorMetricsUpdate (backport 2.4)
- [SPARK-27406][SQL] UnsafeArrayData serialisering bryts när två datorer har olika storlek på Oops
- [SPARK-27419][CORE] Undvik pulsslagsintervall för gjutning till sekunder (2,4)
- [SPARK-27391][SS] Initiera inte ett lat val i ContinuousExecution-jobbet.
- [SPARK-27390][CORE] [SQL] [TEST] Åtgärda felmatchning av paketnamn
- [SPARK-27358][Användargränssnitt] Uppdatera jquery till 1.12.x för att hämta säkerhetskorrigeringar
- [SPARK-27216][CORE] Uppgradera RoaringBitmap till 0.7.45 för att åtgärda problem med osäker ser/dser för Kryo
- [SPARK-27382][SQL] [TEST] Uppdatera Spark 2.4.x-testning i HiveExternalCatalogVersionsSuite
- [SPARK-27338][CORE] Åtgärda dödläge mellan UnsafeExternalSorter och TaskMemoryManager
- [SPARK-27338][CORE] [FOLLOWUP] ta bort avslutande utrymme
- [SPARK-27338][CORE] Åtgärda dödläge i UnsafeExternalSorter.SpillableIterator när du låser både UnsafeExternalSorter.SpillableIterator och TaskMemoryManager
- [SPARK-27346][SQL] Lös det nya kontrollvillkoret för "exempel" i ExpressionInfo
- [SPARK-26998][CORE] Ta bort SSL-konfiguration från köre
- [SPARK-27244][CORE] [TEST] [FOLLOWUP] toDebugString redigerar känslig information
- [SPARK-27267][UPPFÖLJNING] Uppdatera hadoop-2.6-beroendemanifestet
- [SPARK-27267][CORE] Uppdatera snappy för att undvika fel vid dekomprimering av tomma serialiserade data
- [SPARK-27301][DSTREAM] Förkorta den cachelagrade livscykeln för FileSystem till rensningsmetodens inre omfång
- [SPARK-27244][CORE] Redigera lösenord vid användning av alternativet logConf=true
- [SPARK-26208][SQL] lägg till rubriker i tomma csv-filer när header=true
- [SPARK-27275][CORE] Åtgärda potentiell skada i EncryptedMessage.transferTo (2.4)
- [SPARK-23836][PYTHON] Lägg till stöd för StructType-retur i Scalar Pandas UDF
- [SPARK-26961][CORE] Aktivera parallell classloading-kapacitet
- [SPARK-27274][DOCS] Åtgärda referenser till scala 2.11 i 2.4.1+ dokument; Obs! 2.11-stödet är inaktuellt i 2.4.1+
- [SPARK-27198][CORE] Felmatchning av pulsslagsintervall i drivrutin och köre
- [SPARK-27094][YARN] Arbeta runt RackResolver svälja trådavbrott.
- [SPARK-24935][SQL] åtgärdar Hive UDAF med två aggregeringsbuffertar
- [SPARK-27160][SQL] Åtgärda DecimalType när du skapar orc-filter
- [SPARK-26606][CORE] Hantera drivrutinsalternativ korrekt när du skickar till fristående klusterläge via äldre klient
- [SPARK-27221][SQL] Förbättra kontrollfelmeddelandet i TreeNode.parseToJson (5.x)
- [SPARK-27102][R] [PYTHON] [CORE] Ta bort referenser till Pythons Scala-koder i R:s Scala-koder
- [SPARK-27159][SQL] uppdatera mssql-serverdialekten för att stödja binär typ
- [SPARK-27112][CORE] : Skapa en resursordning mellan trådar för att lösa de dödlägen som påträffas vid försök att döda utförare, antingen på grund av dynamisk allokering eller en blockeringslista
- [SPARK-27178][K8S] lägger till nss-paket för att åtgärda tester
- [SPARK-27045][SQL] Sql-fliken i användargränssnittet visar faktisk SQL i stället för anropswebbplats i händelse av SparkSQLDriver
- [SPARK-27119][SQL] Härled inte schemat när du läser Hive-serdetabellen med intern datakälla
- [SPARK-27165][SPARK-27107][BUILD] [SQL] Uppgradera Apache ORC till 1.5.5
- [SPARK-26742][K8S] Uppdatera k8s-klientversionen till 4.1.2
- [SPARK-26927][CORE] Se till att kören är aktiv vid bearbetning av händelser i dynamisk allokeringshanterare.
- [SPARK-27097][CHERRY-PICK 2.4] Undvik att bädda in plattformsberoende förskjutningar bokstavligen i genererad kod i hela fasen
- [SPARK-27111][SS] Åtgärda ett lopp som en kontinuerlig fråga kan misslyckas med InterruptedException (5.x)
- [SPARK-27111][SS] Åtgärda ett lopp som en kontinuerlig fråga kan misslyckas med InterruptedException
- [SPARK-27080][SQL] felkorrigering: mergeWithMetastoreSchema med enhetlig gemen jämförelse
- [SPARK-26604][CORE] Rensa kanalregistrering för StreamManager
- [SPARK-27016][SQL] [BUILD] Behandla alla antlr-varningar som fel vid generering av parser från sql-grammatikfilen
- [SPARK-25863][SPARK-21871][SQL] Kontrollera om kodstorleksstatistiken är tom eller inte i updateAndGetCompilationStats
- [SPARK-27078][SQL] Åtgärda NoSuchFieldError när du läser Materialiserade Hive-vyer
- [SPARK-27019][SQL] [WEBUI] onJobStart inträffar efter onExecutionEnd bör inte skriva över kvstore
- [SPARK-27065][CORE] undvik fler än en aktiv aktivitetsuppsättningshanterare för en fas
- [SPARK-24669][SQL] Ogiltigförklara tabeller vid DROP DATABASE CASCADE
- [SPARK-26932][DOC] Lägg till en varning för Problem med Hive 2.1.1 ORC-läsare
- [SPARK-25139][SPARK-18406][CORE] Undvik NonFatals för att döda executorn i PythonRunner
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 5.4.
Systemmiljö
- Operativsystem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 för Python 2-kluster och 3.5.2 för Python 3-kluster.
- R: R version 3.6.0 (2019-04-26)
- GPU-kluster: Följande NVIDIA GPU-bibliotek är installerade:
- Tesla-förare 375,66
- CUDA 9.0
- cuDNN 7.0
Kommentar
Även om Scala 2.12 stöds i Apache Spark 2.4 stöds det inte i Databricks Runtime 5.4.
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| Boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | Certifi | 2016.2.28 | Cffi | 1.7.0 |
| Chardet | 2.3.0 | Colorama | 0.3.7 | Configobj | 5.0.6 |
| Kryptografi | 1.5 | Apparat | 0.10.0 | Cython | 0.24.1 |
| Dekoratör | 4.0.10 | Docutils | 0,14 | uppräkning 34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Terminer | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | Ip | 1.0.16 |
| Ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| Lxml | 3.6.4 | Markering Valv | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | Numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| Pexpect | 4.0.1 | pickleshare | 0.7.4 | Kudde | 3.3.1 |
| Pip | 19.1.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
| Pygments | 2.1.3 | Pygobject | 3.20.0 | Pyopenssl | 16.0.0 |
| Pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| begäranden | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| Scipy | 0.18.1 | Skura | 0.32 | seaborn | 0.7.1 |
| Setuptools | 41.0.1 | Simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Sex | 1.10.0 | statsmodels | 0.6.1 |
| Tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| Virtualenv | 16.1.0 | wcwidth | 0.1.7 | Hjul | 0.33.3 |
| Wsgiref | 0.1.2 |
Installerade R-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Abind | 1.4-5 | Askpass | 1,1 | assertthat | 0.2.1 |
| Backports | 1.1.3 | bas | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| Bitops | 1.0-6 | blob | 1.1.1 | start | 1.3-20 |
| Brygga | 1.0-6 | anropare | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | textmarkör | 6.0-82 | cellranger | 1.1.0 |
| Chron | 2.3-53 | klass | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| Codetools | 0.2-16 | Färgrymd | 1.4-1 | commonmark | 1,7 |
| Kompilator | 3.6.0 | config | 0,3 | Krita | 1.3.4 |
| Curl | 3.3 | data.table | 1.12.0 | datauppsättningar | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| Devtools | 2.0.1 | Digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellips | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | Utländska | 0.8-71 |
| Forge | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| Generika | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | Lim | 1.3.1 |
| Gower | 0.2.0 | grafik | 3.6.0 | grDevices | 3.6.0 |
| Rutnät | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | H2o | 3.22.1.1 | Tillflyktsort | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| Ini | 0.3.1 | Ipred | 0.9-8 | Iteratorer | 1.0.10 |
| jsonlite | 1.6 | Kernsmooth | 2.23-15 | Märkning | 0,3 |
| Galler | 0.20-38 | Lava | 1.6.5 | lazyeval | 0.2.2 |
| Littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | Mapproj | 1.2.6 | Kartor | 3.3.0 |
| maptools | 0.9-5 | MASSACHUSETTS | 7.3-51.1 | Matris | 1.2-17 |
| MatrixModels | 0.4-1 | pmise | 1.1.0 | metoder | 3.6.0 |
| Mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | Mvtnorm | 1.0-10 |
| Nlme | 3.1-139 | nloptr | 1.2.1 | Nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | Pelaren | 1.3.1 |
| pkgbuild | 1.0.3 | Pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| Beröm | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Förlopp | 1.2.0 |
| Proto | 1.0.0 | Ps | 1.3.0 | Purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| Rcolorbrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recept | 0.1.5 | Returmatch | 1.0.1 |
| Fjärrkontroller | 2.0.2 | omforma2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | Skalor | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.3 | SparseM | 1.77 | Rumsliga | 7.3-11 |
| Splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | Statistik | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | Överlevnad | 2.43-3 |
| sys | 3.1 | Tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | Tibble | 2.1.1 | tidyr | 0.8.3 |
| avmarkera | 0.2.5 | Timedate | 3043.102 | verktyg | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | verktyg | 3.6.0 |
| viridisLite | 0.3.0 | Morrhår | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | Yaml | 2.2.0 |
| Zip | 2.0.1 |
Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Klasskamrat | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-lagring | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Samlare | 0,7 |
| javax.activation | aktivering | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-träd | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-träd | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolit | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 0.10.0 |
| org.apache.arrow | pilminne | 0.10.0 |
| org.apache.arrow | pilvektor | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-inkubering |
| org.apache.calcite | calcite-core | 1.2.0-inkubering |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubering |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-kodning | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-fortsättning | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-server | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | brygga-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | vilolägesverifierare | 5.1.1.Final |
| org.iq80.snappy | Snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metaarkiv | 1.2.1.spark2 |
| org.spark-project.spark | Oanvända | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | Xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |