Databricks Runtime 8.3 en Databricks Runtime 8.3 Photon

Databricks heeft deze afbeeldingen in juni 2021 uitgebracht.

De volgende release-opmerkingen bevatten informatie over Databricks Runtime 8.3 en Databricks Runtime 8.3 Photon, powered by Apache Spark 3.1.1.

Nieuwe functies en verbeteringen

Gegenereerde kolommen in Delta-tabellen (openbare preview)

Delta Lake ondersteunt nu gegenereerde kolommen.Dit is een speciaal type kolom waarvan de waarden automatisch worden gegenereerd op basis van een door de gebruiker opgegeven functie boven andere kolommen in de Delta-tabel. U kunt de meeste ingebouwde SQL gebruiken om de waarden van deze gegenereerde kolommen te genereren. U kunt bijvoorbeeld automatisch een datumkolom genereren (voor het partitioneren van de tabel op datum) van de tijdstempelkolom; Schrijf schrijf schrijfgegevens in de tabel hoeven alleen de gegevens voor de tijdstempelkolom op te geven. U kunt Delta-tabellen met gegenereerde kolommen maken met behulp SQL API's van Scala, Java of Python.

Zie Gegenereerde kolommen gebruiken voor meer informatie.

Functies en verbeteringen voor automatisch laden

Schemadeferentie voor CSV-bestanden in Automatisch laden

Auto Loader ondersteunt nu schemadeferentie en evolutie in CSV-bestanden. Auto Loader biedt de volgende mogelijkheden boven op de bestaande CSV-parser in Apache Spark:

  • Schema samenvoegen: Automatisch laden kan CSV-bestanden met een ander schema (verschillend aantal kolommen, verschillende volgorde van kolommen) opnemen in bestanden.
  • Kolom Met gegevens uit de noodopvang: u kunt de kolom Met de gegevens uit de noodopvang herstellen om onverwachte gegevens op te halen die in uw CSV-bestanden kunnen worden weergegeven. Dit omvat gegevens die niet kunnen worden geparseerd in het verwachte gegevenstype, kolommen met een andere casing- of null-waarden in de header of aanvullende kolommen die geen deel uitmaken van het verwachte schema.

Zie Schemadeferentie en evolutie in Auto Loader voor meer informatie.

Verbeterde opstarttijd voor stromen voor automatisch laden

Stromen voor automatisch laden voeren nu de eerste backfill voor de stroom asynchroon uit wanneer u voor de eerste keer begint, wat leidt tot een veel snellere opstarttijd voor de stroom. Hierdoor kunt u uw code snel itereren met productiegegevens, met name wanneer u gegevens moet opnemen uit mappen die miljoenen of miljarden bestanden bevatten.

Bovendien is de bootstraptijd van stromen die opnieuw worden opgestart ook verbeterd, omdat we het downloaden en uploaden van de RocksDB-bestanden die door auto loader worden gebruikt, parallel hebben uitgevoerd om exactly-once-semantiek te bieden.

Snellere directoryvermelding in automatisch laadpakket

We hebben de efficiëntie van directoryvermelding in Automatisch laden aanzienlijk verbeterd. Een neveneffect van deze prestatieverbetering is dat de stroom meer lijstaanvragen naar het opslagsysteem kan sturen wanneer er geen nieuwe gegevens moeten worden verwerkt, wat kan leiden tot een piek in de kosten voor lijstaanvragen. Over het algemeen best practice Databricks u aan een redelijk triggerinterval in te stellen voor productiestreamingpijplijnen. Zie Gestructureerd streamen in productie.

Minder opslagoverhead voor controlepunten voor automatische laadpunten

Met automatisch laden worden verouderde bestanden in de controlepuntmap nu automatisch asynchroon opsiert om te voorkomen dat de mapgrootte van het controlepunt voor onbepaalde tijd toeneemt en de opslagkosten verlaagt.

Auto Loader bevat het bestandspad in de kolom met de gegevens die zijn uit de noodopvang voorzien, indien beschikbaar

De kolom met de gegevens die worden opgeslagen, biedt automatisch het bestandspad van de opgeslagen gegevens, indien van toepassing, in een kolom met de naam _file_ path . Dit kan u helpen de hoofdoorzaak van problemen met de kwaliteit van gegevens op te sporen. De kolom wordt niet opgenomen als het gegevensschema een kolom bevat met de naam _file_path . U kunt de configuratie van SQL gebruiken spark.databricks.sql.rescuedDataColumn.filePath.name om de naam van de kolom zo nodig te wijzigen.

Automatisch laden biedt ondersteuning voor bestands hernoemingen in Azure Data Lake Storage Gen2 in de modus voor bestandsmeldingen

Auto Loader ondersteunt nu BlobRenamed-gebeurtenissen voor Azure Data Lake Storage Gen2 wanneer deze worden uitgevoerd in de modus voor bestandsmeldingen. Als u bestanden wilt verwerken die zijn geüpload naar een Azure Data Lake Storage Gen2-container via een hernoemingsbewerking met bestandsmeldingen, start u een nieuwe stream met automatisch laadproces met behulp van Databricks Runtime 8.3. Om ervoor te zorgen dat een bestand precies één keer wordt verwerkt, moet u ervoor zorgen dat de bronmap van waar het bestand wordt gewijzigd, niet wordt gevolgd door Automatisch laden.

Delta-tabellen maken met nieuwe programmatische API's (openbare preview)

U kunt nu programmatisch nieuwe Delta-tabellen maken (met scala, Java en Python) zonder DataFrame-API's te gebruiken. Met DeltaTableBuilder nieuwe DeltaColumnBuilder API's en kunt u alle tabeldetails opgeven die u kunt opgeven met behulp van SQL CREATE TABLE .

Zie Een tabel maken voor meer informatie.

Juiste berekening van deltatabelgrootten in SQL ANALYZE

Bestaande analyselogica berekent de tabelgrootte voor Delta-tabellen onjuist en werkt de catalogus bij met een onjuiste grootte. De oplossing is om de grootte van een Delta-tabel op te halen uit het Delta-logboek.

Gedetailleerde metrische gegevens van RocksDB-prestaties bij gebruik van RocksDBStateStore

Als u uw Structured Streaming-query hebt geconfigureerd voor het gebruik van RocksDBals statusopslag, kunt u nu beter inzicht krijgen in de prestaties van RocksDB, met gedetailleerde metrische gegevens over get/put-latentie, compactielatentie, cachetreffers, en meer. Deze metrische gegevens zijn beschikbaar via de StreamingQueryProgressStreamingQueryListener API's en voor het bewaken van een StreamingQueryProgress

Zie RocksDB state store metrics (metrische gegevens over RocksDB-statusopslag) voor meer informatie.

Automatisch geoptimaliseerde schrijf schrijft

Geoptimaliseerde schrijf schrijfingen voor gepartities van Delta-tabellen worden nu automatisch ingeschakeld voor het bijwerken en verwijderen van query's met subquery's.

Ge bucketed joins inschakelen als er slechts één join-zijde is ge bucketed

Met een nieuwe configuratie wordt een join in buckets mogelijk als er slechts één join-zijde is ge bucketed en het aantal buckets niet kleiner spark.databricks.sql.minBucketsForBucketedJoin is dan deze configuratiewaarde. Deze configuratiewaarde is standaard hetzelfde als het standaardgetal partities in willekeurige volgorde (200).

Verbeterde beveiliging bij het definiëren van Spark-UF's (openbare preview)

Functies voor current_useris_member gebruikersgegevens en kunnen niet meer worden overschreven door tijdelijke functies, waaronder Python of spark.udf.registercreate or replace temp function SQL.

Minder aanvragen voor schemaregister voor query's met from_avro

Query's met ondersteuning voor schemaregisters genereren niet langer zoveel aanvragen voor de from_avro schemaregisterservice, waardoor operationele kosten worden bespaart.

Meerdere resultaten in R met ListResults (openbare preview)

Databricks R-notebooks ondersteunen nu meerdere resultaten in elke cel. Voorheen werd slechts één resultaat weergegeven voor elke notebookcel. Momenteel worden de resultaten van één cel in R-notebooks in de volgende volgorde weergegeven:

  1. RShiny-URL
  2. Plotten
  3. displayHTML-uitvoer
  4. Tables
  5. Stdout

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheek:
    • Koalas is bijgewerkt van 1.7.0 naar 1.8.0.
    • pandas bijgewerkt van 1.1.3 naar 1.1.5.
    • s3transfer is bijgewerkt van 0.3.4 naar 0.3.6.
  • Bijgewerkte R-bibliotheek:
    • SparkR is bijgewerkt van 3.1.1 naar 3.1.2.
  • Bijgewerkte Java-bibliotheek:
    • mariadb-java-client van 2.1.2 tot 2.2.5.
    • parquet-column van 1.10.1-databricks6 tot 1.10.1-databricks9
    • parquet-common van 1.10.1-databricks6 tot 1.10.1-databricks9
    • parquet-encoding van 1.10.1-databricks6 tot 1.10.1-databricks9
    • parquet-hadoop van 1.10.1-databricks6 tot 1.10.1-databricks9
    • parquet-hole van 1.10.1-databricks6 tot 1.10.1-databricks9

Apache Spark

Databricks Runtime 8.3 bevat Apache Spark 3.1.1. Deze release bevat alle Spark-oplossingen en -verbeteringen opgenomen in Databricks Runtime 8.2,evenals de volgende aanvullende bugfixes en verbeteringen die zijn aangebracht in Spark:

  • [SPARK-34614] [SQL] ANSI-modus: Cast-tekenreeks naar Booleaanse booleaanse tekenreeks moet uitzondering bij parse-fout activeren
  • [SPARK-34246] [FOLLOWUP] Wijzig de definitie van findTightestCommonT...
  • [SPARK-35213] [SQL] Houd de juiste volgorde van geneste structs in keten metVeldbewerkingen
  • [SPARK-35096] [SQL] SchemaPruning moet voldoen aan spark.sql.caseSensitive config
  • [SPARK-35227] [BUILD] De resolver bijwerken voor spark-pakketten in SparkSubmit
  • [SPARK-35224] [SQL] Bufferoverloop in opgelost
  • [SPARK-34245] [CORE] Ensure Master removes executors that failed to send finished state
  • [SPARK-34856] [SQL] ANSI-modus: Cast-complexe typen als tekenreekstype toestaan
  • [SPARK-34946] [SQL] Niet-ondersteunde gecorreleerde scalaire subquery blokkeren in Aggregatie
  • [SPARK-35014] Het physicalAggregation-patroon herstellen om vouwbare expressies niet opnieuw te schrijven
  • [SPARK-34769] [SQL] AnsiTypeCoercion: retourneerde de dichtstbijzijnde con...

Systeemomgeving

  • Besturingssysteem:Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
  • Scala:2.12.10
  • Python:3.8.8
  • R:R versie 4.0.4 (2021-02-15)
  • Delta Lake 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certificaat 2020.12.5 Cffi 1.14.3 Chardet 3.0.4
Cryptografie 3.1.1 cycler 0.10.0 Cython 0.29.21
Decorator 4.4.2 distlib 0.3.1 Docutils 0.15.2
entrypoints 0,3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 Ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
:solver 1.3.0 koalas 1.8.0 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
Pyopenssl 19.1.0 Pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 opnieuw proberen 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
Setuptools 50.3.1 Zes 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 Tornado 6.0.4 lets 5.0.5
urllib3 1.25.11 Virtualenv 20.2.1 wcwidth 0.2.5
wiel 0.35.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-27 brew 1.0-6 Brio 1.1.0
broom 0.7.2 callr 3.5.1 dakje 6.0-86
cellranger 1.1.0 chron 2.3-56 klasse 7.3-18
cli 2.2.0 klembord 0.7.1 cluster 2.1.1
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
compiler 4.0.4 configuratie 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 referenties 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
gegevenssets 4.0.4 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 Forge 0.2.0
Fs 1.5.0 Toekomst 1.21.0 Generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 afbeeldingen 4.0.4
grDevices 4.0.4 grid 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
labeling 0.4.2 Later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 Levenscyclus 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53.1 Matrix 1.3-2
memoise 1.1.0 methods 4.0.4 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
parallel 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 Beloften 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 Afstandsbedieningen 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 spatial 7.3-11 splines 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.4
usethis 2.0.0 utf8 1.1.4 utils 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Geïnstalleerde Java- en Scala-bibliotheken (scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glelet 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics gegevensstroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.core.core annotaties 2.10.0
com.fasterxml.core.core man-core 2.10.0
com.fasterxml.core.core boy-databind 2.10.0
com.fasterxml.jackson.dataformat brainstorm-dataformat-cbor 2.10.0
com.fasterxml.logo.datatype logo-datatype-joda 2.10.0
com.fasterxml.jackson.module ller-module-paranamer 2.10.0
com.fasterxml.jackson.module module-scala_2.12 2.10.0
com.github.ben-manes.gaan Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.rigelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.browsekierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.heva Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.ger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.box cp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.un un un un uncity-par 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.air lift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrische statuscontrole 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
: .annotation :.annotation-api 1.3.5
:.validation :.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine :lite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr Stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijl-indeling 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.ator directeur-client 2.7.1
org.apache.ator curator-framework 2.7.1
org.apache.ator laatkrecepten 2.7.1
org.apache.he Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-hadms 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.orgms hive-hivms-0.23 2.3.7
org.apache.hive.orgms hive-hivms-common 2.3.7
org.apache.hive.orgms hive-hivms-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-schems 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-hole 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity snelheid 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus doelgroepaantekeningen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.org :-core-asl 1.9.13
org.codehaus.gram :-jaxrs 1.9.13
org.codehaus.gram map-mapper-asl 1.9.13
org.codehaus.gram :-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glass org.hk2 hk2-api 2.6.1
org.glass org.hk2 hk2-locator 2.6.1
org.glass org.hk2 hk2-utils 2.6.1
org.glass org.hk2 osgi-resource-locator 1.0.3
org.glass hk2.external aopalliance-repackaged 2.6.1
org.glass hk2.external inject 2.6.1
org.glass org.js.containers folder-container-servlet 2.30
org.glass org.js.containers folder-container-servlet-core 2.30
org.glass cpu.org.core client 2.30
org.glass cpu.org.core algemene 2.30
org.glass cpu.org.core naamserver 2.30
org.glassppe.inject.inject hk2 2.30
org.glassppe.org.media xia-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.ingbitmap IngBitmap 0.9.0
org.ingbitmap Shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testinterface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scagis scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml yaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52
Antlr Antlr 2.7.7
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws jmespath-java 1.11.655
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware.kryo kryo 2.21
com.esotericsoftware.minlog minlog 1.2
com.esotericsoftware.reflectasm reflectasm-shaded 1.07
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.core.core annotaties 2.10.0
com.fasterxml.core.core man-core 2.10.0
com.fasterxml.core.core boy-databind 2.10.0
com.fasterxml.jackson.dataformat brainstorm-dataformat-cbor 2.10.0
com.github.ben-manes.gaan Cafeïne 2.3.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.heva Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.ger profiler 1.1.1
com.box cp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.thoughtworks.paranamer paranamer 2.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter parquet-hadoop-bundle 1.3.2
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-codec commons-codec 1.8
commons-collections commons-collections 3.2.2
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-io commons-io 2,5
commons-lang commons-lang 2,6
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrische statuscontrole 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty 3.8.0.Final
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
:.validation :.validation-api 2.0.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javolution javolution 5.5.1
Jline Jline 0.9.94
joda-time joda-time 2.10.5
Junit Junit 3.8.1
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
log4j log4j 1.2.17
net.sf.jpam jpam 1.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr Stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.avro Avro 1.8.2
org.apache.avro Avro 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-compress 1,9
org.apache.commons commons-lang3 3.4
org.apache.commons commons-math3 3.4.1
org.apache.ator directeur-client 2.7.1
org.apache.ator curator-framework 2.7.1
org.apache.ator laatkrecepten 2.7.1
org.apache.he Derby 10.10.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.4.1
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.1
org.apache.httpcomponents httpcore 4.4.12
org.apache.thrift libfb303 0.9.0
org.apache.thrift libthrift 0.9.2
org.apache.velocity snelheid 1.5
org.apache.zookeeper zookeeper 3.4.6
org.coderov.groovy groovy-all 2.1.6
org.codehaus.org core-core-asl 1.9.13
org.codehaus.org core-core-asl 1.9.13
org.codehaus.org map-mapper-asl 1.9.13
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.iq80.snappy Snappy 0,2
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.json json 20090211
org.objenesis objenesis 1.2
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scagis scalactic_2.12 3.0.8
org.scalatest scalatest_2.12 3.0.8
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-api 1.7.5
org.slf4j slf4j-log4j12 1.7.30
org.slf4j slf4j-log4j12 1.7.5
org.spark-project.hive hive-ant 0.13.1a
org.spark-project.hive hive-beeline 0.13.1a
org.spark-project.hive hive-cli 0.13.1a
org.spark-project.hive hive-common 0.13.1a
org.spark-project.hive hive-exec 0.13.1a
org.spark-project.hive hive-jdbc 0.13.1a
org.spark-project.hive hive-metastore 0.13.1a
org.spark-project.hive hive-serde 0.13.1a
org.spark-project.hive hive-service 0.13.1a
org.spark-project.hive hive-hivms 0.13.1a
org.spark-project.hive.orgms hive-hivms-0.20 0.13.1a
org.spark-project.hive.orgms hive-hivms-0.20S 0.13.1a
org.spark-project.hive.orgms hive-hivms-0.23 0.13.1a
org.spark-project.hive.orgms hive-hivms-common 0.13.1a
org.spark-project.hive.orgms hive-hivms-common-secure 0.13.1a
org.spark-project.protobuf protobuf-java 2.5.0-spark
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.5
org.tukaani Xz 1.5
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial.snappy snappy-java 1.1.2.6
org.xerial.snappy snappy-java 1.1.8.2
Oro Oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52