Databricks Runtime 7.2 (stöds inte)

Databricks släppte den här bilden i augusti 2020.

Följande viktig information innehåller information om Databricks Runtime 7.2 som drivs av Apache Spark 3.0.

Nya funktioner

Databricks Runtime 7.2 innehåller följande nya funktioner.

Automatisk inläsning är allmänt tillgängligt

Automatisk inläsning är en effektiv metod för inkrementell inmatning av ett stort antal filer i Delta Lake. Den är nu allmän tillgänglighet och lägger till följande funktioner: kataloglista, API för hantering av molnresurser, alternativ för hastighetsbegränsning och alternativvalidering.

Alternativ för kataloglistningsläge

Automatisk inläsning lägger till ett nytt kataloglistningsläge, förutom det befintliga filmeddelandeläget, för att avgöra när det finns nya filer.

  • Kataloglistningsläge: I vissa scenarier finns det bara ett fåtal filer som behöver strömmas in regelbundet. I dessa fall är det rimligt effektivt att identifiera nya filer genom parallell lista över indatakatalogen och mata in dem. På så sätt kan du starta automatiska inläsningsströmmar utan någon behörighetskonfiguration. Kataloglistningsläge är standardläget för automatisk inläsning från Databricks Runtime 7.2 och senare.
  • Läge för filavisering: Du kan uttryckligen välja filmeddelandeläge, vilket är mer högpresterande och skalbart för stora indatakataloger, men kräver att du konfigurerar behörigheter för meddelandetjänsten att prenumerera på filhändelser och ange .option("cloudFiles.useNotifications", "true"). Befintliga automatiska inläsningsströmmar som startats på Databricks Runtime 7.1 och nedan väljer automatiskt filmeddelandeläge när de uppgraderar till Databricks Runtime 7.2.

Mer information finns i Automatisk inläsning.

API för hantering av molnresurser

Nu kan du använda vårt Scala API för att hantera molnresurser som skapats av Auto Loader. Du kan lista meddelandetjänster och ta ned specifika meddelandetjänster med hjälp av det här API:et. Mer information finns i Hantera filaviseringsresurser.

Alternativ för hastighetsbegränsning

Nu kan du använda cloudFiles.maxBytesPerTrigger alternativet för att begränsa mängden data som bearbetas i varje mikrobatch. Du kan ange en bytesträng, till exempel 10g för att begränsa varje mikrobatch till 10 GB data. Detta är ett mjukt maxvärde. Om du har filer som är 3 GB vardera bearbetar Azure Databricks 12 GB i en mikrobatch. Det här alternativet har ingen effekt när det används med Trigger.Once(). När det här alternativet inte anges används standardvärdet cloudFiles.maxFilesPerTrigger på 1 000 filer för hastighetsbegränsning. När det används tillsammans med cloudFiles.maxFilesPerTriggeranvänder Azure Databricks upp till den lägsta gränsen cloudFiles.maxFilesPerTrigger för eller cloudFiles.maxBytesPerTrigger, beroende på vilket som uppnås först.

Mer information finns i Automatisk inläsning.

Alternativvalidering

Automatisk inläsning validerar nu de alternativ som du anger. Om du anger ett okänt alternativ returnerar Auto Loader ett fel i stället för att ignorera alternativet tyst. Verifieringen identifierar också inkonsekvenser i dina angivna alternativ. Om du till exempel anger cloudFiles.useNotifications till false och samtidigt anger behörighetsalternativ för Azure Event Grid- och queue Storage-tjänster, validation misslyckas. Om du vill hoppa över alternativvalidering anger du cloudFiles.validateOptions till false.

Ändringar i standardalternativvärden och kompatibilitet

Standardbeteendet för vissa alternativ för automatisk inläsning ändrades i Databricks Runtime 7.2. För att säkerställa kompatibilitet förblir beteendet för strömmar som startas på Databricks Runtime 7.1 och nedan oförändrad även när du har uppgraderat till att köra sådana strömmar i ett kluster som kör Databricks Runtime 7.2 eller senare. Se Automatisk inläsning.

Kopiera en Delta-tabell effektivt med clone (offentlig förhandsversion)

Nu kan du effektivt skapa en grund eller djup klon av en Delta-tabell i en viss version med clone kommandot . En djup klon är en fristående klon av en Delta-tabell som bildas genom att filerna kopieras parallellt från källtabellen till måltabellen. En ytlig klon är en billigt skapad klon som inte kopierar filer till måltabellen men pekar på filer i den ursprungliga tabellen. Ändringar som görs i en djup eller ytlig klon påverkar endast klonen och inte den ursprungliga tabellen. Se Klona en Delta-tabell.

Förbättringar

  • Snowflake-anslutningsprogram: Anslutningsappen har uppgraderats till version 2.8.1, som innehåller Stöd för Spark 3.0.

  • PySpark-användbarhet: När en PySpark- eller Pandas-UDF misslyckas visas nu undantaget på Python-sidan och den senast utförda raden med notebook-kod (om tillämpligt) överst i felmeddelandet.

  • Genomströmning av autentiseringsuppgifter:

    • Du kan nu använda funktionen för LDA-transformering i ett genomströmningsaktiverat kluster.
    • Du kan nu ange katalogen för lagringskontrollpunkter i ett genomströmningsaktiverat kluster.
  • Klusterbibliotek: Azure Databricks bearbetar nu alla klusterbibliotek i den ordning de installerades i klustret. På Databricks Runtime 7.1 och senare bearbetades endast Maven- och CRAN-bibliotek i den ordning de installerades i klustret. Andra bibliotek installerades i nondeterministisk ordning.

  • TensorBoard:

    • Hantera TensorBoard-processer med API:et tensorboard.notebook .
    • Du kan ha flera TensorBoard-serverdelar som körs i ett enda kluster.
    • I Python-notebook-filer visar du TensorBoard-användargränssnittet infogat med hjälp av kommandot %tensorboard line magic.
    • dbutils.tensorboard är inaktuell.

    Se TensorBoard.

  • Uppgraderade Python-bibliotek:

    • jmespath har uppgraderats från 0.9.4 till 0.10.0.
    • koalas har uppgraderats från 1.0.1 till 1.1.0.
  • Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.

Apache Spark

Databricks Runtime 7.2 innehåller Apache Spark 3.0.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 7.1 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-32234] [SQL] Spark sql-kommandon misslyckas vid val av orc-tabeller
  • [SPARK-30616] [SQL] Introducera TTL-konfigurationsalternativ för SQL metadatacache
  • [SPARK-21117] [SQL] Inbyggt SQL-funktionsstöd – WIDTH_BUCKET
  • [SPARK-32168] [SQL] Åtgärda fel med felaktig partitionering i SQL skriva över
  • [SPARK-31935] Konfigurationen av Hadoop-filsystemet bör vara effektiv i datakällans alternativ
  • [SPARK-32270] [SQL] Använd TextFileFormat i CSV:s schemainferens med en annan kodning
  • [SPARK-28481] [SQL] Fler uttryck bör utöka NullIntolerant
  • [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Tips bör inte ändra resultat för icke-kartesisk produktkoppling
  • [SPARK-32232] [ML][PYSPARK] Kontrollera att ML har samma standardlösarvärden mellan Scala och Python
  • [SPARK-32238] [SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i ScalaUDF
  • [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Tips bör inte ändra resultat för icke-kartesisk produktkoppling
  • [SPARK-32256] [SQL] Tvinga att initiera Hadoop VersionInfo i HiveExternalCatalog
  • [SPARK-32159] [SQL] Åtgärda integreringen mellan Aggregator[Array[_], _, _] och UnresolvedMapObjects
  • [SPARK-32160] [CORE][PYSPARK] Tillåt inte att skapa SparkContext i utförare
  • [SPARK-32168] [SQL] Åtgärda fel med felaktig partitionering i SQL skriva över
  • [SPARK-32024] [WEBUI] Uppdatera ApplicationStoreInfo.size under HistoryServerDiskManager-initieringen
  • [SPARK-32214] [SQL] Typkonverteringsfunktionen som genereras i makeFromJava för "annan" typ använder en fel variabel
  • [SPARK-30703] [SQL] Uppdatera ogiltig kommentar för SqlBase.g4
  • [SPARK-32163] [SQL] Kapslad beskärning bör fungera även med kosmetiska variationer
  • [SPARK-32124] [CORE] Använd det ogiltiga värdet Int.MinValue för att fylla i kartindexet när händelsen loggar från den gamla Spark-versionen
  • [SPARK-32167] [SQL] Fix GetArrayStructFields för att respektera det inre fältets nullbarhet tillsammans
  • [SPARK-32130] [SQL] Aktivera tidsstämplar i JsonBenchmark
  • [SPARK-32121] [SHUFFLE] Stöd för Windows operativsystem i ExecutorDiskUtils
  • [SPARK-32130] [SQL] Inaktivera JSON-alternativet inferTimestamp som standard
  • [SPARK-31935] [SQL] Konfigurationen av Hadoop-filsystemet bör vara effektiv i datakällans alternativ
  • [SPARK-32095] [SQL] Uppdatera dokumentationen för att återspegla användningen av uppdaterad statistik
  • [SPARK-32131] [SQL] Åtgärda AnalysisException-meddelanden i UNION/EXCEPT/MINUS-åtgärder
  • [SPARK-32068] [WEBUI] Rätt aktivitets lauchtime show-problem på grund av tidszon på fliken Fas
  • [SPARK-29999] [SS] Åtgärda test för att kontrollera den faktiska metadataloggkatalogen
  • [SPARK-32127] [SQL] Kontrollregler för MERGE INTO bör använda MergeAction.conditition förutom MergeAction.children
  • [SPARK-32038] [SQL] Gör aliasnamnet vackert efter float/dubbel normalisering
  • [SPARK-32126] [SS] Scope Session.active i IncrementalExecution
  • [SPARK-32115] [SQL] Korrigera SUBSTRING för att hantera heltalsöverflöden
  • [SPARK-32098] [PYTHON] Använd iloc för positionsslicering i stället för direkt segmentering i createDataFrame med Pil
  • [SPARK-32080][SPARK-31998] [SQL] Förenkla ArrowColumnVector ListArray-accessor
  • [SPARK-32028] [WEBUI] åtgärdar app-ID-länk för flera försöksapp i sammanfattningssidan för historik
  • [SPARK-31918] [R] Ignorera allmänna S4-metoder under SparkR-namnrymd i stängningsrensning för att stödja R 4.0.0+
  • [SPARK-32038] [SQL] NormalizeFloatingNumbers bör också fungera med distinkt aggregering
  • [SPARK-32034] [SQL] Port HIVE-14817: Stäng av SessionManager timeoutChecker-tråden korrekt vid avstängning
  • [SPARK-32021] [SQL] Öka precisionen för sekunder och fraktioner avmake_interval
  • [SPARK-31980] [SQL] Funktionssekvens() misslyckas om start och slut på intervallet är lika med datum
  • [SPARK-32020] [SQL] Bättre felmeddelande när SPARK_HOME eller spark.test.home inte har angetts
  • [SPARK-32011] [PYTHON][CORE] Ta bort varningar om pin-thread-lägen och guide för att använda collectWithJobGroup

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 7.2.

Systemmiljö

  • Operativsystem: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R version 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 Certifi 2020.6.20 Cffi 1.14.0
Chardet 3.0.4 Kryptografi 2.8 Apparat 0.10.0
Cython 0.29.15 Dekoratör 4.4.1 Docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
Ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 Koalas 1.1.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.5.2 Patsy 0.5.1 Pexpect 4.8.0
pickleshare 0.7.5 Pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 0.15.1
pycparser 2.19 Pygments 2.5.2 Pygobject 3.26.1
Pyopenssl 19.1.0 Pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 Begäranden 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 sjöburen 0.10.0
Setuptools 45.2.0 Sex 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 Tornado 6.0.3 traitleter 4.3.3
obevakade uppgraderingar 0.1 urllib3 1.25.8 Virtualenv 16.7.10
wcwidth 0.1.8 hjul 0.34.2

Installerade R-bibliotek

R-bibliotek installeras från (Microsoft CRAN-ögonblicksbild 2020-07-14).

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1.1 assertthat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.7.0
callr 3.4.3 cirkumflex 6.0-86 cellranger 1.1.0
chron 2.3-55 klass 7.3-17 cli 2.0.2
Clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0.3 covr 3.5.0 crayon 1.3.4
crosstalk 1.1.0.1 curl 4.3 data.table 1.12.8
datauppsättningar 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.14 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 Forge 0.2.0 Fs 1.4.2
Generika 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 Globals 0.12.5
glue 1.4.1 gower 0.2.2 grafik 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1.29
labeling 0.3 Senare 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 Livscykel 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-51.6 Matris 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-31 mime 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 progress 1.2.2 Löften 1.1.1
proto 1.0.0 Ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
recipes 0.1.13 rematch 1.0.1 rematch2 2.1.2
Fjärrkontroller 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0.11 rversioner 2.0.2
rvest 0.3.5 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2,10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 whisker 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics streama 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktiveringen 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant Antillerna 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 0.15.1
org.apache.arrow pilminne 0.15.1
org.apache.arrow pilvektor 0.15.1
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recept 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anteckningar 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metaarkiv 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubera
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-encoding 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity hastighet 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-positionerare 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Oanvända 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52