Databricks Runtime 8.3 (nem támogatott)

A következő kibocsátási megjegyzések az Apache Spark 3.1.1-es verzióján alapuló Databricks Runtime 8.3-ról és Databricks Runtime 8.3 Photon-ról nyújtanak információkat. Databricks 2021 júniusában adta ki ezeket a képeket. A Photonnyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

Létrehozott oszlopok Delta-táblákban (nyilvános előzetes verzió)

A Delta Lake mostantól támogatja a létrehozott oszlopokat, amelyek olyan speciális oszloptípusok, amelyek értékei automatikusan létrejönnek egy felhasználó által megadott függvény alapján a Delta-tábla más oszlopai felett. A legtöbb beépített SQL-függvényt használhatja ezeknek a generált oszlopoknak az értékeinek létrehozásához. Automatikusan létrehozhat például egy dátumoszlopot (a tábla dátum szerinti particionálásához) az időbélyegoszlopból; a táblába történő írásoknak csak az időbélyeg oszlop adatait kell megadniuk. Létrehozhat Delta-táblákat generált oszlopokkal SQL, Scala, Java vagy Python API-k használatával.

További információ: Generált oszlopok használata.

Az automatikus betöltő funkciói és fejlesztései

Sémakövetkeztetés CSV-fájlokhoz az automatikus betöltőben

Az automatikus betöltő mostantól támogatja a sémakövetkeztetést és az evolúciót a CSV-fájlokon. Az Automatikus betöltő az Apache Spark meglévő CSV-elemzőjén felül a következő képességeket biztosítja:

  • Sémaegyesítés: Az automatikus betöltő különböző sémával (eltérő számú oszlop, eltérő oszlopsorrend) rendelkező CSV-fájlokat tölthet be a fájlok között.
  • Mentett adatoszlop: A mentett adatoszlop segítségével mentheti a CSV-fájlokban esetlegesen megjelenő váratlan adatokat. Ide tartoznak azok az adatok, amelyek nem elemezhetők a várt adattípusban, az olyan oszlopok, amelyek fejlécében eltérő burkolat- vagy nullértékek találhatók, vagy olyan további oszlopok, amelyek nem részei a várt sémának.

További információ: Sémakövetkeztetés és -fejlesztés konfigurálása az Automatikus betöltőben.

Továbbfejlesztett indítási idő az automatikus betöltő streamekhez

Az automatikus betöltő streamek mostantól aszinkron módon hajtják végre a stream kezdeti visszatöltését az első indításkor, ami sokkal gyorsabb indítási időt eredményez a streamhez. Ez lehetővé teszi a kód gyors iterálását éles adatokkal, különösen akkor, ha több millió vagy milliárd fájlt tartalmazó könyvtárakból kell adatokat betöltődnie.

Emellett az újrainduló streamek rendszerindítási ideje is javult, mivel párhuzamosítottuk a RocksDB-fájlok letöltését és feltöltését, amelyeket az Auto Loader a pontosan egyszeri szemantika biztosításához használ.

Gyorsabb címtárlista az Automatikus betöltőben

Jelentősen javítottuk a címtárak automatikus betöltőben való listázásának hatékonyságát. Ennek a teljesítménybeli javulásnak az a mellékhatása, hogy a stream további listakéréseket bocsáthat ki a tárolórendszernek, ha nincs feldolgozandó új adat, ami a listakérések díjának megugrásához vezethet. Általános ajánlott eljárásként a Databricks azt javasolja, hogy állítson be ésszerű triggerintervallumot az éles streamelési folyamatokhoz. Lásd: Strukturált streamelés éles környezetben.

Csökkentett tárterület-terhelés az automatikus betöltő ellenőrzőpontok esetében

Az automatikus betöltő streamek mostantól automatikusan törlik az elavult fájlokat az ellenőrzőpont-könyvtárban aszinkron módon, hogy az ellenőrzőpont-könyvtár mérete ne nőjön határozatlan ideig, és csökkentse a tárolási költségeket.

Az automatikus betöltő tartalmazza a fájl elérési útját a mentett adatoszlopban, ha elérhető

A mentett adatoszlop automatikusan megadja a mentett adatok fájlelérési útját, ha az alkalmazható a nevesített _file_ pathoszlopban. Ez segíthet az adatminőségi problémák kiváltó okának nyomon követésében. Az oszlop nem szerepel, ha az adatséma tartalmaz egy .. nevű _file_pathoszlopot. Az SQL-konfigurációval spark.databricks.sql.rescuedDataColumn.filePath.name szükség esetén átnevezheti az oszlopot.

Az Automatikus betöltő támogatja a fájl átnevezését Azure Data Lake Storage Gen2 fájlértesítési módban

Az automatikus betöltő mostantól támogatja Azure Data Lake Storage Gen2 BlobRenamed eseményeit fájlértesítési módban való futtatáskor. Ha fájlértesítéseket tartalmazó átnevezési művelettel szeretné feldolgozni az Azure Data Lake Storage Gen2-tárolóba feltöltött fájlokat, indítsa el az új streamet az Automatikus betöltővel a Databricks Runtime 8.3 használatával. Annak biztosításához, hogy egy fájl feldolgozása pontosan egyszer történjen, győződjön meg arról, hogy az automatikus betöltő nem figyeli azt a forráskönyvtárat, amelyről a fájlt átnevezték.

Delta-táblák létrehozása új programozott API-kkal (nyilvános előzetes verzió)

Mostantól a DataFrame API-k használata nélkül is létrehozhat új Delta-táblákat programozott módon (Scala, Java és Python használatával). Az új DeltaTableBuilder és DeltaColumnBuilder API-k lehetővé teszik az SQL CREATE TABLEhasználatával megadható összes táblaadat megadását.

További információ: Tábla létrehozása.

Delta-táblaméretek helyes kiszámítása AZ SQL-ben ANALYZE

A meglévő elemzési logika helytelenül számítja ki a Delta-táblák táblaméretét, és helytelen mérettel frissíti a katalógust. A javítás egy Delta-tábla méretének lekérése a Delta-naplóból.

A RocksDB teljesítményének részletes metrikái a RocksDBStateStore használatakor

Ha a Structured Streaming-lekérdezést úgy konfigurálta, hogy a RocksDB-t használja állapottárolóként, mostantól jobban áttekintheti a RocksDB teljesítményét, részletes metrikákkal a késések, tömörítési késések, gyorsítótár-találatok stb. Ezek a metrikák a StreamingQueryProgressStreamingQueryListenerstreamelési lekérdezések figyelésére szolgáló API-kon keresztül érhetők el.

További információ: RocksDB state store metrics.

Automatikusan optimalizált írások

A particionált Delta-táblákra optimalizált írások mostantól automatikusan engedélyezve vannak az al lekérdezéseket tartalmazó lekérdezések frissítéséhez és törléséhez.

Gyűjtőbefoglalt illesztések engedélyezése, ha csak egy illesztés van gyűjtőben

Az új konfigurációk spark.databricks.sql.minBucketsForBucketedJoin akkor engedélyezik a gyűjtőbeillesztéseket, ha csak egy illesztőoldal van gyűjtőben, és a gyűjtők száma nem kisebb ennél a konfigurációs értéknél. Alapértelmezés szerint ez a konfigurációs érték megegyezik az alapértelmezett elosztási partíciószámmal (200).

Nagyobb biztonság a Spark UDF-ek definiálásakor (nyilvános előzetes verzió)

Felhasználói információs függvényekcurrent_user, és is_member az ideiglenes függvények, például Python spark.udf.register vagy SQL create or replace temp functionmár nem bírálhatók felül.

A sémaregisztrációs adatbázisba irányuló kérések száma csökkent a következővel rendelkező lekérdezések esetében: from_avro

A sémaregisztrációs adatbázis támogatásával rendelkező from_avro lekérdezések már nem hoznak létre annyi kérést a sémaregisztrációs adatbázis szolgáltatáshoz, ami üzemeltetési költségeket takarít meg.

Több eredmény az R-ben ListResults (nyilvános előzetes verzió) használatával

Databricks R-jegyzetfüzetek mostantól több eredményt is támogatnak az egyes cellákban. Korábban csak egyetlen eredmény jelenik meg az egyes jegyzetfüzetcellákhoz. Az R-jegyzetfüzetekben lévő egyetlen cella eredményei jelenleg a következő sorrendben jelennek meg:

  1. RShiny URL-címe
  2. Telek
  3. displayHTML-kimenetek
  4. Táblázatok
  5. Stdout

Könyvtárfrissítések

  • Frissített Python kódtár:
    • koalák frissítve 1.7.0-ról 1.8.0-ra.
    • a pandas 1.1.3-ról 1.1.5-re frissült.
    • Az s3transfer 0.3.4-ről 0.3.6-ra frissült.
  • Frissített R-kódtár:
    • A SparkR 3.1.1-ről 3.1.2-re frissült.
  • Frissített Java-kódtár:
    • mariadb-java-client 2.1.2 és 2.2.5 között.
    • parquet-column from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-encoding from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-hadoop 1.10.1-databricks6 és 1.10.1-databricks9 között
    • parquet-jackson 1.10.1-databricks6-tól 1.10.1-databricks9-hez

Apache Spark

Databricks Runtime 8.3 tartalmazza az Apache Spark 3.1.1-et. Ez a kiadás tartalmazza a Databricks Runtime 8.2 (nem támogatott) összes Spark-javítását és fejlesztéseit, valamint a Spark következő további hibajavításai és fejlesztései:

  • [SPARK-34614] [SQL] ANSI mód: A sztring logikai értékre történő kiosztása kivételt eredményez az elemzési hiba esetén
  • [SPARK-34246] [FOLLOWUP] A "findTightestCommonT...
  • [SPARK-35213] [SQL] A beágyazott struktúra helyes sorrendjének megtartása aField műveletekkel összekapcsolva
  • [SPARK-35096] [SQL] A sémafuttatásnak meg kell felelnie a spark.sql.caseSensitive konfigurációnak
  • [SPARK-35227] [BUILD] A SparkSubmit spark-csomagjainak feloldójának frissítése
  • [SPARK-35224] [SQL] Puffertúlcsordulás javítása a következőben: MutableProjectionSuite
  • [SPARK-34245] [CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem tudtak kész állapotot küldeni
  • [SPARK-34856] [SQL] ANSI mód: Összetett típusok sztringtípusként történő átírásának engedélyezése
  • [SPARK-34946] [SQL] Nem támogatott korrelált skaláris allekérdezés letiltása összesítve
  • [SPARK-35014] Kijavítottuk a PhysicalAggregation mintát, hogy ne írja át az összecsukható kifejezéseket
  • [SPARK-34769] [SQL] AnsiTypeCoercion: a legközelebbi con...

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (build: 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R 4.0.4-es verzió (2021-02-15)
  • Delta Lake 1.0.0

Telepített Python kódtárak

Kódtár Verzió Kódtár Verzió Kódtár Verzió
appdirs 1.4.4 asn1crypto 1.4.0 visszahívás 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
minősítés 2020.12.5 cffi 1.14.3 karakterkészlet 3.0.4
Titkosítás 3.1.1 cycler 0.10.0 Cython 0.29.21
Dekoratőr 4.4.2 distlib 0.3.1 docutils 0.15.2
belépési pontok 0.3 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalák 1.8.0 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
Kérelmek 2.24.0 Újrapróbálkozás 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 tengeri 0.10.0
setuptools 50.3.1 Hat 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 Tornádó 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
Kerék 0.35.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből települnek 2020.11.02-én.

Kódtár Verzió Kódtár Verzió Kódtár Verzió
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-27 brew 1.0-6 Brio 1.1.0
broom 0.7.2 callr 3.5.1 kalap jel 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-18
cli 2.2.0 clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 hitelesítő adatok 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
adathalmazok 4.0.4 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 Forge 0.2.0
Fs 1.5.0 Jövőben 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 Grafikák 4.0.4
grDevices 4.0.4 grid 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
labeling 0.4.2 Később 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 Életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53.1 Mátrix 1.3-2
memoise 1.1.0 methods 4.0.4 mgcv 1.8-33
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
párhuzamosan 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 Ígér 1.1.1 proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 spatial 7.3-11 splines 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.4
usethis 2.0.0 utf8 1.1.4 utils 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-árnyékolt 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natívok 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3,1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-elemzők 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3,1
commons-io commons-io 2,4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3,1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Hangya 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyílvektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metaadattár 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity sebesség 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus közönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-biztonság 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-eszközök 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernált-érvényesítő 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Alátéteket 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp szellő-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework tavaszi teszt 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52