Databricks Runtime 8.4 (nem támogatott)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.2-es verzióján alapuló Databricks Runtime 8.4-es és Databricks Runtime 8.4 Photon-ről nyújtanak információkat. Databricks 2021 júliusában adta ki ezeket a képeket. A Photonnyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

A Delta Lake funkciói és fejlesztései

Delta-tábla változási adatcsatornája (GA)

A Delta-tábla változási adatcsatornája mostantól általánosan elérhető. Ez a tábla különböző verziói közötti sorszintű változásokat jelöli. Ha engedélyezve van, a rendszer további információkat rögzít a tábla minden írási műveletének sorszintű változásairól. Lásd: Adatcsatorna módosítása.

Megosztott Delta-táblák egyszerű betöltése Databricks Runtime használatával

Az Apache Spark Connector for Delta Sharing 0.1.0 mostantól Databricks Futtatókörnyezetben érhető el. A megosztott táblákat spark.read.format("deltaSharing").load(uri) közvetlenül is betöltheti anélkül, hogy a Delta Sharing Spark-összekötőt a fürthöz csatolja.

Több tábla esetében előnyös a dinamikus fájltörlés

A dinamikus fájltörlési funkció úgy lett hangolva, hogy kevesebb fájlt tartalmazó táblákon aktiváljon. Lásd: Dinamikus fájltörlés.

Jobb teljesítmény a célfájl automatikus mérethangolásával

A Delta-táblák célfájlmérete mostantól automatikusan a tábla mérete alapján van hangolva. Korábban a célfájl mérete OPTIMIZEOPTIMIZE ZORDER BY 1 GB volt. A táblázatméreten alapuló automatikustuning esetén a Delta-táblák legfeljebb 2,56 TB-os mérete 256 MB lesz a célméret. A 10 TB-nál nagyobb táblák a korábbiakhoz hasonlóan 1 GB-ot fognak használni. Az ilyen méretű táblák a táblázat méretével arányosan növekvő célméreteket használnak. Lásd: Fájlméret finomhangolása.

További módszerek a táblák megadására a következőben: DeltaTable.forName

DeltaTable.forName now supports using delta.`<path>` to identify tables.

Robusztus streamelési többtáblás írások a használatával foreachBatch

Mostantól támogatottak az idempotens Delta-streamelési írások a foreachBatch() parancson belül. Részletekért lásd: Idempotens többtáblás írások.

Javítottuk az olvasási lekérdezések teljesítményét bizonyos számítási feladatokban a hangolt ellenőrzőpontok miatt

A Delta Lake mostantól hangolja, hogy milyen gyakran végez továbbfejlesztett ellenőrzőpontokat. Az ellenőrzőpont-beállítás helyett a Delta mostantól dinamikusan módosítja az ellenőrzőpont gyakoriságát bizonyos eseményindítók alapján. Ez javítja az olvasási lekérdezések teljesítményét azokban a számítási feladatokban, ahol bizonyos adatkihagyási optimalizálást korábban nem lehetett alkalmazni. Az optimalizálások használatához frissítse a Delta Lake-be írt feladatokat Databricks Runtime 8.4-re. Tekintse meg az alacsony késésű lekérdezések továbbfejlesztett ellenőrzőpontjait.

Létrehozás GroupState a felhasználó által definiált strukturált streamelési függvények teszteléséhez

Eddig csak a structured Streaming motor tudott létrehozni példányokat a GroupState. Ezért a felhasználó által definiált függvény egységtesztjeihez streamelési lekérdezést kellett futtatni az Apache Sparkban.

Most már létrehozhatja a GroupState használat TestGroupState.create(…)példányait. Ez lehetővé teszi egy felhasználó által definiált függvény tesztelését olyan egyszerű egységtesztekben, amelyekhez nincs szükség a Spark futtatására. Lásd: Tesztállapot-frissítési függvény. Pontosabban olyan típusú TestGroupState példányokat állít elő, amelyek a felhasználói függvény alkalmazása után további metódusokkal bővítik ki a felületet GroupState a belső állapot bevezető módszereivel.

Az automatikus betöltő funkciói és fejlesztései

A visszatöltés konfigurálása a kihagyott fájlok rögzítéséhez

Az automatikus betöltő mostantól támogatja a visszatöltések aszinkron módon történő végrehajtását, hogy rögzítse azokat a fájlértesítések által kihagyott fájlokat. A fájlrendszerek és az értesítési rendszerek nem garantálják az összes fájlesemény 100%-os kézbesítését. Ezért Databricks azt javasolja, hogy engedélyezze a rendszeres visszatöltéseket az összes adat automatikus betöltővel történő rögzítéséhez. Ezzel a cloudFiles.backfillInterval beállítással rendszeres visszatöltéseket ütemezhet az adatokon. Lásd az automatikus betöltő gyakori beállításait.

Kötött tárterület nagy mennyiségű streamekhez

Most már konfigurálhatja az automatikus betöltőt úgy, hogy lejárjon, és eltávolítson bejegyzéseket a RocksDB-ben, hogy az az ellenőrzőpont-helyen kötötte a tárhelyigényét. Databricks nem javasolja, hogy csak akkor használja az adatokat, ha óránként több millió fájlból álló sorrendben betölti az adatokat. A beállítás helytelen beállítása vagy a hangolás megkísérlése számos adatminőségi problémát okozhat, például a feldolgozatlan fájlok figyelmen kívül hagyását vagy egyes fájlok duplikálását ahelyett, hogy pontosan egyszer dolgozták volna fel. Részletekért tekintse meg az eseménymegőrzést ismertető cikket.

Egyszerűsített konfiguráció útvonal nélküli támogatással

S3-gyűjtők

Most már megadhatja azt az SQS-üzenetsort, amely több útvonalról vagy S3-gyűjtőből fogad eseményeket. Ha megadja az SQS-üzenetsor URL-címét, a path beállítás nem szükséges ehhez a használati esethez. Az Automatikus betöltő S3-útvonalakat hoz létre az S3-események gyűjtőjének és kulcsának használatával. Ha a fájlokat a DBFS csatlakoztatási pontjain keresztül szeretné olvasni, cloudFiles.pathRewrites módosíthatja az elérésiút-előtagokat DBFS-re. Erre csak akkor van szükség, ha különböző fiókok adataihoz fér hozzá a következővel AssumeRole: .

Lásd: Fájlértesítési beállítások.

tárolók Azure Data Lake Storage Gen2

Most már megadhatja azt az Azure-üzenetsort, amely több tárolóból fogad eseményeket. Ha megadja az Azure-üzenetsor nevét, a path beállításra nincs szükség. Az Automatikus betöltő alapértelmezés szerint Azure Data Lake Storage Gen2 elérési utakat hoz létre a tároló és a kulcs használatával a fájleseményekben. Ha WASB-elérési utakat vagy DBFS-csatlakoztatási pontokat szeretne használni, módosíthatja cloudFiles.pathRewrites az elérésiút-előtagokat.

Lásd: Fájlértesítési beállítások.

Összekötő frissítései

  • A Snowflake Spark-összekötő frissítve lett a 2.9.0-s verzióra.
  • KMS titkosítás mostantól támogatott a UNLOAD Redshift-összekötő utasításában.

Hibajavítások

  • Kijavítottunk egy hibát a táblahozzáférés-vezérléssel engedélyezett fürtök esetében, ahol select * from folder a mappatartalom akkor is megjeleníthető, ha a felhasználónak nincs fájlhozzáférés-engedélye.
  • A nem rendszergazdai adatbázis-tulajdonosok mostantól nem saját tulajdonú táblákat is elvethetnek az adatbázisokban. Ez kijavítja azt a hibát, amely miatt az adatbázis tulajdonosai nem tudtak elvetni egy adatbázist, ha az adatbázisban nem voltak saját táblák.

Könyvtárfrissítések

  • Frissített Python kódtárak:
    • 2020.12.5-től 2021.5.30-ra frissített minősítés
    • desztillálás a 0.3.1-ről a 0.3.2-re frissítve
    • koalas frissítve 1.8.0-ról 1.8.1-re
    • protobuf frissítve 3.17.0-ról 3.17.3-ra
  • Frissített R-kódtárak:
    • alap 4.0.4 és 4.1.0 között
    • rendszerindítás 1.3-27-ről 1.3-28-ra
    • osztály 7,3-18-7,3-19
    • fürt 2.1.1–2.1.2 között
    • fordító 4.0.4–4.1.0 között
    • adatkészletek 4.0.4–4.1.0 között
    • 4.0.4 és 4.1.0 közötti grafikus elemek
    • grDevices 4.0.4–4.1.0 között
    • rács 4.0.4 és 4.1.0 között
    • KernSmooth 2.23-18-tól 2.23-20-ra
    • Rács 0,20-41 és 0,20-44 között
    • TÖMEG 7,3-53,1 és 7,3-54 között
    • Mátrix 1,3-2 és 1,3-3 között
    • metódusok 4.0.4–4.1.0 között
    • mgcv 1,8-33 és 1,8-35 között
    • nnet 7,3-15 és 7,3-16 között
    • párhuzamos 4.0.4 és 4.1.0 között
    • Rserve 1,8-7-1,8-8
    • SparkR 3.1.1–3.1.2 között
    • splines from 4.0.4 to 4.1.0
    • 4.0.4 és 4.1.0 közötti statisztikák
    • statisztikák4 4.0.4 és 4.1.0 között
    • túlélés 3,2-7 és 3,2-11 között
    • tcltk 4.0.4–4.1.0 között
    • 4.0.4–4.1.0 közötti eszközök
    • 4.0.4 és 4.1.0 közötti eszközök
  • Frissített Java-kódtárak:
    • snowflake-jdbc 3.12.8-tól 3.13.3-ig
    • spark-snowflake_2.12 2.8.1-spark_3.0 és 2.9.0-spark_3.1 között
    • RoaringBitmap 0.9.0 és 0.9.14 között
    • 0.9.0 és 0.9.14 közötti sínek
    • rocksdbjni a 6.2.2-től a 6.20.3-osig

Apache Spark

Databricks Runtime 8.4 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.3 (nem támogatott) összes Spark-javítását és fejlesztéseit, valamint a Spark következő további hibajavításai és fejlesztései:

  • [SPARK-35792] [SQL] A nézet nem rögzítheti a következőben használt konfigurációkat: RelationConversions
  • [SPARK-35700] [SQL] Read char/varchar orc table with created and written by external systems
  • [SPARK-35636] [SQL] A Lambda-kulcsra nem szabad a lambda függvényen kívül hivatkozni
  • [SPARK-35800] [Cherry Pick] A GroupState tesztelhetőségének javítása a TestGroupState bevezetésével
  • [SPARK-35391] Memóriavesztés javítása az ExecutorAllocationListenerben
  • [SPARK-35799] [CherryPick] Az allUpdatesTimeMs metrika javítása a FlatMapGroupsWithStateExec alkalmazásban
  • [SPARK-35763] [SS] A StateStoreCustomMetric alosztály enumerálási függőségének eltávolítása
  • [SPARK-35791 [SQL] A null értékű ANTI illesztéshez megfelelő folyamatban lévő leképezés kiadása
  • [SPARK-35695] [SQL] Megfigyelt metrikák gyűjtése gyorsítótárazott és adaptív végrehajtási alfákból
  • [SPARK-35767] [SQL] Kerülje a gyermekcsomag kétszeri végrehajtását a CoalesceExecben
  • [SPARK-35746] [UI] A feladatazonosító javítása a fázislap tevékenységesemény-ütemtervében
  • [SPARK-35673] [SQL] Kijavítottuk a felhasználó által definiált tippeket és a nem felismert tippeket a rész lekérdezésekben.
  • [SPARK-35714] [CORE] Hibajavítás holtponthoz a végrehajtó leállítása során
  • [SPARK-35689] [SS] Napló figyelmeztetés hozzáadása, ha a keyWithIndexToValue null értéket ad vissza
  • [SPARK-35589] [CORE][3.1] A BlockManagerMasterEndpoint nem hagyhatja figyelmen kívül a csak indexelt shuffle fájlt frissítés közben
  • [SPARK-35643] [PYTHON] Kijavítottuk functions.py oszlop() nem egyértelmű hivatkozását
  • [SPARK-35652] [SQL] joinWith két táblán, amely ugyanabból az egyből jön létre
  • [SPARK-35679] [SQL] instantToMicros túlcsordulás
  • [SPARK-35602] [SS] Az állapotséma frissítése a hosszú JSON elfogadásához
  • [SPARK-35653] [SQL] Kijavítottuk a CatalystToExternalMap értelmezett elérési útját, amely nem működik kulcsként vagy értékként az esetosztályokkal rendelkező map esetében
  • [SPARK-35296] [SQL] Lehetővé teszi, hogy a Dataset.observe akkor is működjön, ha egy feladatban a CollectMetricsExec több partíciót kezel.
  • [SPARK-35659] [SS] Ne írjon null értéket a StateStore-ba
  • [SPARK-35665] [SQL] UnresolvedAlias feloldása a CollectMetricsben
  • [SPARK-35558] Optimalizálja a többkvantilis lekérést
  • [SPARK-35621] [SQL] Szabályazonosító-törlés hozzáadása a TypeCoercion szabályhoz
  • [SPARK-35077] [SQL] Migrálás a transformWithPruning szolgáltatásba a maradék optimalizálási szabályokhoz
  • [SPARK-35610] [CORE] A végrehajtó leállási horogja által bevezetett memóriavesztés javítása
  • [SPARK-35544] [SQL] Faminta-metszés hozzáadása az Analyzer-szabályokhoz
  • [SPARK-35566] [SS] StateStoreRestoreExec kimeneti sorok javítása
  • [SPARK-35454] [SQL][3.1] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
  • [SPARK-35538] [SQL] TransformAllExpressions hívási webhelyek migrálása a transformAllExpressionsWithPruning használatához
  • [SPARK-35106] [Core][SQL] A célkönyvtár által okozott sikertelen átnevezés elkerülése
  • [SPARK-35287] [SQL] Engedélyezze a RemoveRedundantProjects számára a ProjectExec megőrzését, amely a DataSourceV2ScanRelation unsafeRow-t hozza létre
  • [SPARK-35495] [R] SparkR-karbantartó módosítása a CRAN-hoz
  • [SPARK-27991] [CORE] A beolvasási kérelem elhalasztása a Netty OOM-on
  • [SPARK-35171] [R] Deklarálja a Markdown-csomagot a SparkR-csomag függőségeként
  • [SPARK-35454] [SQL] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
  • [SPARK-35298] [SQL] Migrálás transformWithPruning for rules in Optimizer.scala
  • [SPARK-35480] [SQL] Percentile_approx használata kimutatással
  • [SPARK-35093] [SQL] Az AQE mostantól a newQueryStage csomagot használja kulcsként a gyorsítótárazott exchange-eknek az újbóli használathoz való keresésekor
  • [SPARK-35146] [SQL] Migrálás transformWithPruning vagy resolveWithPruning for rules in finishAnalysis.scala
  • [SPARK-35411] [SQL] Alapvető információk hozzáadása a TreeNode json-hoz való szerializálása során
  • [SPARK-35294] [SQL] Fabejárási metszés hozzáadása szabályokhoz dedikált fájlokkal az optimalizáló alatt
  • [SPARK-34897] [SQL][3.1] A sémák egyeztetésének támogatása a beágyazott oszloptörlés utáni index alapján
  • [SPARK-35144] [SQL] Migrálás a transformWithPruning objektumszabályokhoz
  • [SPARK-35155] [SQL] Szabályazonosító-törlés hozzáadása az Analyzer-szabályokhoz
  • [SPARK-35382] [PYTHON] A lambda változónévvel kapcsolatos problémák megoldása Python API-k beágyazott DataFrame-függvényeiben.
  • [SPARK-35359] [SQL] A karakter/varchar adattípusú adatok beszúrása sikertelen lesz, ha az adathossz meghaladja a hosszkorlátozást
  • [SPARK-35381] [R] Lambda változónévvel kapcsolatos problémák megoldása beágyazott magasabb rendű függvényekben az R API-kban

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta-tó 1.0.0

Telepített Python kódtárak

Kódtár Verzió Kódtár Verzió Kódtár Verzió
appdirs 1.4.4 asn1crypto 1.4.0 visszahívás 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
minősítés 2021.5.30 cffi 1.14.3 karakterkészlet 3.0.4
Titkosítás 3.1.1 cycler 0.10.0 Cython 0.29.21
Dekoratőr 4.4.2 distlib 0.3.2 docutils 0.15.2
belépési pontok 0.3 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalák 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
Kérelmek 2.24.0 Újrapróbálkozás 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 tengeri 0.10.0
setuptools 50.3.1 Hat 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 Tornádó 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
Kerék 0.35.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből települnek 2020.11.02-én.

Kódtár Verzió Kódtár Verzió Kódtár Verzió
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 Brio 1.1.0
broom 0.7.2 callr 3.5.1 kalap jel 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 hitelesítő adatok 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
adathalmazok 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 Forge 0.2.0
Fs 1.5.0 Jövőben 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 Grafikák 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
labeling 0.4.2 Később 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 Életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Mátrix 1.3-3
memoise 1.1.0 methods 4.1.0 mgcv 1.8-35
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
párhuzamosan 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 Ígér 1.1.1 proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-árnyékolt 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3,1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-elemzők 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3,1
commons-io commons-io 2,4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3,1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Hangya 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyílvektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kódolás 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-biztonság 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-eszközök 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernált-érvényesítő 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp szellő-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework tavaszi teszt 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52