Databricks Runtime 7.2 (nepodporované)
Databricks vydal tento obrázek v srpnu 2020.
Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 7.2, který využívá Apache Spark 3.0.
Nové funkce
Databricks Runtime 7.2 obsahuje následující nové funkce.
Automatický zavaděč je obecně dostupný.
Auto Loader je efektivní metoda přírůstkového ingestování velkého počtu souborů do Delta Lake. Nyní je obecně dostupná a přidává následující funkce: výpis adresářů, rozhraní API pro správu cloudových prostředků, možnost omezování rychlosti a ověřování možností.
Možnost režimu výpisu adresáře
Automatický zavaděč přidá kromě existujícího režimu oznámení souborů nový režim výpisu adresáře pro určení, kdy existují nové soubory.
- Režim výpisu adresáře: V některých scénářích je potřeba pravidelně streamovat pouze několik souborů. V těchto případech je identifikace nových souborů paralelním výpisem vstupního adresáře a jejich ingestování přiměřeně efektivní. To vám umožní spustit streamy automatického zavaděče bez jakékoli konfigurace oprávnění. Režim výpisu adresáře je výchozím režimem automatického zavaděče z Databricks Runtime 7.2 a vyšší.
- Režim oznámení souboru: Můžete explicitně vyjádřit výslovný souhlas s režimem oznámení souboru, který je výkonnější a škálovatelný pro velké vstupní adresáře, ale vyžaduje, abyste nakonfigurovali oprávnění pro službu oznámení pro přihlášení k odběru událostí souborů a nastavení
.option("cloudFiles.useNotifications", "true"). Stávající streamy automatického zavaděče spuštěné v Databricks Runtime 7.1 a níže se automaticky přihlásí k režimu oznámení souborů při upgradu na Databricks Runtime 7.2.
Další informace najdete v tématu Co je automatický zavaděč?.
Rozhraní API pro správu cloudových prostředků
K správě cloudových prostředků vytvořených automatickým zavaděčem teď můžete použít naše rozhraní Scala API. Pomocí tohoto rozhraní API můžete vypsat služby oznámení a odstranit konkrétní služby oznámení. Další informace najdete v tématu Ruční konfigurace nebo správa prostředků oznámení o souborech.
Možnost omezování rychlosti
Pomocí této možnosti teď cloudFiles.maxBytesPerTrigger můžete omezit množství dat zpracovávaných v jednotlivých mikrobatchech. Můžete zadat bajtový řetězec, například 10g omezit jednotlivé mikrobatchy na 10 GB dat. Jedná se o měkké maximum. Pokud máte soubory, které jsou 3 GB, Azure Databricks zpracuje 12 GB v mikrobatchu. Tato možnost nemá žádný vliv při použití s Trigger.Once(). Pokud tato možnost není zadána, použije se výchozí hodnota cloudFiles.maxFilesPerTrigger 1 000 souborů pro omezování rychlosti. Při použití společně s cloudFiles.maxFilesPerTriggerAzure Databricks využívá až nejnižší limit cloudFiles.maxFilesPerTrigger nebo cloudFiles.maxBytesPerTrigger, podle toho, co je dosaženo jako první.
Další informace najdete v tématu Co je automatický zavaděč?.
Ověření možností
Automatický zavaděč teď ověří možnosti, které zadáte. Pokud zadáte neznámou možnost, automaticky zavaděč vrátí místo bezobslužného ignorování této možnosti chybu. Ověření také rozpozná nekonzistence ve vašich zadaných možnostech. Pokud například nastavíte cloudFiles.useNotificationsfalse a současně zadáte možnosti oprávnění pro služby Azure Event Grid a Queue Storage, validation nezdaří se. Pokud chcete přeskočit ověřování možností, nastavte cloudFiles.validateOptions na falsehodnotu .
Změny výchozích hodnot možností a kompatibility
Výchozí chování některých možností automatického zavaděče se změnilo v Databricks Runtime 7.2. Aby se zajistila kompatibilita, chování datových proudů spuštěných v Databricks Runtime 7.1 a níže zůstane beze změny i po upgradu na spouštění takových datových proudů v clusteru s modulem Databricks Runtime 7.2 nebo novějším. Podívejte se, co je automatický zavaděč?
Efektivní kopírování tabulky Delta pomocí clone (Public Preview)
Pomocí příkazu teď můžete efektivně vytvořit mělký nebo hluboký klon tabulky Delta v clone konkrétní verzi. Přímý klon je samostatný klon tabulky Delta, který je tvořen kopírováním souborů paralelně ze zdrojové tabulky do cílové tabulky. Mělký klon je levně vytvořený klon, který nekopíruje soubory do cílové tabulky, ale odkazuje na soubory v původní tabulce. Jakékoli změny provedené v hlubokém nebo mělkém klonu ovlivní pouze klon, nikoli původní tabulku. Viz Klonování tabulky v Azure Databricks.
Vylepšení
Konektor Snowflake: Konektor byl upgradován na verzi 2.8.1, která zahrnuje podporu Sparku 3.0.
Použitelnost PySpark: Když selže UDF PySpark nebo pandas, Azure Databricks teď v horní části chybové zprávy zobrazí výjimku na straně Pythonu a naposledy spuštěný řádek kódu poznámkového bloku (pokud je k dispozici).
Předávání přihlašovacích údajů:
- Transformační funkci LDA teď můžete použít v clusteru s povoleným předáváním.
- Teď můžete nastavit adresář kontrolního bodu úložiště v clusteru s povoleným průchodem.
Knihovny clusteru: Azure Databricks teď zpracovává všechny knihovny clusteru v pořadí, v jakém byly nainstalované v clusteru. V Databricks Runtime 7.1 a níže byly zpracovány pouze knihovny Maven a CRAN v pořadí, v jakém byly nainstalovány v clusteru. Ostatní knihovny byly nainstalovány v nedeterministickém pořadí.
TensorBoard:
- Správa procesů TensorBoardu
tensorboard.notebookpomocí rozhraní API - V jednom clusteru můžete mít spuštěných více back-endů TensorBoardu.
- V poznámkových blocích Pythonu zobrazte uživatelské rozhraní TensorBoard pomocí
%tensorboardpříkazu magic řádku. dbutils.tensorboardje zastaralý.
Viz TensorBoard.
- Správa procesů TensorBoardu
Upgradované knihovny Pythonu:
- jmespath upgradoval z verze 0.9.4 na 0.10.0.
- koalas upgradoval z verze 1.0.1 na 1.1.0.
Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.
Apache Spark
Databricks Runtime 7.2 zahrnuje Apache Spark 3.0.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 7.1 (nepodporované) a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-32234] [SQL] Příkazy Spark SQL selhávají při výběru tabulek orc
- [SPARK-30616] [SQL] Zavedení možnosti konfigurace hodnoty TTL pro mezipaměť metadat SQL
- [SPARK-21117] [SQL] Integrovaná podpora funkcí SQL – WIDTH_BUCKET
- [SPARK-32168] [SQL] Oprava chyby správnosti dělení skrytých oddílů v přepsání SQL
- [SPARK-31935] Konfigurace systému souborů Hadoop by měla být efektivní v možnostech zdroje dat.
- [SPARK-32270] [SQL] Použití TextFileFormat ve odvození schématu CSV s jiným kódováním
- [SPARK-28481] [SQL] Další výrazy by měly rozšířit Hodnotu NullIntolerant.
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Tip by neměl měnit výsledek spojení nekatézského produktu
- [SPARK-32232] [ML] [PYSPARK] Ujistěte se, že ml obsahuje stejné výchozí hodnoty řešitele mezi Jazykem Scala a Pythonem.
- [SPARK-32238] [SQL] Použití Utils.getSimpleName, abyste se vyhnuli dosažení chybných názvů tříd v scalaUDF
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Tip by neměl měnit výsledek spojení nekatézského produktu
- [SPARK-32256] [SQL] Vynucení inicializace Hadoop VersionInfo v HiveExternalCatalog
- [SPARK-32159] [SQL] Oprava integrace mezi agregátorem[Pole[_], _, _] a UnresolvedMapObjects
- [SPARK-32160] [JÁDRO] [PYSPARK] Zakázat vytvoření SparkContextu v exekutorech
- [SPARK-32168] [SQL] Oprava chyby správnosti dělení skrytých oddílů v přepsání SQL
- [SPARK-32024] [WEBI] Aktualizace ApplicationStoreInfo.size během inicializace HistoryServerDiskManager
- [SPARK-32214] [SQL] Funkce převodu typů vygenerovaná v makeFromJava pro jiný typ používá nesprávnou proměnnou.
- [SPARK-30703] [SQL] Aktualizace neplatného komentáře k SqlBase.g4
- [SPARK-32163] [SQL] Vnořené vyřazování by mělo fungovat i s kosmetickými variacemi
- [SPARK-32124] [JÁDRO] Použití neplatné hodnoty Int.MinValue k vyplnění indexu mapy při protokolech událostí ze staré verze Sparku
- [SPARK-32167] [SQL] Oprava GetArrayStructFields, aby se respektovala nulovost vnitřního pole
- [SPARK-32130] [SQL] Povolení odvození časových razítek ve značce JsonBenchmark
- [SPARK-32121] [SHUFFLE] Podpora operačního systému Windows v ExecutorDiskUtils
- [SPARK-32130] [SQL] Ve výchozím nastavení zakažte možnost
inferTimestampJSON. - [SPARK-31935] [SQL] Konfigurace systému souborů Hadoop by měla být efektivní v možnostech zdroje dat.
- [SPARK-32095] [SQL] Aktualizace dokumentace tak, aby odrážela využití aktualizovaných statistik
- [SPARK-32131] [SQL] Oprava zpráv AnalysisException v operacích UNION/EXCEPT/MINUS
- [SPARK-32068] [WEBI] Oprava problému s lauchtime úlohou kvůli časovému pásmu na kartě Fáze
- [SPARK-29999] [SS] Oprava testu pro kontrolu skutečného adresáře protokolu metadat
- [SPARK-32127] [SQL] Kontrola pravidel funkce MERGE INTO by měla používat jinou funkci MergeAction.conditition než MergeAction.children.
- [SPARK-32038] [SQL] Make the alias name pretty after float/double normalization
- [SPARK-32126] [SS] Scope Session.active in IncrementalExecution
- [SPARK-32115] [SQL] Oprava podřetěžce pro zpracování přetečení celých čísel
- [SPARK-32098] [PYTHON] Použití prvku iloc pro poziční řezy místo přímého řezu v objektu createDataFrame se šipkou
- [SPARK-32080][SPARK-31998] [SQL] Zjednodušení přístupového objektu ArrowColumnVector ListArray
- [SPARK-32028] [WEBI] Oprava odkazu ID aplikace pro více pokusů na stránce souhrnu historie
- [SPARK-31918] [R] Ignorujte obecné metody S4 v oboru názvů SparkR při čištění uzavření pro podporu R 4.0.0+
- [SPARK-32038] [SQL] NormalFloatingNumbers by také měly fungovat na odlišné agregaci.
- [SPARK-32034] [SQL] Port HIVE-14817: Při vypnutí časového limitu SessionManageru vypněte správně vlákno SessionManager
- [SPARK-32021] [SQL] Zvýšení přesnosti sekund a zlomků
make_interval - [SPARK-31980] [SQL] Funkce sequence() selže, pokud jsou počáteční a koncová oblast rovna kalendářním datům
- [SPARK-32020] [SQL] Lepší chybová zpráva, když není nastavena SPARK_HOME nebo spark.test.home
- [SPARK-32011] [PYTHON] [JÁDRO] Odebrání upozornění na režimy připnutí vlákna a průvodce používáním collectWithJobGroup
Aktualizace údržby
Viz aktualizace údržby Databricks Runtime 7.2.
Prostředí systému
- Operační systém: Ubuntu 18.04.4 LTS
- Java: 1.8.0_252
- Scala: 2.12.10
- Python: 3.7.5
- R: R verze 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Nainstalované knihovny Pythonu
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | Certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | Kryptografie | 2.8 | Cyklovač | 0.10.0 |
| Cython | 0.29.15 | Dekoratér | 4.4.1 | docutils | 0.15.2 |
| vstupní body | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | verizonsolver | 1.1.0 | Koaly | 1.1.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.5.2 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 0.15.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | žádosti | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | Šest | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | Tornádo | 6.0.3 | vlastnosti | 4.3.3 |
| bezobslužné upgrady | 0,1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | Kolo | 0.34.2 |
Nainstalované knihovny jazyka R
Knihovny R se instalují ze snímku Microsoft CRAN na 14. 7. 2020.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bitové | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| startování | 1.3-25 | Vařit | 1.0-6 | Koště | 0.7.0 |
| volající | 3.4.3 | caret | 6.0-86 | cellranger | 1.1.0 |
| chron | 2.3-55 | class | 7.3-17 | Rozhraní příkazového řádku | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| barevný prostor | 1.4-1 | commonmark | 1,7 | – kompilátor | 3.6.3 |
| config | 0.3 | covr | 3.5.0 | Pastelka | 1.3.4 |
| Crosstalk | 1.1.0.1 | Curl | 4.3 | data.table | 1.12.8 |
| Power BI | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| Desc | 1.2.0 | devtools | 2.3.0 | Digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0,14 | tři tečky | 0.3.1 |
| evaluate | 0,14 | fanynky | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| Zahraniční | 0.8-76 | Forge | 0.2.0 | Fs | 1.4.2 |
| Generik | 0.0.2 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.12.5 |
| Lepidlo | 1.4.1 | Gower | 0.2.2 | Grafika | 3.6.3 |
| grDevices | 3.6.3 | Mřížky | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Útočiště | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | Iterátory | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | pletení | 1,29 |
| Označování | 0.3 | Později | 1.1.0.1 | Mříže | 0.20-41 |
| Láva | 1.6.7 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1,1 |
| MASS | 7.3-51.6 | Matrice | 1.2-18 | memoise | 1.1.0 |
| metody | 3.6.3 | mgcv | 1.8-31 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-147 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | Pilíř | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | Chvála | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | Průběh | 1.2.2 | Sliby | 1.1.1 |
| proto | 1.0.0 | Ps | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | Analýza rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl | 1.3.1 |
| recepty | 0.1.13 | Zápas | 1.0.1 | rematch2 | 2.1.2 |
| vzdálená zařízení | 2.1.1 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest | 0.3.5 | Váhy | 1.1.1 | selektor | 0.4-2 |
| sessioninfo | 1.1.1 | Obrazec | 1.4.4 | Lesklé | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| Prostorové | 7.3-11 | Křivky | 3.6.3 | sqldf | 0.4-11 |
| ČTVEREC | 2020.3 | Statistiky | 3.6.3 | Statistiky 4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | Přežití | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0,24 | tools | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | Uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | vousa | 0,4 |
| withr | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | podpora aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.kofein | Kofein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | nativní native_ref javy | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | nativní native_system javy | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metriky – jádro | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metriky – servlety | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | šipka – paměť | 0.15.1 |
| org.apache.arrow | arrow-vector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.kurátor | kurátor-client | 2.7.1 |
| org.apache.kurátor | kurátor-framework | 2.7.1 |
| org.apache.kurátor | kurátor-recepty | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | Hive – společné | 2.3.7 |
| org.apache.hive | Hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubační |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | kódování parquet | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | rychlost | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | cílové skupiny a poznámky | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | pokračování jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | žerzejové společné | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | Hibernate-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Podložky | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Nepoužité | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | kočky-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | makro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |