Databricks Runtime 10.3

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.3 a Databricks Runtime 10.3 Photon využívající Apache Spark 3.2.1. Photon je ve verzi Public Preview. Databricks tyto image vydali v únoru 2022.

Nové funkce a vylepšení

Zapisovače Parquet a Avro teď používají časové pásmo relace při opětovném použití časových razítek ve zdrojích dat Parquet.

Zapisovače Parquet a Avro teď používají časové pásmo relace, zatímco časové razítko se přebazuje v legacy režimu místo použití výchozího časového pásma JVM. Časové pásmo relace je ve výchozím nastavení nastavené na časové pásmo JVM.

Nové funkce v SQL Sparku

V této verzi jsou nyní podporovány následující funkce SQL Sparku:

Hromadná korespondence s nízkými shufflemi je teď obecně dostupná.

Příkaz Delta MERGE INTO používá metodu s názvem nízké sloučení shuffle, což snižuje shuffling unmodifikovaných řádků. Tím se zlepší výkon příkazu a pomůže zachovat existující clustering v tabulce, například řazení Z. Tato funkce byla zavedena v Databricks Runtime 9.0 pro Public Preview a nyní dosáhla obecné dostupnosti. Chcete-li povolit sloučení s nízkým shufflem, nastavte spark.databricks.delta.merge.enableLowShuffle na truehodnotu . Viz Nízká sloučení shuffle.

Nové funkce COPY INTO: režim ověřování a vývoj schématu

Režim ověřování: COPY INTO Nyní podporuje VALIDATE režim, ve kterém se data, která se mají načíst do tabulky, ověřují, ale nejsou zapsána do tabulky. Mezi tato ověření patří:

  • Jestli se data dají analyzovat.
  • Bez ohledu na to, jestli schéma odpovídá tabulce, nebo jestli se schéma musí vyvíjet.
  • Zda jsou splněna všechna omezení null a kontroly.

Příklad použití:

COPY INTO <table>
FROM <path_to_files>
FILEFORMAT = <format>
VALIDATE [ALL | <num_rows> ROWS]

Výchozí možností je ověřit všechna data, která se mají načíst. Můžete zadat několik řádků, které se mají ověřit klíčovým slovem ROWS , například VALIDATE 15 ROWS. Příkaz COPY INTO vrátí náhled dat o 50 řádcích nebo méně, pokud se s klíčovým slovem ROWS použije více než 50.

Vývoj schématu: COPY INTO Nyní podporuje vývoj schématu mergeSchema s možností v COPY_OPTIONS. Pokud chcete vyvíjet schéma tabulky, musíte mít OWN oprávnění k tabulce.

Příklad použití:

COPY INTO <table>
FROM <path_to_files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Viz COPY INTO.

Sloupce identit se teď podporují v tabulkách Delta (Public Preview)

Delta Lake teď podporuje sloupce identit. Při zápisu do tabulky Delta, která definuje sloupec identity a nezadáte hodnoty pro tento sloupec, Delta teď automaticky přiřadí jedinečnou a statisticky rostoucí nebo klesající hodnotu. Viz CREATE TABLE [USING].

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • distlib od 0.3.3 do 0.3.4
    • souborlock od 3.4.0 do 3.4.2
    • numpy od 1.19.2 do 1.20.1
    • plotly od 5.3.1 do 5.5.0
  • Upgradované knihovny jazyka R:
    • backporty od 1.4.0 do 1.4.1
    • brio od 1.1.2 do 1.1.3
    • koště od 0.7.10 do 0.7.11
    • třída od 7.3-19 do 7.3-20
    • cpp11 od 0.4.1 do 0.4.2
    • DBI od 1.1.1 do 1.1.2
    • devtools od 2.4.2 do 2.4.3
    • digest od 0.6.28 do 0.6.29
    • dtplyr od 1.1.0 do 1.2.0
    • fansi od 0.5.0 do 1.0.2
    • cizí od 0.8-81 do 0.8-82
    • fs od 1.5.0 do 1.5.2
    • gert od 1.4.3 do 1.5.0
    • lepidlo z 1.5.0 na 1.6.0
    • httpuv od 1.6.3 do 1.6.5
    • jsonlite z verze 1.7.2 do 1.7.3
    • Pletení od 1,36 do 1,37
    • HMOTNOST od 7.3-54 do 7.3-55
    • Matice od 1.3-4 do 1.4-0
    • nlme od 3.1-152 do 3.1-155
    • nnet frm 7.3-16 až 7.3-17
    • openssl od 1.4.5 do 1.4.6
    • paralelně od 1.29.0 do 1.30.0
    • pkgbuild od 1.2.0 do 1.3.1
    • pkgload od 1.2.3 do 1.2.4
    • progressr od 0.9.0 do 0.10.0
    • Rcpp od 1.0.7 do 1.0.8
    • readr od 2.1.0 do 2.1.1
    • vzdáleně od 2.4.1 do 2.4.2
    • RSQLite od 2.2.8 do 2.2.9
    • sessioninfo od 1.2.1 do 1.2.2
    • sparklyr od 1.7.2 do 1.7.4
    • testthat od 3.1.0 do 3.1.1
    • tinytex od 0,35 do 0,36
    • usethis from 2.1.3 to 2.1.5
    • vroom od 1.5.6 do 1.5.7
    • od 2.4.2 do 2.4.3
    • xfun od 0,28 do 0,29
    • xml2 z 1.3.2 do 1.3.3
  • Upgradované knihovny Java:
    • dev.ludovic.netlib.arpack od 1.3.2 do 2.2.1
    • dev.ludovic.netlib.blas od 1.3.2 do 2.2.1
    • dev.ludovic.netlib.lapack od 1.3.2 do 2.2.1
    • io.delta.delta-sharing-spark_2.12 od 0.2.0 do 0.3.0

Apache Spark

Databricks Runtime 10.3 zahrnuje Apache Spark 3.2.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v modulu Databricks Runtime 10.2 (nepodporované) a také následující další opravy chyb a vylepšení sparku:

  • [SPARK-37896] [SQL] Implementace constantColumnVectoru a zlepšení výkonu skrytých metadat souborů
  • [SPARK-37924] [SQL] Řazení vlastností tabulky podle klíče v zobrazení SHOW CREATE TABLE on VIEW (v1)
  • [SPARK-37636] [SQL] Migrace příkazu CREATE NAMESPACE pro použití příkazu V2 ve výchozím nastavení
  • [SPARK-37381] [SQL] Sjednocení testů v1 a v2 SHOW CREATE TABLE
  • [SPARK-37876] [CORE][SQL] Přechod SpecificParquetRecordReaderBase.listDirectory naTestUtils
  • [SPARK-37854] [CORE] Nahrazení kontroly typu pomocí porovnávání vzorů v kódu Sparku
  • [SPARK-36967] [CORE] V případě nerovnoměrné distribuce sestavy o přesné velikosti bloku náhodného prohazu
  • [SPARK-37864] [SQL] Podpora vektorizovaných logických hodnot čtení používá kódování RLE s Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator by měl rychle přeskočit kontrolu zarovnání s nerovnanou platformou.
  • [SPARK-37855] [SQL] IllegalStateException při transformaci pole uvnitř vnořené struktury
  • [SPARK-37858] [SQL] Vyvolání SparkRuntimeException tříd chyb z funkcí AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker by neměl zkusit získat stav pro přeskočený soubor
  • [SPARK-37860] [UI] Oprava indexu úkolů na časové ose události úkolu stránky fáze
  • [SPARK-36879] [SQL] Podpora kódování datových stránek Parquet v2 (DELTA_BINARY_PACKED) pro vektorizovanou cestu
  • [SPARK-37828] [SQL] Odsdílení filtrů prostřednictvím rebalancePartitions
  • [SPARK-37802] [SQL][3.2] Složený název pole by měl fungovat se stisknutou klávesou Agregace dolů.
  • [SPARK-37826] [SQL] Použití názvu kodeku zstd v názvech souborů ORC pro podregistr orc impl
  • [SPARK-37820] [SQL] Nahrazení ApacheCommonBase64 javaBase64 pro řetězce funcs
  • [SPARK-37832] [SQL] Převaděč struktur orc by měl použít pole k vyhledání převaděčů polí místo propojeného seznamu.
  • [SPARK-37786] [SQL] Podpora StreamQueryListener používá SQLConf.get k získání odpovídajícího SQLConf sqlState
  • [SPARK-37527] [SQL] Překlad standardních agregačních funkcí pro odsdílení
  • [SPARK-37777] [SQL] Aktualizujte syntaxi SQL funkcí SHOW
  • [SPARK-8582] [CORE] Kontrolní bod dychtivě po zobrazení výzvy k tomu, aby to udělal skutečný
  • [SPARK-37822] [SQL] StringSplit by měl vrátit pole s nenulovými elementy.
  • [SPARK-37812] [SQL] Při deserializaci struktury Orc znovu použijte řádek výsledků, pokud je to možné.
  • [SPARK-37367] [SQL] Reenable exception test in DDLParserSuite.create view – basic
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals by měl rychle přeskočit kontrolu zarovnání s nerovnanou platformou.
  • [SPARK-37817] [SQL][Podverze] Odebrání nedostupného kódu v complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Oprava překlepu ve zprávě HttpAuthenticationException
  • [SPARK-37750] [SQL] Režim ANSI: Volitelně vrátí výsledek null, pokud prvek v poli nebo mapě neexistuje.
  • [SPARK-37789] [SQL] Přidání třídy pro reprezentaci obecných agregačních funkcí v DS V2
  • [SPARK-37785] [SQL][CORE] Add Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Podpora QueryExecutionListener používá SQLConf.get k získání odpovídajícího SQLConf sqlState
  • [SPARK-37783] [SS][SQL][CORE] Povolte tail-recursion, kdykoli je to možné
  • [SPARK-37726] [SQL] Přidání metrik velikosti přelití pro sloučení řazení
  • [SPARK-37800] [SQL] TreeNode.argString nesprávně formátuje argumenty typu Set[_]
  • [SPARK-37716] [SQL] Zlepšení chybových zpráv, pokud lateralJoin obsahuje ne deterministické výrazy
  • [SPARK-37779] [SQL] Nastavit plán ColumnarToRowExec jako kanonický po (de)serializaci
  • [SPARK-37578] [SQL] Aktualizace metrik úloh z vlastních metrik ds v2
  • [SPARK-37676] [SQL] Podporuje agregační funkci ANSI: percentile_cont
  • [SPARK-37724] [SQL] Režim ANSI: Ve výchozím nastavení zakažte vyhrazená klíčová slova ANSI.
  • [SPARK-37705] [SQL][3.2] Časové razítka opětovného základu v časovém pásmu relace uloženém v metadatech Parquet/Avro
  • [SPARK-34755] [SQL] Podpora nástrojů pro formát čísel transformace
  • [SPARK-36703] [SQL] Odeberte řazení, pokud je podřízeným výrazem RepartitionByExpression.
  • [SPARK-37369] [SQL] Vyhněte se redundantnímu transistionu ColumnarToRow v InMemoryTableScan
  • [SPARK-37450] [SQL] Vyřazování nepotřebných polí ze generování
  • [SPARK-37728] [SQL] Čtení vnořených sloupců s vektorizovanými čtečkami ORC může způsobit, že ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Přidání genu kódu pro agregaci řazení bez seskupování klíčů
  • [SPARK-37659] [UI][3.2] Oprava podmínky časování FsHistoryProvider mezi seznamem a informacemi o protokolu deletu
  • [SPARK-37727] [SQL] Zobrazení ignorovaných konfigurací & skryje upozornění na conf, které už jsou nastavené ve SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider řekne, jestli upravuje kontext zabezpečení.
  • [SPARK-37273] [SQL] Podpora skrytých sloupců metadat souborů ve Sparku SQL
  • [SPARK-36876] [SQL] Podpora dynamického vyřazování oddílů pro HiveTableScanExec
  • [SPARK-37546] [SQL] Příkaz ReplaceTableAsSelect by měl mít nárok na umístění.
  • [SPARK-37545] [SQL] Příkaz CreateTableAsSelect v2 by měl opravňující umístění
  • [SPARK-37707] [SQL] Povolit přiřazení úložiště a implicitní přetypování mezi typy datetime
  • [SPARK-37644] [SQL] Podpora úplné agregace zdroje dat v2
  • [SPARK-37695] [CORE][SHUFFLE] Přeskočte diagnostiku ob sloučených bloků z náhodného prohazování založeného na push
  • [SPARK-35295] [ML] Nahraďte plně com.github.fommil.netlib dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] Zakázat odstranění prostředků v rozhraní příkazového řádku Spark SQL
  • [SPARK-37330] [SQL] Migrovat příkaz ReplaceTableStatement na v2
  • [SPARK-27974] [SQL] Podporuje agregační funkci ANSI: array_agg
  • [SPARK-36902] [SQL] Migrace příkazu CreateTableAsSelectStatement na v2
  • [SPARK-37678] [PYTHON] Oprava podpisu _cleanup_and_return
  • [SPARK-37613] [SQL] Podporuje agregační funkci ANSI: regr_count
  • [SPARK-37689] [SQL] Rozšíření by mělo být podporováno v rozšíření PropagateEmptyRelation
  • [SPARK-37654] [SQL] Oprava NPE v row.getSeq, pokud je pole null
  • [SPARK-37496] [SQL] Migrace příkazu ReplaceTableAsSelectStatement na v2
  • [SPARK-37483] [SQL] Podpora nabízení horních N do zdroje dat JDBC V2
  • [SPARK-37577] [SQL] Oprava TřídyCastException: ArrayType nelze přetypovat na typ struktury pro vygenerování vyřazování.
  • [SPARK-37310] [SQL] Migrace ALTER OBORU NÁZVŮ ... NASTAVIT VLASTNOSTI tak, aby ve výchozím nastavení používaly příkaz V2
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE by měl mít nárok na umístění pro příkaz v2.
  • [SPARK-37343] [SQL] Implementace createIndex, IndexExists a dropIndex v JDBC (dialekt Postgres)
  • [SPARK-37060] [CORE][3.2] Zpracování odpovědi na stav ovladače z hlavních serverů zálohování
  • [SPARK-37629] [SQL] Zrychlení výrazu.canonicalized
  • [SPARK-37633] [SQL] Rozbalení přetypování by mělo přeskočit, pokud se downcast nezdařil s...
  • [SPARK-37631] [SQL] Kód vyčistí při povýšení řetězců na dvojitý typ matematických funkcí.
  • [SPARK-37569] [SQL] Neoznamujte vnořená pole zobrazení jako null
  • [SPARK-37557] [SQL] Nahraďte hodnotu hash objektu agregací řazení, pokud je podřízený objekt již seřazený.
  • [SPARK-36850] [SQL] Migrace createTableStatement do příkazového rozhraní v2
  • [SPARK-37592] [SQL] Zlepšení výkonuJoinSelection
  • [SPARK-37217] [SQL] Počet dynamických oddílů by se měl při zápisu do externích tabulek brzy zkontrolovat.
  • [SPARK-37584] [SQL] Nová funkce SQL: map_contains_key
  • [SPARK-37455] [SQL] Nahraďte hodnotu hash agregací řazení, pokud je podřízená položka již seřazená.
  • [SPARK-34735] [SQL][UI] Přidání upravených konfigurací pro spouštění SQL v uživatelském rozhraní
  • [SPARK-37540] [SQL] Zjištění nepodporovaného časového cestování
  • [SPARK-37376] [SQL] Zavedení nového rozhraní DataSource V2 HasPartitionKey
  • [SPARK-37666] [SQL] Nastavit GCM jako výchozí režimaes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader by se měl vrátit k související verzi, ne vždy hadoop-2.7.4
  • [SPARK-37561] [SQL] Vyhněte se načítání všech funkcí při získávání delegování Hive
  • [SPARK-37370] [SQL] Přidání konfigurací SQL pro řízení nově přidaného kódu join code-gen ve verzi 3.3
  • [SPARK-37311] [SQL] Migrace ALTER OBORU NÁZVŮ ... NASTAVIT UMÍSTĚNÍ pro použití příkazu V2 ve výchozím nastavení
  • [SPARK-37192] [SQL] Migrace funkce SHOW TBLPROPERTIES pro použití příkazu V2 ve výchozím nastavení
  • [SPARK-37219] [SQL] Přidání podpory syntaxe AS OF
  • [SPARK-37316] [SQL] Přidání kódu gen pro sloučení sloučení existence
  • [SPARK-37591] [SQL] Podporuje režim GCMaes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Přidejte mode args padding doaes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Přidání aes_encrypt a aes_decrypt integrovaných funkcí
  • [SPARK-37392] [SQL] Oprava chyby výkonu při odvozování omezení pro generování
  • [SPARK-37481] [Core][WebUI] Oprava vyřazení vynechaných fází po opakování
  • [SPARK-37533] [SQL] Nová funkce SQL: try_element_at
  • [SPARK-37451] [SQL] Oprava typu přetypování na desetinný typ, pokud je povolená spark.sql.legacy.allowNegativeScaleOfDecimal
  • [SPARK-37062] [ SS] Zavedení nového zdroje dat pro zajištění konzistentní sady řádků na mikrobatch
  • [SPARK-37552] [SQL] Přidání convert_timezone() funkce
  • [SPARK-37555] [SQL] spark-sql by měl předat poslední nezařazený komentář back-endu.
  • [SPARK-37286] [SQL] Přesunutí kompilátorů z JDBCRDD na JdbcDialect
  • [SPARK-37485] [CORE][SQL] Nahraďte map výrazy, které negenerují žádný výsledek.foreach
  • [SPARK-37556] [SQL] Selhání třídy deser void s serializací Java
  • [SPARK-37520] [SQL] Přidání startswith() funkcí a endswith() řetězců
  • [SPARK-37471] [SQL] podpora ; spark-sql v vnořeném komentáři v hranatých závorkách
  • [SPARK-37360] [SQL] Podpora časového razítkaNTZ ve zdroji dat JSON
  • [SPARK-37508] [SQL] Add CONTAINS() string function
  • [SPARK-37494] [SQL] Sjednocení výstupu SHOW CREATE TABLE možností v1 a v2 příkazu
  • [SPARK-37524] [SQL] Po testování dynamického vyřazení oddílů bychom měli odstranit všechny tabulky.
  • [SPARK-37389] [SQL] Zkontrolujte nezařazené komentáře v hranatých závorkách.
  • [SPARK-37220] [SQL] Nerozdělujte vstupní soubor pro čtečku Parquet agregačním stisknutím dolů.
  • [SPARK-37326] [SQL] Podpora časového razítkaNTZ ve zdroji dat CSV
  • [SPARK-35867] [SQL] Povolení vektorizovaného čtení pro VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][SQL] Nahradit get a getOrElse zagetOrElse
  • [SPARK-37492] [SQL] Optimalizace testovacího kódu Orc s využitímAllNativeOrcReaders
  • [SPARK-37458] [ SS] Odebrání nepotřebného serializeFromObject z plánu foreachBatch

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.3.

Prostředí systému

  • Operační systém: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
asynchronní generátor 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Bělidla 3.3.0 boto3 1.16.7
botocore 1.19.7 Certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 Cyklovač 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratér 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 vstupní body 0.3
přehled omezujících vlastností 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 verizonsolver 1.3.1 Koaly 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 chybně zatěžovat 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 poznámkový blok 6.3.0 numpy 1.20.1
Obalu 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Polštář 8.2.0 Pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
Požadavky 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Šest 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Houževnatost 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornádo 6.1 vlastnosti 5.0.5 bezobslužné upgrady 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Kolo 0.36.2 widgetsnbextension 3.5.1

Nainstalované knihovny jazyka R

Knihovny jazyka R se instalují ze snímku Microsoft CRAN 2022-01-19.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 Brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
stříška 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 Přihlašovací údaje 1.3.2
curl 4.3.2 data.table 1.14.2 datové sady 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
Forge 0.2.0 Fs 1.5.2 Budoucnosti 1.23.0
future.apply 1.8.1 Kloktadlo 1.2.0 Generik 0.1.1
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 grafika 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0,9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Id 1.0.1 Ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1,37 labeling 0.4.2 Později 1.3.0
lattice 0.20-45 lava 1.6.10 Životního cyklu 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 Matice 1.4-0
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
paralelně 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.10.0 Sliby 1.2.0.1
proto 1.0.0 proxy 0.4-26 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0.13 rversions 2.1.1
rvest 1.0.2 Sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 Waldo 0.3.1
whisker 0.4 withr 2.4.3 xfun 0.29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 Zip 2.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-noty 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.ffe Kofein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib nativní native_ref javy 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib nativní native_system javy 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenss lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.nota jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-stromy hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formát šipky 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet kódování parquet 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus poznámky k cílové skupině 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3,2,0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty pokračování jetty 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket -common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core žerzejové společné 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging Protokolování jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podložky 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Nepoužité 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten 3ten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml hadyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1