Databricks Runtime 10.3 (nepodporované)

  • Článek

Následující poznámky k verzi obsahují informace o Databricks Runtime 10.3 a Databricks Runtime 10.3 Photon s využitím Apache Sparku 3.2.1. Photon je ve verzi Public Preview. Databricks tyto image vydal v únoru 2022.

Nové funkce a vylepšení

Zapisovače Parquet a Avro teď při obnovování časových razítek ve zdrojích dat Parquet používají časové pásmo relace.

Zapisovače Parquet a Avro teď používají časové pásmo relace, zatímco časové razítko se znovu zopakuje v legacy režimu místo použití výchozího časového pásma JVM. Časové pásmo relace je ve výchozím nastavení nastavené na časové pásmo JVM.

Nové funkce ve Spark SQL

V této verzi jsou nyní podporovány následující funkce Spark SQL:

  • aes_decrypt: dešifruje vstup pomocí AES.
  • aes_encrypt: Šifruje vstup pomocí AES.
  • contains: určuje, zda výraz obsahuje jiný výraz.
  • endswith: určuje, zda výraz končí jiným výrazem.
  • percentile_cont: vrátí hodnotu percentilu.
  • startwith: určuje, zda výraz začíná jiným výrazem.

Sloučení s nízkým náhodném prohazování je teď obecně dostupné.

Příkaz Delta MERGE INTO používá techniku označovanou jako nízké sloučení náhodného náhodného prohazování, což snižuje náhodné prohazování nemodifikovaných řádků. To zlepšuje výkon příkazu a pomáhá zachovat existující clustering v tabulce, například řazení Z. Tato funkce byla zavedena v Databricks Runtime 9.0 pro Public Preview a nyní dosáhla obecné dostupnosti. Chcete-li povolit sloučení s nízkým náhodném prohazování, nastavte na truehodnotu spark.databricks.delta.merge.enableLowShuffle . Viz Malé sloučení shuffle v Azure Databricks.

Nové funkce COPY INTO: režim ověřování a vývoj schématu

Režim ověřování: COPY INTO Teď podporuje VALIDATE režim, ve kterém se data, která se mají načíst do tabulky, ověřují, ale nezapisují se do tabulky. Mezi tato ověření patří:

  • Určuje, jestli se data dají analyzovat.
  • Ať už schéma odpovídá tabulce, nebo jestli je potřeba schéma vyvíjet.
  • Zda jsou splněna všechna omezení null a kontroly.

Příklad použití:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Výchozí možností je ověřit všechna data, která se mají načíst. Pomocí klíčového ROWS slova můžete zadat několik řádků, které se mají ověřit, například VALIDATE 15 ROWS. Příkaz COPY INTO vrátí náhled dat o 50 řádcích nebo méně, pokud se s klíčovým slovem ROWS použije číslo menší než 50).

Vývoj schématu: COPY INTO nyní podporuje vývoj schématu mergeSchema s možností v COPY_OPTIONS. Abyste mohli vyvíjet schéma tabulky, musíte mít OWN oprávnění k tabulce.

Příklad použití:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Viz COPY INTO.

Sloupce identit se teď podporují v tabulkách Delta (Public Preview)

Delta Lake teď podporuje sloupce identit. Když napíšete do tabulky Delta, která definuje sloupec identity, a nezadáte hodnoty pro tento sloupec, Delta teď automaticky přiřadí jedinečnou a statisticky rostoucí nebo sestupnou hodnotu. Viz CREATE TABLE [USING].

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • distlib od 0.3.3 do 0.3.4
    • filelock od 3.4.0 do 3.4.2
    • numpy od 1.19.2 do 1.20.1
    • vykreslit od 5.3.1 do 5.5.0
  • Upgradované knihovny jazyka R:
    • backporty od 1.4.0 do 1.4.1
    • brio od 1.1.2 do 1.1.3
    • koště od 0.7.10 do 0.7.11
    • třída od 7.3-19 do 7.3-20
    • cpp11 od 0.4.1 do 0.4.2
    • DBI od 1.1.1 do 1.1.2
    • devtools od 2.4.2 do 2.4.3
    • digest od 0.6.28 do 0.6.29
    • dtplyr od 1.1.0 do 1.2.0
    • ventilátory od 0.5.0 do 1.0.2
    • cizí od 0.8-81 do 0.8-82
    • fs od 1.5.0 do 1.5.2
    • gert od 1.4.3 do 1.5.0
    • připevnění od 1.5.0 k 1.6.0
    • httpuv od 1.6.3 do 1.6.5
    • jsonlite od 1.7.2 do 1.7.3
    • pletení od 1.36 do 1.37
    • HMOTNOST od 7.3-54 do 7.3-55
    • Matice od 1.3-4 do 1.4-0
    • nlme od 3.1-152 do 3.1-155
    • nnet frm 7.3-16 až 7.3-17
    • openssl od 1.4.5 do 1.4.6
    • paralelně od 1.29.0 do 1.30.0
    • pkgbuild od 1.2.0 do 1.3.1
    • pkgload od 1.2.3 do 1.2.4
    • progressr od 0.9.0 do 0.10.0
    • Rcpp od 1.0.7 do 1.0.8
    • readr od 2.1.0 do 2.1.1
    • vzdáleně od 2.4.1 do 2.4.2
    • RSQLite od 2.2.8 do 2.2.9
    • sessioninfo od 1.2.1 do 1.2.2
    • sparklyr od 1.7.2 do 1.7.4
    • test ze 3.1.0 do 3.1.1
    • tinytex od 0,35 do 0,36
    • usethis from 2.1.3 to 2.1.5
    • vroom od 1.5.6 do 1.5.7
    • od 2.4.2 do 2.4.3
    • xfun od 0.28 do 0.29
    • xml2 od 1.3.2 do 1.3.3
  • Upgradované knihovny Java:
    • dev.ludovic.netlib.arpack od 1.3.2 do 2.2.1
    • dev.ludovic.netlib.blas od 1.3.2 do 2.2.1
    • dev.ludovic.netlib.lapack od 1.3.2 do 2.2.1
    • io.delta.delta-sharing-spark_2.12 od 0.2.0 do 0.3.0

Apache Spark

Databricks Runtime 10.3 zahrnuje Apache Spark 3.2.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 10.2 (nepodporované) a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-37896] [SQL] Implementace ConstantColumnVectoru a zlepšení výkonu skrytých metadat souborů
  • [SPARK-37924] [SQL] Řazení vlastností tabulky podle klíče v SHOW CREATE TABLE on VIEW (v1)
  • [SPARK-37636] [SQL] Migrace příkazu CREATE NAMESPACE pro použití příkazu V2 ve výchozím nastavení
  • [SPARK-37381] [SQL] Sjednocení testů v1 a v2 SHOW CREATE TABLE
  • [SPARK-37876] [JÁDRO] [SQL] Přesunout SpecificParquetRecordReaderBase.listDirectory na TestUtils
  • [SPARK-37854] [JÁDRO] Nahrazení kontroly typu pomocí porovnávání vzorů v kódu Sparku
  • [SPARK-36967] [JÁDRO] Nahlásit přesnou velikost bloku náhodného prohazu, pokud se zkosí
  • [SPARK-37864] [SQL] Podpora vektorizovaných logických hodnot čtení s využitím kódování RLE s Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator by měl rychle přeskočit kontrolu zarovnání s nerovnanou platformou.
  • [SPARK-37855] [SQL] IllegalStateException při transformaci pole uvnitř vnořené struktury
  • [SPARK-37858] [SQL] Vyvolání SparkRuntimeException s třídami chyb z funkcí AES
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker by neměl zkusit získat stav pro přeskočený soubor.
  • [SPARK-37860] [UŽIVATELSKÉ ROZHRANÍ] Oprava indexu úkolu na časové ose úkolu na stránce fáze
  • [SPARK-36879] [SQL] Podpora kódování datových stránek Parquet v2 (DELTA_BINARY_PACKED) pro vektorizovanou cestu
  • [SPARK-37828] [SQL] Nasdílení filtrů dolů prostřednictvím rebalancePartitions
  • [SPARK-37802] [SQL] [3.2] Název složeného pole by měl fungovat se stiskem agregace dolů
  • [SPARK-37826] [SQL] Použití názvu kodeku zstd v názvech souborů ORC pro podregistr orc impl
  • [SPARK-37820] [SQL] Nahrazení ApacheCommonBase64 JavaBase64 pro řetězcové funcs
  • [SPARK-37832] [SQL] Převaděč struktur orc by měl použít pole k vyhledání převaděčů polí místo propojeného seznamu.
  • [SPARK-37786] [SQL] Podpora StreamQueryListener pomocí sqlConf.get získejte odpovídající SQLConf stavu relace.
  • [SPARK-37527] [SQL] Překlad více standardních agregačních funkcí pro odsdílení změn
  • [SPARK-37777] [SQL] Aktualizace syntaxe SQL funkce SHOW FUNCTIONS
  • [SPARK-8582] [JÁDRO] Kontrolní bod dychtivě, když se zobrazí výzva k tomu, aby to bylo reálné
  • [SPARK-37822] [SQL] StringSplit by měl vrátit pole u prvků, které nemají hodnotu null.
  • [SPARK-37812] [SQL] Při deserializaci struktury Orc znovu použijte řádek výsledku, pokud je to možné.
  • [SPARK-37367] [SQL] Opakovaně použitelný test výjimek v zobrazení DDLParserSuite.create – základní
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals by měl rychle přeskočit kontrolu zarovnání s nezarovnanou platformou
  • [SPARK-37817] [SQL] [Vedlejší] Odebrání nedostupného kódu v complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Oprava překlepu ve zprávě HttpAuthenticationException
  • [SPARK-37750] [SQL] Režim ANSI: Volitelně vrátí výsledek null, pokud prvek v poli nebo mapě neexistuje.
  • [SPARK-37789] [SQL] Přidání třídy představující obecné agregační funkce v DS V2
  • [SPARK-37785] [SQL] [JÁDRO] Přidání nástroje Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Podpora QueryExecutionListener pomocí sqlConf.get získejte odpovídající sqlConf stavu relace.
  • [SPARK-37783] [SS] [SQL] [JÁDRO] Povolení koncové rekurze, kdykoli je to možné
  • [SPARK-37726] [SQL] Přidání metrik velikosti přelití pro sloučení spojení se sloučením
  • [SPARK-37800] [SQL] TreeNode.argString nesprávně formátuje argumenty typu Set[_]
  • [SPARK-37716] [SQL] Zlepšení chybových zpráv v případě, že lateralJoin obsahuje ne deterministické výrazy
  • [SPARK-37779] [SQL] Nastavit columnarToRowExec plán canonicalizable po (de)serializace
  • [SPARK-37578] [SQL] Aktualizace metrik úloh z vlastních metrik ds v2
  • [SPARK-37676] [SQL] Podpora agregační funkce ANSI: percentile_cont
  • [SPARK-37724] [SQL] Režim ANSI: Ve výchozím nastavení zakažte vyhrazená klíčová slova ANSI.
  • [SPARK-37705] [SQL] [3.2] Změna časových razítek v časovém pásmu relace uloženém v metadatech Parquet/Avro
  • [SPARK-34755] [SQL] Podpora nástrojů pro formát transformací čísel
  • [SPARK-36703] [SQL] Odeberte řazení, pokud se jedná o podřízenou položku RepartitionByExpression.
  • [SPARK-37369] [SQL] Vyhněte se redundantnímu přechodu ColumnarToRow v inMemoryTableScan
  • [SPARK-37450] [SQL] Vyřazení nepotřebných polí ze generování
  • [SPARK-37728] [SQL] Čtení vnořených sloupců s vektorizovanými čtečkami ORC může způsobit arrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Přidání agregace řazení s kódem gen bez seskupování klíčů
  • [SPARK-37659] [UŽIVATELSKÉ ROZHRANÍ] [3.2] Oprava podmínky časování FsHistoryProvider mezi seznamem a informacemi o protokolu deletu
  • [SPARK-37727] [SQL] Zobrazit ignorované confs &hide warnings for conf already set in SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL] Jdbc Připojení ionProvider řekne, jestli upravuje kontext zabezpečení
  • [SPARK-37273] [SQL] Podpora sloupců skrytých metadat souborů ve Spark SQL
  • [SPARK-36876] [SQL] Podpora prořezávání dynamických oddílů pro HiveTableScanExec
  • [SPARK-37546] [SQL] Příkaz ReplaceTableAsSelect v2 by měl kvalifikovat umístění
  • [SPARK-37545] [SQL] Příkaz CreateTableAsSelect v2 by měl kvalifikovat umístění
  • [SPARK-37707] [SQL] Povolit přiřazení úložiště a implicitní přetypování mezi typy data a času
  • [SPARK-37644] [SQL] Podpora kompletního agregovaného nabízení zdroje dat v2
  • [SPARK-37695] [JÁDRO] [SHUFFLE] Přeskočení bloků ob sloučených s diagnostikou z náhodného prohazování na základě nabízených oznámení
  • [SPARK-35295] [ML] Nahraďte plně com.github.fommil.netlib dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] Zakázání odstranění prostředků v rozhraní příkazového řádku Spark SQL
  • [SPARK-37330] [SQL] Migrace příkazu ReplaceTableStatement do v2
  • [SPARK-27974] [SQL] Podpora agregační funkce ANSI: array_agg
  • [SPARK-36902] [SQL] Migrace příkazu CreateTableAsSelectStatement do v2
  • [SPARK-37678] [PYTHON] Oprava podpisu _cleanup_and_return
  • [SPARK-37613] [SQL] Podpora agregační funkce ANSI: regr_count
  • [SPARK-37689] [SQL] Rozšíření by mělo být podporováno v rozšíření PropagateEmptyRelation.
  • [SPARK-37654] [SQL] Oprava NPE v Row.getSeq, když je pole Null
  • [SPARK-37496] [SQL] Migrace příkazu ReplaceTableAsSelectStatement do v2
  • [SPARK-37483] [SQL] Podpora nabízení horních N do zdroje dat JDBC V2
  • [SPARK-37577] [SQL] Oprava třídy ClassCastException: ArrayType nelze přetypovat na StructType pro vygenerování vygenerování
  • [SPARK-37310] [SQL] Migrace ALTER NAMESPACE ... NASTAVIT VLASTNOSTI tak, aby ve výchozím nastavení používaly příkaz V2
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE by měl mít nárok na umístění pro příkaz v2.
  • [SPARK-37343] [SQL] Implementace createIndex, IndexExists a dropIndex v JDBC (dialekt Postgres)
  • [SPARK-37060] [JÁDRO] [3.2] Zpracování odpovědi na stav ovladače z hlavních serverů zálohování
  • [SPARK-37629] [SQL] Zrychlení výrazu.canonicalized
  • [SPARK-37633] [SQL] Rozbalení přetypování by mělo přeskočit, pokud se downcast nezdařil s...
  • [SPARK-37631] [SQL] Vyčištění kódu při povýšení řetězců na dvojitý typ v matematických funkcích
  • [SPARK-37569] [SQL] Neoznačit vnořená pole zobrazení jako pole s možnou hodnotou null
  • [SPARK-37557] [SQL] Nahrazení hodnoty hash objektu agregací řazení, pokud je podřízený objekt již seřazený
  • [SPARK-36850] [SQL] Migrace createTableStatement do příkazového rozhraní v2
  • [SPARK-37592] [SQL] Zlepšení výkonu JoinSelection
  • [SPARK-37217] [SQL] Počet dynamických oddílů by měl při zápisu do externích tabulek brzy zkontrolovat.
  • [SPARK-37584] [SQL] Nová funkce SQL: map_contains_key
  • [SPARK-37455] [SQL] Nahrazení hodnoty hash agregací řazení, pokud je podřízená položka již seřazená
  • [SPARK-34735] [SQL] [UŽIVATELSKÉ ROZHRANÍ] Přidání upravených konfigurací pro spouštění SQL v uživatelském rozhraní
  • [SPARK-37540] [SQL] Zjištění nepodporovaných časových cest
  • [SPARK-37376] [SQL] Zavedení nového rozhraní DataSource V2 HasPartitionKey
  • [SPARK-37666] [SQL] Nastavit GCM jako výchozí režim v aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader by se měl vrátit do související verze, ne vždy hadoop-2.7.4
  • [SPARK-37561] [SQL] Vyhněte se načítání všech funkcí při získávání delegování HiveTokenu.
  • [SPARK-37370] [SQL] Přidání konfigurací SQL pro řízení nově přidaného kódu join code-gen ve verzi 3.3
  • [SPARK-37311] [SQL] Migrace ALTER NAMESPACE ... NASTAVIT UMÍSTĚNÍ tak, aby ve výchozím nastavení používalo příkaz V2
  • [SPARK-37192] [SQL] Migrace příkazu SHOW TBLPROPERTIES pro použití příkazu V2 ve výchozím nastavení
  • [SPARK-37219] [SQL] Přidání podpory syntaxe AS OF
  • [SPARK-37316] [SQL] Přidání kódu genu pro sloučení sloučení existence
  • [SPARK-37591] [SQL] Podpora režimu GCM podle aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] mode Přidání args padding do aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Přidání integrovaných funkcí aes_encrypt a aes_decrypt
  • [SPARK-37392] [SQL] Oprava chyby výkonu při odvozování omezení pro generování
  • [SPARK-37481] [Jádro] [WebUI] Oprava zmizení přeskočených fází po opakování
  • [SPARK-37533] [SQL] Nová funkce SQL: try_element_at
  • [SPARK-37451] [SQL] Oprava typu přetypování na desetinný typ, pokud je povolená spark.sql.legacy.allowNegativeScaleOfDecimal
  • [SPARK-37062] [SS] Zavedení nového zdroje dat pro zajištění konzistentní sady řádků na mikrobatch
  • [SPARK-37552] [SQL] convert_timezone() Přidání funkce
  • [SPARK-37555] [SQL] Spark-sql by měl předat poslední nezařazený komentář do back-endu.
  • [SPARK-37286] [SQL] Přesun kompilátoruAggregates z JDBCRDD do JdbcDialect
  • [SPARK-37485] [JÁDRO] [SQL] Nahradit map výrazy, které nevygenerují žádný výsledek foreach
  • [SPARK-37556] [SQL] Selhání třídy deser void s serializací Java
  • [SPARK-37520] [SQL] startswith() Přidání funkcí a endswith() řetězců
  • [SPARK-37471] [SQL] Podpora ; spark-sql v vnořeném komentáři v závorkách
  • [SPARK-37360] [SQL] Podpora časového razítkaNTZ ve zdroji dat JSON
  • [SPARK-37508] [SQL] Přidání řetězcové funkce CONTAINS()
  • [SPARK-37494] [SQL] Unify v1 and v2 options output of SHOW CREATE TABLE command
  • [SPARK-37524] [SQL] Po otestování dynamického vyřezávání oddílů bychom měli všechny tabulky odstranit.
  • [SPARK-37389] [SQL] Kontrola nezařazených komentářů v hranatých závorkách
  • [SPARK-37220] [SQL] Rozdělení vstupního souboru pro čtečku Parquet s agregačním nasdílením
  • [SPARK-37326] [SQL] Podpora časového razítkaNTZ ve zdroji dat CSV
  • [SPARK-35867] [SQL] Povolení vektorizovaného čtení pro VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [JÁDRO] [SQL] Nahradit get a getOrElse za getOrElse
  • [SPARK-37492] [SQL] Optimalizace testovacího kódu Orc pomocí withAllNativeOrcReaders
  • [SPARK-37458] [SS] Odebrání nepotřebných SerializeFromObject z plánu foreachBatch

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 10.3.

Prostředí systému

  • Operační systém: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Bělidla 3.3.0 boto3 1.16.7
botocore 1.19.7 Certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 Cyklovač 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratér 5.0.6 defusedxml 0.7.1
distlib 0.3.4 informace o distribuci 0.23ubuntu1 vstupní body 0.3
přehled omezujících vlastností 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 verizonsolver 1.3.1 Koaly 1.8.2
Revize Sejf 2.0.1 matplotlib 3.4.2 špatně zamyšlení 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 poznámkový blok 6.3.0 numpy 1.20.1
Obalu 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Polštář 8.2.0 Pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
žádosti 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Šest 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Houževnatost 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornádo 6.1 vlastnosti 5.0.5 bezobslužné upgrady 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Kolo 0.36.2 widgetsnbextension 3.5.1

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN na 1. 1. 2022.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 Backports 1.4.1
base 4.1.2 base64enc 0.1-3 bitové 4.0.4
bit64 4.0.5 blob 1.2.2 startování 1.3-28
Vařit 1.0-6 Brio 1.1.3 Koště 0.7.11
bslib 0.3.1 cachem 1.0.6 volající 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 Rozhraní příkazového řádku 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 barevný prostor 2.0-2
commonmark 1,7 – kompilátor 4.1.2 config 0.3.1
cpp11 0.4.2 Pastelka 1.4.2 přihlašovací údaje 1.3.2
Curl 4.3.2 data.table 1.14.2 Power BI 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 Digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
tři tečky 0.3.2 evaluate 0,14 fanynky 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 Zahraniční 0.8-82
Forge 0.2.0 Fs 1.5.2 Budoucnosti 1.23.0
future.apply 1.8.1 Kloktadlo 1.2.0 Generik 0.1.1
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
Lepidlo 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 Grafika 4.1.2 grDevices 4.1.2
Mřížky 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 Útočiště 2.4.3 highr 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Id 1.0.1 Ini 0.3.1
ipred 0.9-12 isoband 0.2.5 Iterátory 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
pletení 1,37 Označování 0.4.2 Později 1.3.0
Mříže 0.20-45 Láva 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1,1 MASS 7.3-55 Matice 1.4-0
memoise 2.0.1 metody 4.1.2 mgcv 1.8-38
Mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
paralelně 1.30.0 Pilíř 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 Chvála 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Průběh 1.2.2 progressr 0.10.0 Sliby 1.2.0.1
proto 1.0.0 Proxy 0.4-26 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 Analýza rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recepty 0.1.17
Zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 Sass 0.4.0 Váhy 1.1.1
selektor 0.4-2 sessioninfo 1.2.2 Obrazec 1.4.6
Lesklé 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 Prostorové 7.3-11 Křivky 4.1.2
sqldf 0.4-11 ČTVEREC 2021.1 Statistiky 4.1.2
Statistiky 4 4.1.2 stringi 1.7.6 stringr 1.4.0
Přežití 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 Uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 Waldo 0.3.1
vousa 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 Zip 2.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.kofein Kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-Databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet kódování parquet 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty pokračování jetty 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket – společné 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core žerzejové společné 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podložky 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Nepoužité 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1