Databricks Runtime 4.1 (nepodporované)

  • Článek

Databricks vydala tuto image v květnu 2018.

Důležité

Tato verze byla vyřazena 17. ledna 2019. Další informace o zásadách vyřazení databricks Runtime a plánu najdete v tématu Životní cyklus podpory modulu runtime Databricks.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 4.1, který využívá Apache Spark.

Delta Lake

Databricks Runtime verze 4.1 přidává do Delta Lake zásadní vylepšení a funkce pro zvýšení kvality. Databricks důrazně doporučuje, aby všichni zákazníci Delta Lake upgradovali na nový modul runtime. Tato verze zůstává ve verzi Private Preview, ale představuje kandidátské vydání v očekávání nadcházející verze obecné dostupnosti (GA).

Delta Lake je teď také k dispozici ve verzi Private Preview pro uživatele Azure Databricks. Obraťte se na svého správce účtů nebo se zaregistrujte na adrese https://databricks.com/product/databricks-delta.

Změny způsobující chyby

  • Databricks Runtime 4.1 zahrnuje změny transakčního protokolu, které umožňují nové funkce, jako je například ověření. Tabulky vytvořené pomocí Databricks Runtime 4.1 automaticky používají novou verzi a starší verze Databricks Runtime je nedají zapsat. Abyste mohli tato vylepšení využít, musíte upgradovat existující tabulky. Pokud chcete upgradovat existující tabulku, nejprve upgradujte všechny úlohy, které do tabulky zapisují. Pak spusťte tyto příkazy:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    Další informace najdete v tématu Jak Azure Databricks spravuje kompatibilitu funkcí Delta Lake?

  • Zápisy se teď ověřují oproti aktuálnímu schématu tabulky místo toho, aby dříve automaticky přidávaly sloupce, které v cílové tabulce chybí. Chcete-li povolit předchozí chování, nastavte mergeSchema možnost na truehodnotu . Viz ověření schématu Delta Lake.

  • Pokud používáte starší verze Databricks Delta, musíte před použitím Databricks Runtime 4.1 upgradovat všechny úlohy. Pokud se zobrazí některé z těchto chyb, upgradujte na Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • Tabulky už nemůžou obsahovat sloupce, které se liší pouze pro velká a malá písmena.

  • Konfigurace tabulek specifické pro rozdíly teď musí mít předponu delta.

Nové funkce

  • Správa schématu – Databricks Delta teď ověřuje připojení a přepisuje do existující tabulky, aby se zajistilo, že schéma, které se zapisuje, odpovídá schématu.

    • Databricks Delta nadále podporuje automatickou migraci schématu.
    • Databricks Delta teď podporuje následující DDL k explicitní úpravě schématu:
      • ALTER TABLE ADD COLUMN přidání nových sloupců do tabulky
      • ALTER TABLE CHANGE COLUMNS změna pořadí sloupců
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Podrobnosti najdete v tématu Ověření schématu Delta Lake.

  • Rozšířená podpora DDL a tabulek

    • Úplná podpora tabulky DDL a saveAsTable(). save() a saveAsTable() teď mají identickou sémantiku.
    • Všechny příkazy DDL a DML podporují název tabulky i delta.`<path-to-table>`příkazy .
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Podrobné informace o tabulce – Aktuální verze tabulky pro čtení a zápis můžete zobrazit spuštěním DESCRIBE DETAILpříkazu . Podívejte se, jak Azure Databricks spravuje kompatibilitu funkcí Delta Lake?
    • Podrobnosti o tabulce – Informace o provenience jsou nyní k dispozici pro každý zápis do tabulky. Boční panel dat také zobrazuje podrobné informace o tabulce a historii tabulek Databricks Delta. Přečtěte si podrobnosti o tabulce Delta Lake s popisem podrobností.
    • Streamované tabulky – Streamované datové rámce je možné vytvořit pomocí spark.readStream.format("delta").table("<table-name>").
    • Tabulky jen pro připojení – Databricks Delta teď podporuje základní zásady správného řízení dat. Odstranění a úpravy tabulky můžete blokovat nastavením vlastnostidelta.appendOnly=true tabulky.
    • MERGE INTO zdroj - přidává komplexnější podporu specifikace zdrojového MERGEdotazu . Můžete například zadat LIMITORDER BY a INLINE TABLE ve zdroji.
    • Úplná podpora seznamů ACL pro tabulky

Zlepšení výkonu

  • Snížení režie při shromažďování statistik – Efektivita kolekce statistik byla vylepšena a statistiky se teď shromažďují jenom pro konfigurovatelný počet sloupců nastavených ve výchozím nastavení na 32. Výkon zápisu Databricks Delta byl vylepšen až o 2x kvůli snížení režijních nákladů na shromažďování statistik. Pokud chcete nakonfigurovat počet sloupců, nastavte vlastnostdelta.dataSkippingNumIndexedCols=<number-of-columns> tabulky.
  • Podpora pro odsdílení limitu – Statistika slouží k omezení počtu souborů prohledávaných pro dotazy, které mají LIMIT a predikují sloupce oddílů. To platí pro dotazy v poznámkových blocích z důvodu implicitního limit=1000 účinku pro všechny příkazy poznámkového bloku.
  • Odsdílení filtru ve zdroji streamování – Dotazy streamování teď při spouštění nového datového proudu používají dělení, aby se přeskočí irelevantní data.
  • Vylepšený paralelismus pro OPTIMIZE - OPTIMIZE tuto chvíli běží jako jedna úloha Sparku a bude používat veškerý paralelismus dostupný v clusteru (dříve bylo omezeno na 100 komprimovaných souborů najednou).
  • Data se přeskočí v DML – UPDATEDELETE, a MERGE teď se používají statistiky při hledání souborů, které je potřeba přepsat.
  • Snížení uchovávání kontrolních bodů – kontrolní body se teď uchovávají po dobu dvou dnů (historie se stále uchovává po dobu 30), aby se snížily náklady na úložiště pro transakční protokol.

Chování rozhraní API

  • Chování insertInto(<table-name>) v Databricks Delta je stejné jako u jiných zdrojů dat.
    • Pokud není zadán žádný režim nebo je ErrorIfExistsIgnore, nebo modeAppend, připojí data v datovém rámci k tabulce Databricks Delta.
    • Pokud mode ano Overwrite, odstraní všechna data v existující tabulce a vloží data z datového rámce do tabulky Databricks Delta.
  • Pokud je uložená v mezipaměti, musí být cílová tabulka MERGE ručně odstraněna z mezipaměti.

Vylepšení použitelnosti

  • Ověření migrace úloh – Běžné chyby při migraci úloh do Databricks Delta teď místo selhání vyvolává výjimku:
    • Použití format("parquet") ke čtení nebo zápisu tabulky.
    • Čtení nebo zápis přímo do oddílu (to znamená /path/to/delta/part=1).
    • Vakuové podadresáře tabulky.
    • INSERT OVERWRITE DIRECTORY pomocí Parquet na tabulce.
  • Konfigurace nerozlišující malá a velká písmena – Možnosti vlastností objektu DataFrame Reader/Writer a table teď nerozlišují velká a malá písmena (včetně cesty ke čtení i cesty k zápisu).
  • Názvy sloupců – Názvy sloupců tabulky teď můžou obsahovat tečky.

Známé problémy

  • Vložení příkazů s více vloženími jsou v různých jednotkách práce, nikoli ve stejné transakci.

Opravy chyb

  • Byla opravena nekonečná smyčka při spuštění nového datového proudu v tabulce s rychlou aktualizací.

Zastaralé

Strukturované streamování nezpracuje vstup, který není připojením, a vyvolá výjimku, pokud dojde k nějakým změnám v tabulce, která se používá jako zdroj. Dříve jste toto chování mohli přepsat příznakem ignoreFileDeletion , ale tento příznak je teď zastaralý. Místo toho použijte ignoreDeletes nebo ignoreChanges. Podívejte se na tabulku Delta jako zdroj.

Další změny a vylepšení

  • Služba Watchdog pro dotazy je povolená pro všechny clustery pro všechny účely vytvořené pomocí uživatelského rozhraní.
  • Vylepšený výkon na straně ovladače pro mezipaměť DBIO
  • Vylepšený výkon dekódování Parquet prostřednictvím nového nativního dekodéru Parquet
  • Zlepšení výkonu pro běžné odstranění dílčích výrazů
  • Vylepšení výkonu přeskakování dat u velkých tabulek spojování malých tabulek (spojení tabulek dimenzí faktů)
  • display() teď vykresluje sloupce obsahující datové typy obrázků jako formátovaný formát HTML.
  • Vylepšení protokolů, načítání, registrace a nasazování modelů MLflow
    • Upgrade dbml-local na nejnovější verzi 0.4.1
    • Oprava chyby u modelů exportovaných se zadaným parametrem threshold
    • Přidání podpory pro export OneVsRestModel, GBTClassificationModel
  • Upgradovali jste některé nainstalované knihovny Pythonu:
    • pip: od 9.0.1 do 10.0.0b2
    • instalační nástroje: od 38.5.1 do 39.0.1
    • tornado: 4.5.3 až 5.0.1
    • kolo: 0.30.0 až 0.31.0
  • Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.
  • Upgradovali jsme sadu AZURE Data Lake Store SDK z verze 2.0.11 na verzi 2.2.8.
  • Upgradovali jsme CUDA na 9.0 z 8.0 a CUDNN na 7.0 z 6.0 pro clustery GPU.

Apache Spark

Databricks Runtime 4.1 zahrnuje Apache Spark 2.3.0. Tato verze zahrnuje všechny opravy a vylepšení zahrnutá v Databricks Runtime 4.0 (nepodporované) a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-24007][SQL] EqualNull Sejf pro FloatType a DoubleType může vygenerovat nesprávný výsledek pomocí codegen.
  • [SPARK-23942][PYTHON] [SQL] Shromažďování v PySpark jako akce pro naslouchací proces exekutoru dotazu
  • [SPARK-23815][JÁDRO] Režim přepsání dynamického oddílu zapisovače Sparku může selhat při zápisu výstupu do víceúrovňových oddílů.
  • [SPARK-23748][SS] Oprava průběžného procesu SS nepodporuje problém s subqueryAlias
  • [SPARK-23963][SQL] Správně zpracovat velký počet sloupců v dotazu na textovou tabulku Hive
  • [SPARK-23867][SCHEDULER] použití funkce droppedCount v logWarningu
  • [SPARK-23816][JÁDRO] Zabité úkoly by měly ignorovat FetchFailures.
  • [SPARK-23809][SQL] Aktivní SparkSession by měl být nastaven pomocí getOrCreate
  • [SPARK-23966][SS] Refaktoring veškeré logiky zápisu souboru kontrolního bodu do společného rozhraní CheckpointFileManager
  • [SPARK-21351][SQL] Aktualizace nullability na základě výstupu podřízených položek
  • [SPARK-23847][PYTHON] [SQL] Přidání asc_nulls_first, asc_nulls_last do PySpark
  • [SPARK-23822][SQL] Zlepšení chybové zprávy kvůli neshodám schématu Parquet
  • [SPARK-23823][SQL] Zachování původu v transformExpressionu
  • [SPARK-23838][WEBI] Spuštěný dotaz SQL se na kartě SQL zobrazí jako dokončený.
  • [SPARK-23802][SQL] Rozšíření PropagateEmptyRelation může ponechat plán dotazu v nevyřešeném stavu.
  • [SPARK-23727][SQL] Podpora pro nabízení filtrů pro DateType v parquet
  • [SPARK-23574][SQL] Sestava SinglePartition v DataSourceV2ScanExec, pokud existuje přesně 1 objekt pro čtení dat.
  • [SPARK-23533][SS] Přidání podpory pro změnu startOffset třídy ContinuousDataReader
  • [SPARK-23491][SS] Odebrání explicitního zrušení úlohy z překonfigurování ContinuousExecution
  • [SPARK-23040][JÁDRO] Vrátí přerušitelný iterátor pro čtečku náhodného prohazování.
  • [SPARK-23827][SS] StreamingJoinExec by měl zajistit, aby vstupní data byla rozdělena na určitý počet oddílů.
  • [SPARK-23639][SQL] Získání tokenu před klientem inicializačního metastoru v rozhraní příkazového řádku SparkSQL
  • [SPARK-23806]Broadcast.unpersist může způsobit závažnou výjimku při použití...
  • [SPARK-23599][SQL] Použití RandomUUIDGeneratoru ve výrazu Uuid
  • [SPARK-23599][SQL] Přidání generátoru UUID z pseudonáhodných čísel
  • [SPARK-23759][UŽIVATELSKÉ ROZHRANÍ] Nejde vytvořit vazbu uživatelského rozhraní Sparku na konkrétní název hostitele nebo IP adresu
  • [SPARK-23769][JÁDRO] Odebrání komentářů, které zbytečně zakazují kontrolu Scalastyle
  • [SPARK-23614][SQL] Oprava nesprávného opakovaného použití výměny při použití mezipaměti
  • [SPARK-23760][SQL] CodegenContext.withSubExprminationExprs by měl správně uložit nebo obnovit stav csE.
  • [SPARK-23729][JÁDRO] Respektování fragmentu identifikátoru URI při překladu globů
  • [SPARK-23550][JÁDRO] Vyčištění nástrojů
  • [SPARK-23288][SS] Oprava výstupních metrik s využitím jímky Parquet
  • [SPARK-23264][SQL] Opravte scalu. MatchError in literals.sql.out
  • [SPARK-23649][SQL] Vynechání znaků nepovolené v UTF-8
  • [SPARK-23691][PYTHON] Použití nástroje sql_conf v testech PySpark, pokud je to možné
  • [SPARK-23644][JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Použití absolutní cesty pro volání REST v SHS
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) by měl v PySpark vytvořit hodnotu None
  • [SPARK-23623][SS] Vyhněte se souběžnému používání příjemců uložených v mezipaměti v CachedKafkaConsumer
  • [SPARK-23670][SQL] Oprava nevracení paměti ve SparkPlanGraphWrapperu
  • [SPARK-23608][JÁDRO] [WEBI] Přidání synchronizace v SHS mezi funkce attachSparkUI a detachSparkUI, aby se zabránilo souběžným problémům s úpravami obslužných rutin Jetty
  • [SPARK-23671][JÁDRO] Oprava podmínky pro povolení fondu vláken SHS
  • [SPARK-23658][SPOUŠTĚČ] InProcessAppHandle používá nesprávnou třídu v getLoggeru.
  • [SPARK-23642][DOCS] Podtřída akumulátoruV2 jezero scaladoc fix
  • [SPARK-22915][MLLIB] Testy streamování pro funkci spark.ml., od N do Z
  • [SPARK-23598][SQL] Vytváření metod ve veřejné vyrovnávací pamětiRowIterator, aby se zabránilo chybě za běhu pro velký dotaz
  • [SPARK-23546][SQL] Refaktoring bezstavových metod/hodnot v CodegenContext
  • [SPARK-23523][SQL] Oprava nesprávného výsledku způsobeného pravidlem OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] Zlepšení chybové zprávy chybějícího pole v StructType
  • [SPARK-23624][SQL] Revize dokumentace metod pushFilters ve zdroji dat V2
  • [SPARK-23173][SQL] Vyhněte se vytváření poškozených souborů Parquet při načítání dat z JSON
  • [SPARK-23436][SQL] Odvození oddílu jako data pouze v případě, že ho lze přetypovat na Datum
  • [SPARK-23406][SS] Povolení samoobslužných spojení streamů
  • [SPARK-23490][SQL] Kontrola storage.locationUri s existující tabulkou v CreateTable
  • [SPARK-23524]Velké místní bloky náhodného náhodného prohazování by neměly být kontrolovány poškození.
  • [SPARK-23525][SQL] Podpora KOMENTÁŘE KE SLOUPCI ALTER TABLE CHANGE COLUMN pro externí tabulku Hive
  • [SPARK-23434][SQL] Spark by neměl varovat adresář metadat pro cestu k souboru HDFS
  • [SPARK-23457][SQL] První registrace naslouchacích procesů dokončení úkolů v ParquetFileFormat
  • [SPARK-23329][SQL] Oprava dokumentace k trigonometrickým funkcím
  • [SPARK-23569][PYTHON] Povolit pandas_udf pracovat s funkcemi typu a poznámkami ve stylu Python3
  • [SPARK-23570][SQL] Přidání Sparku 2.3.0 v HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] Nastavte _pyspark.util. exception_message vytvořit trasování z Javy vedle Py4JJavaError
  • [SPARK-23508][JÁDRO] Oprava BlockmanagerId v případě, že blockManagerIdCache způsobuje oom
  • [SPARK-23448][SQL] Objasnění chování analyzátoru JSON a CSV v dokumentu
  • [SPARK-23365][JÁDRO] Při zabíjení nečinných exekutorů neupravujte num exekutory.
  • [SPARK-23438][DSTREAMS] Oprava ztráty dat D Toky s WAL při chybovém ukončení ovladače
  • [SPARK-23475][UŽIVATELSKÉ ROZHRANÍ] Zobrazit také přeskočené fáze
  • [SPARK-23518][SQL] Vyhněte se přístupu k metastoru, když uživatelé chtějí jen číst a zapisovat datové rámce.
  • [SPARK-23406][SS] Povolení samoobslužných spojení streamů
  • [SPARK-23541][SS] Povolit zdroji Kafka čtení dat s větším paralelismu než počet oddílů článku
  • [SPARK-23097][SQL] [SS] Migrace zdroje textových soketů do V2
  • [SPARK-23362][SS] Migrace zdroje Microbatch Kafka na verzi 2
  • [SPARK-23445]Refaktoring ColumnStat
  • [SPARK-23092][SQL] Migrace MemoryStream do rozhraní API DataSourceV2
  • [SPARK-23447][SQL] Šablona cleanup codegen pro literál
  • [SPARK-23366]Zlepšení cesty čtení za chodu v ReadAheadInputStream
  • [SPARK-22624][PYSPARK] Zveřejnění náhodného prohazování oddílů rozsahu

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 4.1.

Prostředí systému

  • Operační systém: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 pro clustery Python 2 a 3.5.2 pro clustery Python 3.
  • R: R verze 3.4.4 (2018-03-15)
  • Clustery GPU: Nainstalují se následující knihovny NVIDIA GPU:
    • Ovladač Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
pivovar2mpl 1.4.1 Certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
Kryptografie 1.5 Cyklovač 0.10.0 Cython 0.24.1
Dekoratér 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 Revize Sejf 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Polštář 3.3.1
Pip 10.0.0b2 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
žádosti 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 Pročesat 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Šest 1.10.0 statsmodels 0.6.1
Tornádo 5.0.1 vlastnosti 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 Kolo 0.31.0
wsgiref 0.1.2

Nainstalované knihovny jazyka R

Knihovna Verze Knihovna Verze Knihovna Verze
abind 1.4-5 assertthat 0.2.0 Backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bitové 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 startování 1.3-20
Vařit 1.0-6 Koště 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 Rozhraní příkazového řádku 1.0.0
cluster 2.0.7 codetools 0.2-15 barevný prostor 1.3-2
commonmark 1.4 – kompilátor 3.4.4 Pastelka 1.3.4
Curl 3.2 CVST 0.2-1 data.table 1.10.4-3
Power BI 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 Digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 Zahraniční 0.8-69
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 Lepidlo 1.2.0 Gower 0.1.2
Grafika 3.4.4 grDevices 3.4.4 Mřížky 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
Útočiště 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iterátory 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 Označování 0.3 Mříže 0.20-35
Láva 1.6.1 lazyeval 0.2.1 malý 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 Mapy 3.3.0 maptools 0.9-2
MASS 7.3-49 Matice 1.2-13 Maticové modely 0.4-1
memoise 1.1.0 metody 3.4.4 mgcv 1.8-23
Mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 Pilíř 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 Chvála 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 proto 1.0.0
Psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recepty 0.1.2 Zápas 1.0.1 reshape2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 Váhy 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.0 Řídký čas 1.77
Prostorové 7.3-11 Křivky 3.4.4 sqldf 0.4-11
ČTVEREC 2017.10-1 statmod 1.4.30 Statistiky 3.4.4
Statistiky 4 3.4.4 stringi 1.1.7 stringr 1.3.0
Přežití 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
vousa 0.3-2 withr 2.1.2 xml2 1.2.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.11)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws automatické škálování aws-java-sdk 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws podpora aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics datový proud 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware Kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1,1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metriky – jádro 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metriky – kontroly stavu 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metriky – servlety 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Kolekcí 0,7
javax.activation aktivace 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolit 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow šipka – paměť 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro Avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-inkubační
org.apache.calcite kalcite-core 1.2.0-inkubační
org.apache.calcite calcite-linq4j 1.2.0-inkubační
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.kurátor kurátor-client 2.7.1
org.apache.kurátor kurátor-framework 2.7.1
org.apache.kurátor kurátor-recepty 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy Ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet kódování parquet 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty pokračování jetty 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core žerzejové společné 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate Hibernate-validator 5.1.1.Final
org.iq80.snappy Elegantní 0,2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark Nepoužité 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani Xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel makro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
Oro Oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52