Databricks Runtime 10.1 (stöds inte)

Följande viktig information innehåller information om Databricks Runtime 10.1 och Databricks Runtime 10.1 Photon, som drivs av Apache Spark 3.2.0. Databricks släppte dessa bilder i november 2021. Foton finns i offentlig förhandsversion.

Nya funktioner och förbättringar

Nya Delta-tabellinställningar för att komprimera små filer

Egenskapen Delta-tabell delta.autoOptimize.autoCompact accepterar nu de nya värdena auto för och legacy utöver de befintliga värdena true för och false. När inställningen är inställd på auto (rekommenderas) använder automatisk komprimering bättre standardvärden, till exempel att ange 32 MB som målfilstorlek (även om standardbeteenden kan komma att ändras i framtiden). När den är inställd på legacy eller trueanvänder autokomprimering 128 MB som målfilstorlek.

I stället för att ange den här egenskapen för en enskild tabell kan du ange konfigurationen spark.databricks.delta.autoCompact.enabled till auto, legacyeller true för att aktivera Automatisk komprimering för alla Delta-tabeller. Den här konfigurationen har företräde framför den relaterade tabellegenskapen under den aktuella sessionen.

Målfilens storlek för automatisk komprimering kan styras med konfigurationen spark.databricks.delta.autoCompact.maxFileSize .

Mer information om automatisk komprimering finns i Automatisk komprimering för Delta Lake på Azure Databricks.

Nya radgruppsmått för Parquet-frågegenomsökningar

Frågor med Parquet-genomsökningar ytbehandlar nu radgruppsmått i Spark-användargränssnittet. Dessa radgruppsmått är:

  • totalt antal parquet-radgrupper
  • antal parquet-radgrupper som lästs

Trigger.AvailableNow för strömningsfrågor för Delta-källa

Den här ändringen stöder en ny typ av utlösare för Delta-källströmningsfrågor i Scala: Trigger.AvailableNow. Det är som Trigger.Once, som bearbetar alla tillgängliga data och stoppar sedan frågan. Ger dock Trigger.AvailableNow bättre skalbarhet eftersom data kan bearbetas i flera batchar i stället för en. Den här ändringen introducerar inte något nytt gränssnitt. den implementerar ett befintligt Spark-API. Den här utlösaren stöder också alla alternativ för hastighetsbegränsning som redan stöds av Delta som källa.

Exempel:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Se täckning för Trigger.AvailableNow i Vad är automatisk inläsning?.

Trigger.AvailableNow för automatisk inläsning

Trigger.AvailableNow är ett nytt utlösarläge för direktuppspelning som liknar Trigger.Once. Trigger.Once bearbetar alla tillgängliga data och stoppar sedan frågan. Trigger.AvailableNow har bättre skalbarhet eftersom data kan bearbetas i flera batchar i stället för en. Automatisk inläsning stöder Trigger.AvailableNow nu i både kataloglistnings- och filmeddelandelägen för Scala. Se täckning för Trigger.AvailableNow i Vad är automatisk inläsning?.

Deltastöd för Konfigurationer av Hadoop-filsystem som skickas via DataFrame-alternativ

På samma sätt som Parquet stöder Delta nu läsning av Konfigurationer av Hadoop-filsystem från DataFrameReader och DataFrameWriter alternativ när tabellen läss eller skrivs, med hjälp DataFrameReader.load(path) av eller DataFrameWriter.save(path). Se Konfigurera autentiseringsuppgifter för Delta Storage.

Asynkrona kontrollpunkter för tillstånd stöds nu i tillståndskänsliga strömningsjobb (offentlig förhandsversion)

Asynkrona kontrollpunkter för tillstånd är en ny funktion som potentiellt minskar svarstiden från slutpunkt till slutpunkt för tillståndskänsliga strömningsjobb med stora tillståndsuppdateringar. Se Asynkrona kontrollpunkter för tillstånd för tillståndskänsliga frågor.

Sparklyr med genomströmning för autentiseringsuppgifter

Nu kan du använda sparklyr-API:er för att läsa och skriva data till och från molnlagring med hjälp av genomströmning av autentiseringsuppgifter. Den här funktionen är begränsad till standardkluster med enkel användaråtkomst. Se Åtkomst till Azure Data Lake Storage med microsoft entra-ID (tidigare Azure Active Directory) genomströmning av autentiseringsuppgifter (äldre).

Databricks Utilities-data sammanfattar precisionskontroll (offentlig förhandsversion)

En ny precise parameter för dbutils.data.summarize styr precisionen för sammanfattningsresultat. När precise är inställt på false (standard) returnerar sammanfattningen ungefärliga resultat för distinkt antal, percentil och antal frekventa objekt. När precise är inställt på sant beräknas nu sammanfattningar med exakt distinkt antal och antal frekventa objekt, med mer exakta percentiluppskattningar. Se kommandot summarize (dbutils.data.summarize).

Azure Databricks-notebook-filer kan nu användas med IPython-kerneln

Nu kan du konfigurera ett Azure Databricks-kluster för att använda IPython-kerneln för att köra Python-kod. Om du använder IPython-kerneln i Azure Databricks får du stöd för IPythons visnings- och utdataverktyg. Dessutom samlar IPython-kerneln in stdout- och stderr-utdata från underordnade processer som skapats av en notebook-fil, vilket gör att utdata kan inkluderas i notebook-kommandoresultatet.

Mer information finns i IPython-kernel.

Nya funktioner i Spark SQL

Följande objekt och kommandon har lagts till för att arbeta med data i Unity Catalog (förhandsversion):

Följande kommandon har lagts till för deltadelning (förhandsversion) som gör att du kan dela skrivskyddade data med mottagare utanför organisationen:

Felkorrigeringar

  • Ett konkurrenstillstånd som kan orsaka ett frågefel med ett IOException sådant som No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • filelock från 3.0.12 till 3.3.1
    • koalas från 1.8.1 till 1.8.2
    • ritat från 5.1.0 till 5.3.0
  • Uppgraderade R-bibliotek:
    • bslib från 0.3.0 till 0.3.1
    • caret från 6.0-88 till 6.0-90
    • cpp11 från 0.3.1 till 0.4.0
    • data.table från 1.14.0 till 1.14.2
    • desc från 1.3.0 till 1.4.0
    • diffobj från 0.3.4 till 0.3.5
    • sammandrag från 0,6,27 till 0,6,28
    • generiska läkemedel från 0.1.0 till 0.1.1
    • hms från 1.1.0 till 1.1.1
    • stickning från 1,34 till 1,36
    • lattice från 0.20-44 till 0.20-45
    • livscykel från 1.0.0 till 1.0.1
    • lubridat från 1.7.10 till 1.8.0
    • mgcv från 1,8-37 till 1,8-38
    • mime från 0,11 till 0,12
    • pkgload från 1.2.2 till 1.2.3
    • progressr från 0.8.0 till 0.9.0
    • rcmdcheck från 1.3.3 till 1.4.0
    • readr från 2.0.1 till 2.0.2
    • recept från 0.1.16 till 0.1.17
    • remotes från 2.4.0 till 2.4.1
    • rlang från 0.4.11 till 0.4.12
    • rvest från 1.0.1 till 1.0.2
    • glänsande från 1.6.0 till 1.7.1
    • stringi från 1.7.4 till 1.7.5
    • testthat från 3.0.4 till 3.1.0
    • tidyr från 1.1.3 till 1.1.4
    • tinytex från 0,33 till 0,34
    • usethis från 2.0.1 till 2.1.2
    • xfun från 0,26 till 0,27
  • Uppgraderade Java-bibliotek:
    • com.zaxxer.HikariCP från 3.1.0 till 4.0.3

Apache Spark

Databricks Runtime 10.1 innehåller Apache Spark 3.2.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.0 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-37037] [SQL] Förbättra bytematrissortering genom att förena compareTo-funktionen för UTF8String och ByteArray
  • [SPARK-37091] [R] SystemRequirements för att inkludera Java < 18
  • [SPARK-37041] [SQL] Stöd för Backport HIVE-15025: SSL (Secure-Socket-Layer) för HMS
  • [SPARK-37098] [SQL] Ändra tabellegenskaper bör ogiltigförklara cacheminnet
  • [SPARK-36992] [SQL] Förbättra bytematrisens sorteringsperf genom att förena funktionen getPrefix för UTF8String och ByteArray
  • [SPARK-37047] [SQL] Lägga till lpad- och rpad-funktioner för binära strängar
  • [SPARK-37076] [SQL] Implementera StructType.toString explicit för Scala 2.13
  • [SPARK-37075] [SQL] Flytta UDAF-uttrycksbygge från sql/catalyst till sql/core
  • [SPARK-37084] [SQL] Ange spark.sql.files.openCostInBytes till bytesConf
  • [SPARK-37088] [PYSPARK] [SQL] Skrivtråd får inte komma åt indata när lyssnaren för uppgiften har slutförts
  • [SPARK-37069] [SQL] Återställning när Hive.getWithoutRegisterFns inte är tillgängligt
  • [SPARK-37050] [PYTHON] Uppdatera installationsanvisningar för Conda
  • [SPARK-37067] [SQL] Använd ZoneId.of() för att hantera tidszonssträngen i DatetimeUtils
  • [SPARK-35925] [SQL] Stöd för DayTimeIntervalType i funktionen width-bucket
  • [SPARK-35926] [SQL] Lägg till stöd för YearMonthIntervalType för width_bucket
  • [SPARK-35973] [SQL] Lägg till kommando SHOW CATALOGS
  • [SPARK-36922] [SQL] Funktionerna SIGN/SIGNUM bör ha stöd för ANSI-intervall
  • [SPARK-37078] [CORE] Stöd för gamla 3-parameters mottagare konstruktorer
  • [SPARK-37061] [SQL] Åtgärda CustomMetrics när du använder inre klasser
  • [SPARK-35918] [AVRO] Förena schemamatchningshantering för läs-/skrivfel och förbättra felmeddelanden
  • [SPARK-36871] [SQL] Migrera Kommandot CreateViewStatement till v2
  • [SPARK-36898] [SQL] Gör shuffle-hashkopplingsfaktorn konfigurerbar
  • [SPARK-36921] [SQL] Stöd för ANSI-intervall efter DIV
  • [SPARK-36794] [SQL] Ignorera duplicerade kopplingsnycklar när du skapar en relation för SEMI/ANTI-blandad hashkoppling
  • [SPARK-36867] [SQL] Åtgärda felmeddelande med GROUP BY-alias
  • [SPARK-36914] [SQL] Implementera dropIndex och listIndexes i JDBC (MySQL-dialekt)
  • [SPARK-35531] [SQL] Skicka hive Table direkt till HiveClient när du anropar getPartitions för att undvika onödig konvertering från HiveTable –> CatalogTable – –> HiveTable
  • [SPARK-36718] [SQL] Dölj bara projekt om vi inte duplicerar dyra uttryck
  • [SPARK-37046] [SQL]: Alter-vyn bevarar inte kolumnfall
  • [SPARK-36978] [SQL] InferConstraints-regeln bör skapa IsNotNull-begränsningar för det kapslade fältet i stället för den kapslade rottypen
  • [SPARK-37052] [CORE] Spark ska bara skicka – utförligt argument till huvudklassen när är sql shell
  • [SPARK-37017] [SQL] Minska omfånget för synkroniserade för att förhindra potentiellt dödläge
  • [SPARK-37032] [SQL] Åtgärda bruten SQL-syntaxlänk på SQL-referenssidan
  • [SPARK-36905] [SQL] Åtgärda läsning av hive-vyer utan explicita kolumnnamn
  • [SPARK-36678] Migrera SHOW TABLES för att använda V2-kommandot som standard
  • [SPARK-36943] [SQL] Förbättra läsbarheten för felmeddelande om saknade kolumner
  • [SPARK-36980] [SQL] Infoga supportfråga med CTE
  • [SPARK-37001] [SQL] Inaktivera två map-nivåer för slutlig hash-aggregering som standard
  • [SPARK-36970] [SQL] Manuellt inaktiverat funktionsformat Bdate_format för att göra Java 17 kompatibelt med Java 8
  • [SPARK-36546] [SQL] Lägga till matrisstöd till union efter namn
  • [SPARK-36979] [SQL] Lägg till rewriteLateralSubquery-regeln i nonExcludableRules
  • [SPARK-36949] [SQL] Tillåt inte Hive-providertabeller med ANSI-intervall
  • [SPARK-36849] [SQL] Migrera UseStatement till v2-kommandoramverket
  • [SPARK-36868] [SQL] Migrera CreateFunctionStatement till v2-kommandoramverket
  • [SPARK-36841] [SQL] Lägg till ansi-syntax set catalog xxx för att ändra den aktuella katalogen
  • [SPARK-36821] [SQL] Gör klassen ColumnarBatch utökad – tillägg
  • [SPARK-36963] [SQL] Lägg till max_by/min_by i sql.functions
  • [SPARK-36913] [SQL] Implementera createIndex och IndexExists i DS V2 JDBC (MySQL-dialekt)
  • [SPARK-36848] [SQL] Migrera ShowCurrentNamespaceStatement till v2-kommandoramverket
  • [SPARK-36526] [SQL] Stöd för DSV2-index: Lägg till supportIndex-gränssnitt
  • [SPARK-36960] [SQL] Pushdown-filter med ANSI-intervallvärden till ORC
  • [SPARK-36929] [SQL] Ta bort oanvänd metod EliminateSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL] Stöd för läsning och skrivning av ANSI-intervall från/till ORC-datakällor
  • [SPARK-34980] [SQL] Stöd för sammansådningspartition via union i AQE
  • [SPARK-36809] [SQL] Ta bort sändning för InSubqueryExec som används i DPP
  • [SPARK-36813] [SQL] [PYTHON] Föreslå en infrastruktur för as-of join och imlement ps.merge_asof
  • [SPARK-36918] [SQL] Ignorera typer när du jämför structs för unionByName
  • [SPARK-36891] [SQL] Omstrukturera SpecificParquetRecordReaderBase och lägg till mer täckning på vektoriserad Parquet-avkodning
  • [SPARK-36920] [SQL] Stöd för ANSI-intervall efter ABS()
  • [SPARK-36888] [SQL] lägg till testfall för sha2-funktionen
  • [SPARK-36889] [SQL] Respekt spark.sql.parquet.filterPushdown av v2 parquet scan builder
  • [SPARK-36830] [SQL] Stöd för läsning och skrivning av ANSI-intervall från/till JSON-datakällor
  • [SPARK-36870] [SQL] Introducera INTERNAL_ERROR felklass
  • [SPARK-36831] [SQL] Stöd för läsning och skrivning av ANSI-intervall från/till CSV-datakällor.
  • [SPARK-36550] [SQL] Spridningsorsak när UDF-reflektionen misslyckas
  • [SPARK-36866] [SQL] Pushdown-filter med ANSI-intervallvärden för parquet
  • [SPARK-33832] [SQL] Framtvinga förenkling och förbättring av snedkopplingskod
  • [SPARK-36642] [SQL] Lägg till df.withMetadata pyspark API
  • [SPARK-35765] [SQL] Distinkta aggs är inte duplicerade känsliga
  • [SPARK-36825] [SQL] Läsa/skriva dataramar med ANSI-intervall från/till parquet-filer
  • [SPARK-36829] [SQL] Refaktor-NULL-kontroll för collectionOperators
  • [SPARK-32712] [SQL] Stöd för att skriva Hive-bucketad tabell (Hive-filformat med Hive-hash)
  • [SPARK-36797] [SQL] Unionen bör matcha kapslade kolumner som kolumner på den översta nivån
  • [SPARK-36838] [SQL] Förbättra prestanda för InSet-genererad kod
  • [SPARK-36683] [SQL] Lägg till nya inbyggda SQL-funktioner: SEC och CSC
  • [SPARK-36721] [SQL] Förenkla booleska likheter om ena sidan är literal
  • [SPARK-36760] [SQL] Lägg till gränssnittsfunktionerPushDownV2Filters
  • [SPARK-36652] [SQL] Val av dynamisk AQE-koppling bör inte gälla för icke-equi-koppling
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys bör returnera de ursprungliga predikaten för kopplingsnycklar
  • [SPARK-36107] [SQL] Omstrukturera den första uppsättningen med 20 frågekörningsfel för att använda felklasser
  • [SPARK-32709] [SQL] Stöd för att skriva Hive-bucketad tabell (Parquet/ORC-format med Hive-hash)
  • [SPARK-36735] [SQL] Justera omkostnaderna för cachelagrad relation för DPP
  • [SPARK-33832] [SQL] Stöd för att optimera skev koppling även om du introducerar extra shuffle
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec bör använda alla villkor i stället för icke-equi-villkor
  • [SPARK-35221] [SQL] Lägg till kontrollen av kopplingstips som stöds
  • [SPARK-36814] [SQL] Gör klassen ColumnarBatch utökad
  • [SPARK-36663] [SQL] Stöd för kolumnnamn med endast nummer i ORC-datakällor
  • [SPARK-36751] [SQL] [PYTHON] [R] Lägg till bit-/octet_length-API:er i Scala, Python och R
  • [SPARK-36733] [SQL] Åtgärda ett problem med prestanda i SchemaPruning när en struct har många fält
  • [SPARK-36724] [SQL] Stöd timestamp_ntz som en typ av tidskolumn för SessionWindow
  • [SPARK-36556] [SQL] Lägga till DSV2-filter
  • [SPARK-36687] [SQL] [CORE] Byt namn på felklasser med _ERROR suffix
  • [SPARK-35803] [SQL] Stöd för DataSource V2 CreateTempViewUsing
  • [SPARK-36642] [SQL] Lägg till df.withMetadata: en syntax som suger för att uppdatera metadata för en dataram

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 10.1.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
Blekmedel 3.3.0 boto3 1.16.7 botocore 1.19.7
Certifi 2020.12.5 Cffi 1.14.5 Chardet 4.0.0
Apparat 0.10.0 Cython 0.29.23 dbus-python 1.2.16
Dekoratör 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0,3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
Ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 Koalas 1.8.2 Markering Valv 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notebook-fil 6.3.0 Numpy 1.19.2 Förpackning 20.9
Pandas 1.2.4 pandocfilter 1.4.3 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kudde 8.2.0 Pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 Pygobject 3.36.0
Pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 Setuptools 52.0.0 Sex 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 Uthållighet 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Hjul 0.36.2 widgetsnbextension 3.5.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-10-26.

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1,1 assertthat 0.2.1 Backports 1.2.1
bas 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 start 1.3-28
Brygga 1.0-6 Brio 1.1.2 Kvast 0.7.9
bslib 0.3.1 cachem 1.0.6 anropare 3.7.0
textmarkör 6.0-90 cellranger 1.1.0 Chron 2.3-56
klass 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 Codetools 0.2-18 Färgrymd 2.0-2
commonmark 1,7 Kompilator 4.1.1 config 0.3.1
cpp11 0.4.0 Krita 1.4.1 autentiseringsuppgifter 1.3.1
Curl 4.3.2 data.table 1.14.2 datauppsättningar 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.4.0
Devtools 2.4.2 diffobj 0.3.5 Digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellips 0.3.2 evaluate (utvärdera) 0,14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 Utländska 0.8-81
Forge 0.2.0 Fs 1.5.0 Framtiden 1.22.1
future.apply 1.8.1 Gurgla 1.2.0 Generika 0.1.1
Gert 1.4.1 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 Globals 0.14.0
Lim 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 grafik 4.1.1 grDevices 4.1.1
Rutnät 4.1.1 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 Tillflyktsort 2.4.3 highr 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Id 1.0.1 Ini 0.3.1
Ipred 0.9-12 isoband 0.2.5 Iteratorer 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 Kernsmooth 2.23-20
stickning 1.36 Märkning 0.4.2 Senare 1.3.0
Galler 0.20-45 Lava 1.6.10 livscykel 1.0.1
lyssna 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1,1 MASSACHUSETTS 7.3-54 Matris 1.3-4
pmise 2.0.0 metoder 4.1.1 Mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 Nlme 3.1-152 Nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallellt 1.28.1 Pelaren 1.6.4 pkgbuild 1.2.0
Pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 Beröm 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Förlopp 1.2.2 progressr 0.9.0 Löften 1.2.0.1
Proto 1.0.0 Proxy 0.4-26 Ps 1.6.0
Purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recept 0.1.17 Returmatch 1.0.1
rematch2 2.1.2 Fjärrkontroller 2.4.1 reprex 2.0.1
omforma2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 Rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversioner 2.1.1 rvest 1.0.2
Sass 0.4.0 Skalor 1.1.1 väljare 0.4-2
sessioninfo 1.1.1 Form 1.4.6 Blanka 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
Rumsliga 7.3-11 Splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 Statistik 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 Överlevnad 3.2-13
sys 3.4 Tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 Tibble 3.1.5 tidyr 1.1.4
avmarkera 1.1.1 tidyverse 1.3.1 Timedate 3043.102
tinytex 0.34 verktyg 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 verktyg 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 Morrhår 0,4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kodning 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-fortsättning 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty brygga-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty brygga plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty brygga-server 9.4.40.v20210413
org.eclipse.jetty brygga-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty brygga-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Oanvända 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1