Databricks Runtime 7.5 (stöds inte)
Databricks släppte den här bilden i december 2020.
Följande viktig information innehåller information om Databricks Runtime 7.5, som drivs av Apache Spark 3.0.
Nya funktioner
Funktioner och förbättringar i Delta Lake
Den här versionen innehåller följande Delta Lake-funktioner och förbättringar:
- Asynkron kontrollpunkt eliminerar strömning av mikrobatchvaraktighetstoppar
- Den senaste tabellinformationen sprids nu till kataloger
MERGE INTOåtgärden stöder nu schemautveckling av kapslade kolumnerMERGE INTOåtgärden använder nu automatiskt optimerade skrivningarMERGE INTOochUPDATEåtgärder löser nu kapslade structkolumner efter namnCLONEär GA och du kan nu åsidosätta tabellegenskaperRESTOREär GA- Implicita Scala-api:er förenklar Sparks läs- och skriv-API:er
- Förbättra dataflödet för direktuppspelning med
fetchParallelismanslutningsalternativet - Spåra strömmens förlopp med nya mått för automatisk inläsning
Asynkron kontrollpunkt eliminerar strömning av mikrobatchvaraktighetstoppar
Delta Lake utför kontrollpunkter var tionde incheckning som standard. I strömningsarbetsbelastningar kan kontrollpunkter orsaka mindre toppar i mikrobatchvaraktigheten var tionde incheckning. Asynkron kontrollpunkt eliminerar dessa toppar.
Asynkron kontrollpunkt är aktiverat som standard för alla arbetsbelastningar som inte utlöses när strömningen har strömmats. Med asynkrona kontrollpunkter skriver strömmande skrivare även förbättrade kontrollpunkter så att du inte uttryckligen behöver välja förbättrade kontrollpunkter.
Om du vill inaktivera asynkrona kontrollpunkter anger du SQL-konfigurationen spark.databricks.delta.checkpoint.async.enabled false.
Batch-arbetsbelastningar fortsätter att skriva kontrollpunkter synkront och vi rekommenderar att du inte aktiverar asynkrona kontrollpunkter för batcharbetsbelastningar.
Den senaste tabellinformationen sprids nu till kataloger
Delta Lake sprider nu den senaste tabellinformationen, till exempel schema- och tabellegenskaper, till kataloger som Hive-metaarkivet på bästa sätt. Sådan information kan hjälpa dig att använda katalogverktyg för att förstå schemat för dina Delta-tabeller.
Delta Lake är inte internt beroende av den här informationen, men försöker hålla den uppdaterad. Dessutom lagrar Delta Lake tabellegenskaper delta.lastUpdateVersion och delta.lastCommitTimestamp anger versionen och tidsstämpeln för incheckningen som senast överförde en ändring till metaarkivet. Metaarkivet uppdateras endast när schemat för tabellen eller egenskaperna i tabellen inte matchar.
Därför återspeglar de ovan nämnda tabellegenskaperna inte nödvändigtvis den senaste versionen av tabellen.
Om tabellinformationen och metaarkivinformationen inte är synkroniserade kan du köra ett kommando som DESCRIBE <table> att uppdatera metaarkivet.
Kommentar
Eftersom Hive inte tillåter de föränderliga partitionskolumnerna, men Delta-tabeller kan ändra partitioneringen, visas inte Delta-tabeller som partitionerade i Hive.
MERGE INTO åtgärden stöder nu schemautveckling av kapslade kolumner
Schemautvecklingen för kapslade kolumner har nu samma semantik som för kolumner på den översta nivån. Till exempel kan nya kapslade kolumner läggas till automatiskt i en StructType kolumn. Mer information finns i Automatisk schemautveckling i Sammanslagning .
MERGE INTO åtgärden använder nu automatiskt optimerade skrivningar
Optimerade skrivningar kan ge mycket bättre prestanda för MERGE INTO out-of-the-box, särskilt för MERGE INTO partitionerade tabeller. Om du vill inaktivera Optimerade skrivningar anger du Spark-konfigurationen spark.databricks.delta.optimizeWrite.enabled till false.
MERGE INTO och UPDATE åtgärder löser nu kapslade structkolumner efter namn
Uppdateringsåtgärder UPDATE och MERGE INTO kommandon löser nu kapslade structkolumner efter namn. Det innebär att när du jämför eller tilldelar kolumner av typen StructType spelar ordningen för de kapslade kolumnerna ingen roll (exakt på samma sätt som ordningen på kolumner på den översta nivån). Om du vill återgå till att matcha efter position anger du Spark-konfigurationen spark.databricks.delta.resolveMergeUpdateStructsByName.enabled till false.
CLONE är GA och du kan nu åsidosätta tabellegenskaper
Kommandot CLONE är nu allmänt tillgängligt. Se SKAPA TABELLKLONING. Dessutom kan du nu ange åsidosättningar av tabellegenskap när du använder CLONE. Exempel finns i Klona en tabell i Azure Databricks.
RESTORE är GA
Kommandot RESTORE är nu allmänt tillgängligt. Se ÅTERSTÄLL.
Implicita Scala-api:er förenklar Sparks läs- och skriv-API:er
Du kan importera io.delta.implicits._ för att använda delta metoden med Spark-läs- och skriv-API:er.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
Förbättra dataflödet för direktuppspelning med fetchParallelism anslutningsalternativet
AQS-anslutningstjänsten stöder nu ett nytt alternativ fetchParallelism för att ange parallelliteten för att hämta meddelanden från kötjänsten.
Spåra strömmens förlopp med nya mått för automatisk inläsning
Automatisk inläsning rapporterar nu hur många filer som finns i kvarvarande uppgifter och hur stora kvarvarande uppgifter som finns efter varje batch. Du kan använda dessa mått för att spåra strömmens förlopp. Mer information om hur du visar måtten finns i Vad är automatisk inläsning?.
Förbättringar
Bredare stöd för bibliotek med notebook-omfång med hjälp av %pip och %conda magiska kommandon
Nu kan du installera bibliotek med notebook-omfång med hjälp av %pip och %conda magiska kommandon i kluster med hög samtidighet med antingen tabell-ACL:er eller genomströmning av autentiseringsuppgifter aktiverat.
Korrekt Spark SQL-visning DECIMAL
Spark SQL-datatypen DECIMAL visas nu i tabeller utan förlust av precision och skalning.
ADLS Gen 2-lagringsanslutning baserat på Hadoop 3.3 för ABFS
En uppgraderad version av ADLS Gen 2-lagringsanslutningen baseras på Hadoop 3.3 för ABFS. Den uppgraderade anslutningsappen innehåller många stabilitetsförbättringar (se Hadoop-stabilitet) och har stöd för SAS-tokenautentisering.
Andra korrigeringar
Databricks Kafka-anslutningsappen för Spark Streaming har tagits bort. Använd Apache Spark-anslutningsappen.
Biblioteksuppgraderingar
- Uppgraderade Python-bibliotek:
- koalas uppgraderade från 1.3.0 till 1.4.0.
- Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.
- OpenJDK 8-versionen har uppgraderats till Zulu 8.50.0.51-CA-linux64 (version 1.8.0_275-b01).
Apache Spark
Databricks Runtime 7.5 innehåller Apache Spark 3.0.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 7.4 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-33611] [Användargränssnitt] Undvik kodning två gånger på frågeparametern för den omskrivna proxy-URL:en
- [SPARK-33587] [CORE] Döda kören på kapslade allvarliga fel (7.x)
- [SPARK-33140] [SQL] Återställ kod som inte använder skickad SparkSession för att hämta SQLConf.
- [SPARK-33472] [SQL] Justera regeln RemoveRedundantSorts
- [SPARK-33422] [DOC] Åtgärda rätt visning av det vänstra menyalternativet
- [SPARK-27421] [SQL] Åtgärda filter för int-kolumn och värdeklass java.lang.String när partitionskolumnen rensas
- [SPARK-33483] [INFRA] [TESTER] Åtgärda mönster för råttundantag och lägg till en LICENS
- [SPARK-33464] [INFRA] Lägg till/ta bort (ej)nödvändig cache och omstrukturera GitHub Actions yaml
- [SPARK-33407] [PYTHON] [7.X] Förenkla undantagsmeddelandet från Python-UDF:er (inaktiverade som standard)
- [SPARK-33435] [SQL] DSv2: UPPDATERA TABELL bör ogiltigförklara cacheminnen som refererar till tabellen
- [SPARK-33358] [SQL] Returnera kod när kommandoprocessen misslyckades
- [SPARK-33183] [DBCONNECT] Lägg till RemoveRedundantSorts.scala i ALLOW_LIST.txt
- [SPARK-33290] [SQL] UPPDATERA TABELL bör ogiltigförklara cacheminnet även om själva tabellen kanske inte cachelagras
- [SPARK-33140] [SQL] Åtgärda deltakompilering
- [SPARK-33316] [SQL] Lägg till enhetstester för from_avro och to_avro med Schema Registry och användaren har angett nullbart Avro-schema
- [SPARK-33404] [SQL] Åtgärda felaktiga resultat i
date_truncuttryck - [SPARK-33339] [PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
- [SPARK-33412] [SQL] OverwriteByExpression bör lösa borttagningsvillkoret baserat på tabellrelationen, inte indatafrågan
- [SPARK-33391] [SQL] element_at med CreateArray respekterar inte ett baserat index.
- [SPARK-33316] [SQL] Supportanvändaren har angett nullbart Avro-schema för katalysatorschema som inte kan nullaktiveras i Avro-skrivning
- [SPARK-33372] [SQL] Åtgärda InSet-bucketrensning
- [SPARK-33371] [PYTHON] Uppdatera setup.py och tester för Python 3.9
- [SPARK-33140] [SQL] ta bort SQLConf och SparkSession i alla underklasser av Rule[QueryPlan]
- [SPARK-33338] [SQL] GROUP BY med hjälp av literalkartan får inte misslyckas
- [SPARK-33306] [SQL] Tidszon krävs när gjutningsdatum till sträng
- [SPARK-33284] [WEB-UI] Om du klickar på valfritt fält för att sortera tabellen på sidan Lagringsgränssnitt går rubrikinnehållet förlorat
- [SPARK-33362] [SQL] skipSchemaResolution bör fortfarande kräva att frågan löses
- [SPARK-32257] [SQL] Rapporterar explicita fel för ogiltig användning av SET/RESET-kommandot
- [SPARK-32406] [SQL] Gör så att RESET-syntaxen stöder enkel konfigurationsåterställning
- [SPARK-32376] [SQL] Få unionByName att fungera med null-fyllningsbeteende med struct-kolumner
- [SPARK-32308] [SQL] Flytta logik för matchning efter namn i unionByName från API-kod till analysfas
- [SPARK-20044] [Användargränssnitt] Stöd för Spark-användargränssnittet bakom omvänd klientdelsproxy med hjälp av en url för sökvägsprefixet Revert proxy
- [SPARK-33268] [SQL] [PYTHON] Åtgärda buggar för att casta data från/till PythonUserDefinedType
- [SPARK-33292] [SQL] Gör Literal ArrayBasedMapData-strängrepresentation tvetydig
- [SPARK-33183] [SQL] Åtgärda Optimizer-regeln EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
- [SPARK-33272] [SQL] rensa attributmappningen i QueryPlan.transformUpWithNewOutput
- [SPARK-32090] [SQL] Förbättra UserDefinedType.equal() så att det blir symmetriskt
- [SPARK-33267] [SQL] Åtgärda NPE-problem i In-filtret när ett av värdena innehåller null
- [SPARK-33208] [SQL] Uppdatera dokumentet i SparkSession#sql
- [SPARK-33260] [SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
- [SPARK-33230] [SQL] Hadoop-incheckningar för att få unikt jobb-ID i "spark.sql.sources.writeJobUUID"
- [SPARK-33197] [SQL] Göra ändringar i spark.sql.analyzer.maxIterations börjar gälla vid körning
- [SPARK-33228] [SQL] Ta inte bort data när du ersätter en vy med samma logiska plan
- [SPARK-32557] [CORE] Logga och svälja undantaget per post i historikservern
- [SPARK-32436] [CORE] Initiera numNonEmptyBlocks i HighlyCompressedMapStatus.readExternal
- [SPARK-33131] [SQL] Åtgärda grupperingsuppsättningar med att ha -satsen kan inte matcha kvalificerat col-namn
- [SPARK-32761] [SQL] Tillåt sammansättning av flera vikbara distinkta uttryck
- [SPARK-33094] [SQL] Gör så att ORC-format sprider Hadoop-konfiguration från DS-alternativ till underliggande HDFS-filsystem
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 7.5.
Systemmiljö
- Operativsystem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (version 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R version 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | Certifi | 2020.6.20 | Cffi | 1.14.0 |
| Chardet | 3.0.4 | Kryptografi | 2.8 | Apparat | 0.10.0 |
| Cython | 0.29.15 | Dekoratör | 4.4.1 | Docutils | 0.15.2 |
| entrypoints | 0,3 | idna | 2.8 | ipykernel | 5.1.4 |
| Ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | Koalas | 1.4.0 |
| matplotlib | 3.1.3 | Numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | Pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2,19 | Pygments | 2.5.2 | Pygobject | 3.26.1 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | begäranden | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | Scipy | 1.4.1 | seaborn | 0.10.0 |
| Setuptools | 45.2.0 | Sex | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | Tornado | 6.0.3 | traitlets | 4.3.3 |
| obevakade uppgraderingar | 0,1 | urllib3 | 1.25.8 | Virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | Hjul | 0.34.2 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-11-02.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| Askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.1.10 |
| bas | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| start | 1.3-25 | Brygga | 1.0-6 | Brio | 1.1.0 |
| Kvast | 0.7.2 | anropare | 3.5.1 | textmarkör | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | klass | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| Codetools | 0.2-18 | Färgrymd | 1.4-1 | commonmark | 1,7 |
| Kompilator | 3.6.3 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | Krita | 1.3.4 | Överhörning | 1.1.0.1 |
| Curl | 4.3 | data.table | 1.13.2 | datauppsättningar | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | Desc | 1.2.0 |
| Devtools | 2.3.2 | diffobj | 0.3.2 | Digest | 0.6.27 |
| dplyr | 0.8.5 | DT | 0,16 | ellips | 0.3.1 |
| evaluate (utvärdera) | 0,14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| Utländska | 0.8-76 | Forge | 0.2.0 | Fs | 1.5.0 |
| Generika | 0.1.0 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.13.1 |
| Lim | 1.4.2 | Gower | 0.2.2 | grafik | 3.6.3 |
| grDevices | 3.6.3 | Rutnät | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Tillflyktsort | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.2 | Iteratorer | 1.0.13 |
| jsonlite | 1.7.1 | Kernsmooth | 2.23-18 | stickning | 1,30 |
| Märkning | 0.4.2 | Senare | 1.1.0.1 | Galler | 0.20-41 |
| Lava | 1.6.8 | lazyeval | 0.2.2 | livscykel | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1,1 |
| MASSACHUSETTS | 7.3-53 | Matris | 1.2-18 | pmise | 1.1.0 |
| metoder | 3.6.3 | Mgcv | 1.8-33 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| Nlme | 3.1-150 | Nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | Pelaren | 1.4.6 |
| pkgbuild | 1.1.0 | Pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | Beröm | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Förlopp | 1.2.2 | Löften | 1.1.1 |
| Proto | 1.0.0 | Ps | 1.4.0 | Purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.4.0 | readxl | 1.3.1 |
| recept | 0.1.14 | Returmatch | 1.0.1 | rematch2 | 2.1.2 |
| Fjärrkontroller | 2.2.0 | reprex | 0.3.0 | omforma2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversioner | 2.0.2 |
| rvest | 0.3.6 | Skalor | 1.1.1 | väljare | 0.4-2 |
| sessioninfo | 1.1.1 | Form | 1.4.4 | Blanka | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| Rumsliga | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.5 | Statistik | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | Överlevnad | 3.2-7 |
| sys | 3.4 | Tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 3.0.0 | Tibble | 3.0.4 | tidyr | 1.1.2 |
| avmarkera | 1.1.0 | tidyverse | 1.3.0 | Timedate | 3043.102 |
| tinytex | 0.27 | verktyg | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | verktyg | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| Morrhår | 0,4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| Yaml | 2.2.1 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | Klasskamrat | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | Koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profilerare | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Samlare | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 0.15.1 |
| org.apache.arrow | pilminne | 0.15.1 |
| org.apache.arrow | pilvektor | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metaarkiv | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-kodning | 1.10.1-databricks6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | hastighet | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | åhörarkommentarer | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-fortsättning | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-server | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Oanvända | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |