Databricks Runtime 7.5 (niet ondersteund)
Databricks heeft deze afbeelding uitgebracht in december 2020.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.5, mogelijk gemaakt door Apache Spark 3.0.
Nieuwe functies
Delta Lake-functies en -verbeteringen
Deze release biedt de volgende Delta Lake-functies en -verbeteringen:
- Asynchrone controlepunten elimineert pieken in microbatchduur van streaming
- De meest recente tabelgegevens worden nu doorgegeven aan catalogi
MERGE INTObewerking ondersteunt nu de ontwikkeling van schema's van geneste kolommenMERGE INTObewerking maakt nu automatisch gebruik van geoptimaliseerde schrijfbewerkingenMERGE INTOenUPDATEbewerkingen lossen nu geneste structkolommen op naam opCLONEis GA en u kunt nu tabeleigenschappen negerenRESTOREis GA- Scala-impliciete spark-API's vereenvoudigen lees- en schrijf-API's
- Streamingdoorvoer verbeteren met
fetchParallelismconnectoroptie - Voortgang van de stroom bijhouden met nieuwe metrische gegevens voor automatisch laden
Asynchrone controlepunten elimineert pieken in microbatchduur van streaming
Delta Lake voert standaard controlepunten uit om de 10 doorvoeringen. Bij streamingworkloads kan controlepunten kleine pieken veroorzaken in de microbatchduur om de 10 doorvoeringen. Asynchrone controlepunten elimineert deze pieken.
Asynchrone controlepunten zijn standaard ingeschakeld voor alle niet-triggers zodra streamingworkloads zijn uitgevoerd. Met asynchrone controlepunten schrijven streamingschrijvers ook verbeterde controlepunten, zodat u zich niet expliciet hoeft aan te aanmelden voor verbeterde controlepunten.
Als u asynchrone controlepunten wilt uitschakelen, stelt u de SQL-configuratie spark.databricks.delta.checkpoint.async.enabled falsein.
Batch-workloads blijven synchroon controlepunten schrijven en we raden u aan asynchrone controlepunten in te schakelen voor batchworkloads.
De meest recente tabelgegevens worden nu doorgegeven aan catalogi
Delta Lake heeft nu de meest recente tabelgegevens, zoals schema- en tabeleigenschappen, doorgegeven aan catalogi zoals de Hive-metastore, op basis van best effort. Dergelijke informatie kan u helpen bij het gebruik van catalogushulpprogramma's om inzicht te hebben in het schema van uw Delta-tabellen.
Delta Lake is niet intern afhankelijk van deze informatie, maar probeert deze up-to-date te houden. Daarnaast slaat Delta Lake tabeleigenschappen delta.lastUpdateVersion op en delta.lastCommitTimestamp geeft deze de versie en tijdstempel aan van de doorvoering die voor het laatst een wijziging naar de metastore heeft gepusht. De metastore wordt alleen bijgewerkt wanneer het schema van de tabel of de eigenschappen in de tabel niet overeenkomen.
Daarom weerspiegelen de bovengenoemde tabeleigenschappen niet noodzakelijkerwijs de nieuwste versie van de tabel.
Als uw tabelgegevens en de metastore-gegevens niet synchroon zijn, kunt u een opdracht uitvoeren, zoals DESCRIBE <table> het bijwerken van de metastore.
Notitie
Omdat Hive de veranderende partitiekolommen niet toestaat, maar Delta-tabellen hun partitionering kunnen wijzigen, worden Delta-tabellen niet weergegeven als gepartitioneerd in Hive.
MERGE INTO bewerking ondersteunt nu de ontwikkeling van schema's van geneste kolommen
Schemaontwikkeling van geneste kolommen heeft nu dezelfde semantiek als die van kolommen op het hoogste niveau. Nieuwe geneste kolommen kunnen bijvoorbeeld automatisch worden toegevoegd aan een StructType kolom. Zie Automatische schemaontwikkeling in Samenvoegen voor meer informatie.
MERGE INTO bewerking maakt nu automatisch gebruik van geoptimaliseerde schrijfbewerkingen
Geoptimaliseerde schrijfbewerkingen kunnen veel betere prestaties bieden voor MERGE INTO kant-en-klare, met name voor MERGE INTO gepartitioneerde tabellen. Als u Geoptimaliseerde schrijfbewerkingen wilt uitschakelen, stelt u de Spark-configuratie spark.databricks.delta.optimizeWrite.enabled in op false.
MERGE INTO en UPDATE bewerkingen lossen nu geneste structkolommen op naam op
Werk bewerkingen UPDATE en MERGE INTO opdrachten nu op naam om geneste structkolommen op naam op te lossen. Dat wil zeggen dat wanneer u kolommen van het type StructType vergelijkt of toewijst, de volgorde van de geneste kolommen niet uitmaakt (precies op dezelfde manier als de volgorde van kolommen op het hoogste niveau). Als u wilt terugkeren naar het omzetten op positie, stelt u de Spark-configuratie spark.databricks.delta.resolveMergeUpdateStructsByName.enabled in op false.
CLONE is GA en u kunt nu tabeleigenschappen negeren
De CLONE opdracht is nu algemeen beschikbaar. Zie CREATE TABLE CLONE. Daarnaast kunt u nu onderdrukkingen van tabeleigenschappen opgeven wanneer u deze gebruikt CLONE. Zie Een tabel klonen in Azure Databricks voor voorbeelden.
RESTORE is GA
De RESTORE opdracht is nu algemeen beschikbaar. Zie RESTORE.
Scala-impliciete spark-API's vereenvoudigen lees- en schrijf-API's
U kunt importeren io.delta.implicits._ om de delta methode te gebruiken met Spark-API's voor lezen en schrijven.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
Streamingdoorvoer verbeteren met fetchParallelism connectoroptie
De AQS-connector ondersteunt nu een nieuwe optie fetchParallelism om de parallelle uitvoering op te geven voor het ophalen van berichten uit de wachtrijservice.
Voortgang van de stroom bijhouden met nieuwe metrische gegevens voor automatisch laden
Auto Loader rapporteert nu hoeveel bestanden er in de achterstand staan en hoe groot de achterstand na elke batch is. U kunt deze metrische gegevens gebruiken om de voortgang van de stream bij te houden. Zie Wat is Automatisch laden? voor meer informatie over het weergeven van de metrische gegevens.
Verbeteringen
Bredere ondersteuning voor notebook-scoped bibliotheken met behulp van %pip en %conda magic-opdrachten
U kunt nu notebook-scoped bibliotheken installeren met behulp van %pip en %conda magic-opdrachten op clusters met hoge gelijktijdigheid, waarbij tabel-ACL's of referentiepassthrough is ingeschakeld.
Nauwkeurige Spark SQL-weergave DECIMAL
Het Spark SQL-gegevenstype DECIMAL wordt nu weergegeven in tabellen zonder verlies van precisie en schaal.
ADLS Gen 2-opslagconnector op basis van Hadoop 3.3 voor ABFS
Een bijgewerkte versie van de ADLS Gen 2-opslagconnector is gebaseerd op Hadoop 3.3 voor ABFS. De bijgewerkte connector bevat veel stabiliteitsverbeteringen (zie Hadoop-stabiliteit) en bevat ondersteuning voor SAS-tokenverificatie.
Andere oplossingen
De Databricks Kafka-connector voor Spark Streaming is verwijderd. Gebruik de Apache Spark-connector.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- koalas bijgewerkt van 1.3.0 naar 1.4.0.
- Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
- OpenJDK 8-build bijgewerkt naar Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).
Apache Spark
Databricks Runtime 7.5 bevat Apache Spark 3.0.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 7.4 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-33611] [UI] Vermijd codering twee keer voor de queryparameter van de herschreven proxy-URL
- [SPARK-33587] [CORE] De uitvoerder doden bij geneste fatale fouten (7.x)
- [SPARK-33140] [SQL] Herstel code die geen doorgegeven SparkSession gebruikt om SQLConf op te halen.
- [SPARK-33472] [SQL] Regelvolgorde RemoveRedundantSorts aanpassen
- [SPARK-33422] [DOC] De juiste weergave van het linkermenu-item herstellen
- [SPARK-27421] [SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
- [SPARK-33483] [INFRA] [TESTS] Ratuitsluitingspatronen corrigeren en een LICENTIE toevoegen
- [SPARK-33464] [INFRA] Benodigde cache toevoegen/verwijderen en GitHub Actions opnieuw structureren
- [SPARK-33407] [PYTHON] [7.X] Vereenvoudig het uitzonderingsbericht van Python UDF's (standaard uitgeschakeld)
- [SPARK-33435] [SQL] DSv2: REFRESH TABLE moet caches die verwijzen naar de tabel ongeldig maken
- [SPARK-33358] [SQL] Retourcode wanneer het opdrachtproces is mislukt
- [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala toevoegen aan ALLOW_LIST.txt
- [SPARK-33290] [SQL] REFRESH TABLE moet cache ongeldig maken, ook al is de tabel zelf mogelijk niet in de cache opgeslagen
- [SPARK-33140] [SQL] Deltacompilatie herstellen
- [SPARK-33316] [SQL] Moduletests toevoegen voor from_avro en to_avro met schemaregister en door de gebruiker opgegeven nullable Avro-schema
- [SPARK-33404] [SQL] Onjuiste resultaten in
date_truncexpressies corrigeren - [SPARK-33339] [PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
- [SPARK-33412] [SQL] OverwriteByExpression moet de verwijdervoorwaarde oplossen op basis van de tabelrelatie, niet de invoerquery
- [SPARK-33391] [SQL] element_at met CreateArray niet één gebaseerde index respecteren.
- [SPARK-33316] [SQL] Ondersteuningsgebruiker heeft nullable Avro-schema geleverd voor niet-nullable katalysatorschema in Avro-schrijven
- [SPARK-33372] [SQL] InSet bucket verwijderen herstellen
- [SPARK-33371] [PYTHON] Update setup.py en tests voor Python 3.9
- [SPARK-33140] [SQL] VERWIJDER SQLConf en SparkSession in alle subklassen van Rule[QueryPlan]
- [SPARK-33338] [SQL] GROUP BY met letterlijke toewijzing mag niet mislukken
- [SPARK-33306] [SQL] Tijdzone is nodig wanneer cast-datum naar tekenreeks is vereist
- [SPARK-33284] [WEB-UI] Klik op de pagina Opslaggebruikersinterface op een veld om de tabel te sorteren, waardoor de koptekstinhoud verloren gaat
- [SPARK-33362] [SQL] skipSchemaResolution moet nog steeds vereisen dat query's worden opgelost
- [SPARK-32257] [SQL] Rapporteert expliciete fouten voor ongeldig gebruik van de opdracht SET/RESET
- [SPARK-32406] [SQL] Stel de syntaxis van RESET in voor het opnieuw instellen van één configuratie
- [SPARK-32376] [SQL] Het gedrag van unionByName null-vullen werken met structkolommen
- [SPARK-32308] [SQL] Move by-name resolution logic of unionByName from API code to analysis phase (By-name resolution logic of unionByName van API-code verplaatsen naar analysefase)
- [SPARK-20044] [UI] Ondersteuning voor Spark-gebruikersinterface achter omgekeerde front-endproxy met behulp van een padvoorvoegsel Proxy-URL herstellen
- [SPARK-33268] [SQL] [PYTHON] Fouten oplossen voor het casten van/naar PythonUserDefinedType
- [SPARK-33292] [SQL] Letterlijke matrixbasedMapData-tekenreeksweergave niet eenduidig maken
- [SPARK-33183] [SQL] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
- [SPARK-33272] [SQL] de toewijzing van kenmerken in QueryPlan.transformUpWithNewOutput verwijderen
- [SPARK-32090] [SQL] Improve UserDefinedType.equal() to make it be symmetrical
- [SPARK-33267] [SQL] NPE-probleem opgelost in het filter 'In' wanneer een van de waarden null bevat
- [SPARK-33208] [SQL] Het document van SparkSession#sql bijwerken
- [SPARK-33260] [SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
- [SPARK-33230] [SQL] Hadoop-doorvoerers om een unieke taak-id op te halen in spark.sql.sources.writeJobUUID
- [SPARK-33197] [SQL] Wijzigingen aanbrengen in spark.sql.analyzer.maxIterations worden tijdens runtime van kracht
- [SPARK-33228] [SQL] Maak de cachegegevens niet ongedaan wanneer u een weergave met hetzelfde logische plan vervangt
- [SPARK-32557] [CORE] Logboekregistratie en het inslikken van de uitzondering per vermelding in de geschiedenisserver
- [SPARK-32436] [CORE] Initialiseer numNonEmptyBlocks in HighlyCompressedMapStatus.readExternal
- [SPARK-33131] [SQL] Groepeersets oplossen met een component kan de gekwalificeerde kolomnaam niet oplossen
- [SPARK-32761] [SQL] Het samenvoegen van meerdere samenvouwbare afzonderlijke expressies toestaan
- [SPARK-33094] [SQL] Orc-indeling hadoop-configuratie van DS-opties doorgeven aan onderliggende HDFS-bestandssysteem
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 7.5.
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R versie 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | Cffi | 1.14.0 |
| Chardet | 3.0.4 | Cryptografie | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | Decorator | 4.4.1 | Docutils | 0.15.2 |
| invoerpunten | 0,3 | idna | 2.8 | ipykernel | 5.1.4 |
| Ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koala's | 1.4.0 |
| matplotlib | 3.1.3 | Numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | Pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | Pygobject | 3.26.1 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | Scipy | 1.4.1 | seaborn | 0.10.0 |
| Setuptools | 45.2.0 | Zes | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | Tornado | 6.0.3 | traitlets | 4.3.3 |
| upgrades zonder toezicht | 0,1 | urllib3 | 1.25.8 | Virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | Wiel | 0.34.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| opstarten | 1.3-25 | Brouwsel | 1.0-6 | Brio | 1.1.0 |
| Bezem | 0.7.2 | beller | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | class | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| Codetools | 0.2-18 | Colorspace | 1.4-1 | commonmark | 1,7 |
| Compiler | 3.6.3 | configuratie | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | Crayon | 1.3.4 | Overspraak | 1.1.0.1 |
| curl | 4.3 | data.table | 1.13.2 | gegevenssets | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | Desc | 1.2.0 |
| Devtools | 2.3.2 | diffobj | 0.3.2 | Digest | 0.6.27 |
| dplyr | 0.8.5 | DT | 0,16 | ellipsis | 0.3.1 |
| evaluate | 0,14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| Buitenlandse | 0.8-76 | Forge | 0.2.0 | Fs | 1.5.0 |
| Generics | 0.1.0 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.13.1 |
| Lijm | 1.4.2 | Gower | 0.2.2 | afbeeldingen | 3.6.3 |
| grDevices | 3.6.3 | Raster | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.2 | Iterators | 1.0.13 |
| jsonlite | 1.7.1 | Kernsmooth | 2.23-18 | breiwerk | 1,30 |
| Labeling | 0.4.2 | Later | 1.1.0.1 | Lattice | 0.20-41 |
| lava | 1.6.8 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1.1 |
| MASS | 7.3-53 | Matrix | 1.2-18 | memoise | 1.1.0 |
| methoden | 3.6.3 | Mgcv | 1.8-33 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modeller | 0.1.8 | munsell | 0.5.0 |
| Nlme | 3.1-150 | Nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | Pijler | 1.4.6 |
| pkgbuild | 1.1.0 | Pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | Lof | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Voortgang | 1.2.2 | Beloften | 1.1.1 |
| Proto | 1.0.0 | ps | 1.4.0 | Purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 |
| Rcpp | 1.0.5 | leesbewerking | 1.4.0 | readxl | 1.3.1 |
| recepten | 0.1.14 | Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 |
| Afstandsbedieningen | 2.2.0 | reprex | 0.3.0 | hervorm2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| Rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest | 0.3.6 | Schalen | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | Vorm | 1.4.4 | Glanzende | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| Ruimtelijke | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.5 | Stats | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | Overleving | 3.2-7 |
| sys | 3.4 | Tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | Timedate | 3043.102 |
| tinytex | 0.27 | tools | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| whisker | 0,4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| Yaml | 2.2.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Collector | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.15.1 |
| org.apache.arrow | pijlgeheugen | 0.15.1 |
| org.apache.arrow | pijlvector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-codering | 1.10.1-databricks6 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | snelheid | 1.5 |
| org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-vervolg | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |