Databricks Runtime 8.1 (niet ondersteund)
Databricks heeft deze afbeelding uitgebracht in maart 2021.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 8.1, mogelijk gemaakt door Apache Spark 3.1.1.
Nieuwe functies en verbeteringen
- Nieuwe SQL-operators verminderen complexe ETL in JSON-tekenreeksen
- Zichtbaarheid van toegangsbeheerlijsten voor tabellen beheren
- Nieuwe opties voor automatisch laden zorgen voor betere prestaties
- Verifiëren bij Azure Synapse Analytics met OAuth 2.0 en een service-principal (openbare preview)
- Kolommen handmatig invoegen
IDENTITYin Azure Synapse Analytics-tabellen - Azure Auto Loader ondersteunt nu verificatie met een service-principal voor wachtrijbewerkingen
- Streamvoortgang bijhouden met metrische Gegevens van Kafka
- Streamvoortgang bijhouden met metrische gegevens van de delta lake-streamingbron
Nieuwe SQL-operators verminderen complexe ETL in JSON-tekenreeksen
Met twee nieuwe SQL-operators kunt:::u eenvoudig gegevens extraheren uit JSON-tekenreeksen.
- Als u uw expressie wilt casten naar een gegevenstype, gebruikt u een dubbele dubbele punt
::. In plaats van bijvoorbeeld op tecast(col as int)geven, kunt u nu zeggencol::int. - Als u velden wilt extraheren uit semi-gestructureerde gegevens, gebruikt u één dubbele punt
:. Als u eenSTRINGkolom met JSON-gegevens hebt, kunt u een veld uit die JSON-tekenreeks extraheren met behulp van de syntaxis<json-column>:<field>waarmee de sleutelfielduit uw JSON<json-column>wordt geëxtraheerd als eenSTRING. U kunt dit combineren met de::syntaxis om de gegevens naar een specifiek type te casten.
Als u bijvoorbeeld de JSON-gegevens hebt:
{
"store":{
"bicycle":{
"price":19.95,
"color":"red"
}
}
}
en u maakt een tabel store_data op basis van de gegevens:
CREATE TABLE store_data AS SELECT
'{
"store":{
"bicycle":{
"price":19.95,
"color":"red"
}
}
}' as raw
de instructie SELECT raw:store.bicycle.price::double FROM store_data retourneert:
+--------+
| price |
+--------+
| 19.95 |
+--------+
Zie Semi-gestructureerde gegevens opvragen in Azure Databricks voor meer informatie.
Zichtbaarheid van toegangsbeheerlijsten voor tabellen beheren
Als u wilt voorkomen dat er gegevens worden gelekt door alle gedefinieerde machtigingen voor een tabel weer te geven, kunt u nu alleen de instructie uitvoeren SHOW GRANTS [<user>] <object> als u:
- Een Databricks SQL-beheerder of de eigenaar van
<object>. - De gebruiker die is opgegeven in
[<user>].
Nieuwe opties voor automatisch laden zorgen voor betere prestaties
Auto Loader ondersteunt nu een nieuwe optie cloudFiles.fetchParallelism om de parallelle uitvoering op te geven voor het ophalen van berichten uit de wachtrijservice.
Zie Wat is automatisch laadprogramma?
Verifiëren bij Azure Synapse Analytics met OAuth 2.0 en een service-principal (openbare preview)
De Azure Synapse Analytics-connector ondersteunt nu verificatie met OAuth 2.0 en een Microsoft Entra ID-service-principal, waardoor toepassingen die verificatie met een service-principal vereisen, in plaats van een gebruikersnaam en wachtwoord inschakelen. Zie Hoe werkt verificatie tussen Azure Databricks en Synapse voor de Azure Synapse Analytics-connector voor meer informatie.
Kolommen handmatig invoegen IDENTITY in Azure Synapse Analytics-tabellen
De Azure Synapse Analytics-connector biedt nu ondersteuning voor het expliciet invoegen van waarden in IDENTITY kolommen in Azure Synapse Analytics-tabellen op basis van waarden die zijn ingesteld in DataFrames. Deze mogelijkheid wordt ondersteund voor batch- en streaming-invoegingen en maakt gebruiksvoorbeelden mogelijk waarvoor aangepaste IDENTITY kolomwaarden zijn vereist. Zie de parameter in de identityInsert Azure Synapse Analytics-connector voor Azure Databricks Synapse-connectoropties voor meer informatie.
Azure Auto Loader ondersteunt nu verificatie met een service-principal voor wachtrijbewerkingen
U kunt nu verifiëren met een Microsoft Entra ID-service-principal die aan wachtrijgerelateerde machtigingen is verleend voor wachtrijbewerkingen met Auto Loader. Met deze wijziging wordt de vorige vereiste voor het gebruik van een verbindingsreeks voor wachtrijbewerkingen en een service-principal voor gebeurtenisbewerkingen verwijderd en kunt u een service-principal gebruiken voor beide bewerkingstypen. Zie Wat is Automatisch laden? voor meer informatie.
Streamvoortgang bijhouden met metrische Gegevens van Kafka
De Kafka-streamingbron rapporteert nu hoeveel offsets een consument achter de meest recente na elke batch valt. U kunt deze metrische gegevens gebruiken om de voortgang van de stream bij te houden. Zie Kafka-metrische gegevens ophalen voor meer informatie over het weergeven van de metrische gegevens.
Streamvoortgang bijhouden met metrische gegevens van de delta lake-streamingbron
Een Delta Lake-streamingbron rapporteert nu hoe groot de achterstand is en hoeveel bestanden er in de achterstand staan na elke batch. U kunt deze metrische gegevens gebruiken om de voortgang van de stream bij te houden. Zie Metrische gegevens voor meer informatie over het weergeven van de metrische gegevens.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheek:
- koalas bijgewerkt van 1.5.0 naar 1.6.0.
- Nieuw geïnstalleerde Python-bibliotheken:
- plotly 4.14.3
- opnieuw proberen 1.3.3
- R bijgewerkt naar 4.0.4 van 4.0.3.
- Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
- Bijgewerkte Java-bibliotheek:
- jetty van 9.4.34.v20201102 tot 9.4.36.v20210114
- OpenJDK 8-build bijgewerkt naar Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
Apache Spark
Databricks Runtime 8.1 bevat Apache Spark 3.1.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 8.0 (niet-ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
- [SPARK-34613] [SQL] Oplossingsweergave legt de configuratie van hints niet vast
- [SPARK-34392] [SQL] Ondersteuning voor ZoneOffset +h:mm in DateTimeUtils. getZoneId
- [SPARK-34436] [SQL] DPP ondersteunt LIKE ANY/ALL-expressie
- [SPARK-34497] [SQL] Ingebouwde JDBC-verbindingsproviders herstellen om wijzigingen in de JVM-beveiligingscontext te herstellen
- [SPARK-34543] [SQL] Respecteer de configuratie tijdens het
spark.sql.caseSensitiveoplossen van partitiespecificaties in v1SET LOCATION - [SPARK-34550] [SQL] InSet null-waarde overslaan tijdens pushfilter naar Hive-metastore
- [SPARK-34531] [CORE] Experimentele API-tag verwijderen in PrometheusServlet
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 8.1.
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8 (bijgewerkt vanaf 3.8.6 in 26 mei 2021 onderhoudsupdate)
- R: R versie 4.0.4 (2021-02-15)
- Delta Lake 0.8.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | Cffi | 1.14.3 | Chardet | 3.0.4 |
| Cryptografie | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| Decorator | 4.4.2 | distlib | 0.3.1 | Docutils | 0.15.2 |
| invoerpunten | 0,3 | filelock | 3.0.12 | idna | 2.10 |
| ipykernel | 5.3.4 | Ipython | 7.19.0 | ipython-genutils | 0.2.0 |
| Jedi | 0.17.2 | jmespath | 0.10.0 | joblib | 0.17.0 |
| jupyter-client | 6.1.7 | jupyter-core | 4.6.3 | kiwisolver | 1.3.0 |
| koala's | 1.6.0 | matplotlib | 3.2.2 | Numpy | 1.19.2 |
| Pandas | 1.1.3 | parso | 0.7.0 | Patsy | 0.5.1 |
| Pexpect | 4.8.0 | pickleshare | 0.7.5 | Pip | 20.2.4 |
| plotly | 4.14.3 | prompt-toolkit | 3.0.8 | psycopg2 | 2.8.5 |
| ptyprocess | 0.6.0 | pyarrow | 1.0.1 | pycparser | 2,20 |
| Pygments | 2.7.2 | Pyopenssl | 19.1.0 | Pyparsing | 2.4.7 |
| PySocks | 1.7.1 | python-dateutil | 2.8.1 | pytz | 2020.5 |
| pyzmq | 19.0.2 | requests | 2.24.0 | opnieuw proberen | 1.3.3 |
| s3transfer | 0.3.4 | scikit-learn | 0.23.2 | Scipy | 1.5.2 |
| seaborn | 0.10.0 | Setuptools | 50.3.1 | Zes | 1.15.0 |
| statsmodels | 0.12.0 | threadpoolctl | 2.1.0 | Tornado | 6.0.4 |
| traitlets | 5.0.5 | urllib3 | 1.25.11 | Virtualenv | 20.2.1 |
| wcwidth | 0.2.5 | Wiel | 0.35.1 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| opstarten | 1.3-27 | Brouwsel | 1.0-6 | Brio | 1.1.0 |
| Bezem | 0.7.2 | beller | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | class | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| Codetools | 0.2-18 | Colorspace | 2.0-0 | commonmark | 1,7 |
| Compiler | 4.0.4 | configuratie | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Crayon | 1.3.4 | aanmeldingsgegevens | 1.3.0 |
| Overspraak | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| gegevenssets | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | Devtools | 2.3.2 | diffobj | 0.3.2 |
| Digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| ellipsis | 0.3.1 | evaluate | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Buitenlandse | 0.8-81 | Forge | 0.2.0 |
| Fs | 1.5.0 | Toekomst | 1.21.0 | Generics | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globals | 0.14.0 |
| Lijm | 1.4.2 | Gower | 0.2.2 | afbeeldingen | 4.0.4 |
| grDevices | 4.0.4 | Raster | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.3 | Iterators | 1.0.13 |
| jsonlite | 1.7.2 | Kernsmooth | 2.23-18 | breiwerk | 1,30 |
| Labeling | 0.4.2 | Later | 1.1.0.1 | Lattice | 0.20-41 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1.1 | MASS | 7.3-53.1 | Matrix | 1.3-2 |
| memoise | 1.1.0 | methoden | 4.0.4 | Mgcv | 1.8-33 |
| Mime | 0,9 | ModelMetrics | 1.2.2.2 | modeller | 0.1.8 |
| munsell | 0.5.0 | Nlme | 3.1-152 | Nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| parallel | 1.22.0 | Pijler | 1.4.7 | pkgbuild | 1.1.0 |
| Pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Lof | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Voortgang | 1.2.2 | Beloften | 1.1.1 | Proto | 1.0.0 |
| ps | 1.5.0 | Purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 | Rcpp | 1.0.5 |
| leesbewerking | 1.4.0 | readxl | 1.3.1 | recepten | 0.1.15 |
| Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.2.0 |
| reprex | 0.3.0 | hervorm2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | Rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | Schalen | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | Vorm | 1.4.5 |
| Glanzende | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.0 | Ruimtelijke | 7.3-11 | Splines | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | Stats | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| Overleving | 3.2-7 | sys | 3.4 | Tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| Timedate | 3043.102 | tinytex | 0,28 | tools | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | whisker | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | Zip | 2.1.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Collector | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pijlvector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-codering | 1.10.1-databricks6 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | snelheid | 1.5 |
| org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-vervolg | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Shims | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |