Databricks Runtime 8.4 (niet ondersteund)
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 8.4 en Databricks Runtime 8.4 Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze afbeeldingen uitgebracht in juli 2021. Photon bevindt zich in openbare preview.
Nieuwe functies en verbeteringen
- Delta Lake-functies en -verbeteringen
- Functies en verbeteringen voor automatisch laden
- Verbinding maken or upgrades
- Foutoplossingen
Delta Lake-functies en -verbeteringen
- Delta-tabel: gegevensfeed wijzigen (GA)
- Gedeelde Delta-tabellen eenvoudig laden met Databricks Runtime
- Meer tabellen profiteren van dynamisch verwijderen van bestanden
- Betere prestaties met automatisch afstemmen van doelbestandsgrootte
- Meer manieren om tabellen op te geven in
DeltaTable.forName - Robuuste schrijfbewerkingen voor meerdere tabellen streamen met
foreachBatch - Verbeterde prestaties van leesquery's in bepaalde workloads vanwege afgestemde controlepunten
- Maken
GroupStateom door de gebruiker gedefinieerde Structured Streaming-functies te testen
Delta-tabel: gegevensfeed wijzigen (GA)
De gegevensfeed voor wijzigingen in de Delta-tabel is nu algemeen beschikbaar. Het vertegenwoordigt de wijzigingen op rijniveau tussen verschillende versies van de tabel. Wanneer deze optie is ingeschakeld, wordt aanvullende informatie vastgelegd met betrekking tot wijzigingen op rijniveau voor elke schrijfbewerking in de tabel. Zie Delta Lake-wijzigingsgegevensfeed gebruiken in Azure Databricks.
Gedeelde Delta-tabellen eenvoudig laden met Databricks Runtime
De Apache Spark-Verbinding maken or voor Delta Sharing 0.1.0 bevindt zich nu in Databricks Runtime. U kunt een gedeelde tabel spark.read.format("deltaSharing").load(uri) rechtstreeks laden zonder de Delta Sharing Spark-connector aan uw cluster te koppelen.
Meer tabellen profiteren van dynamisch verwijderen van bestanden
De functie voor het dynamisch verwijderen van bestanden is afgestemd op triggers in tabellen met minder bestanden. Zie Dynamisch bestand verwijderen.
Betere prestaties met automatisch afstemmen van doelbestandsgrootte
De doelbestandsgrootte voor Delta-tabellen wordt nu automatisch afgestemd op basis van de tabelgrootte. Voorheen was de doelbestandsgrootte voor OPTIMIZE en OPTIMIZE ZORDER BY was deze 1 GB. Met automatisch afstemmen op basis van tabelgrootte gebruiken Delta-tabellen tot 2,56 TB 256 MB als doelgrootte. Tabellen die groter zijn dan 10 TB, gebruiken 1 GB zoals voorheen. Tabellen tussen deze grootten maken gebruik van doelgrootten die proportioneel toenemen met de tabelgrootte.
Zie Delta Lake configureren voor het beheren van de bestandsgrootte.
Meer manieren om tabellen op te geven in DeltaTable.forName
DeltaTable.forName ondersteunt nu het gebruik van tabellen delta.`<path>` om tabellen te identificeren.
Robuuste schrijfbewerkingen voor meerdere tabellen streamen met foreachBatch
Idempotent Delta-streaming-schrijfbewerkingen binnen de foreachBatch() opdracht worden nu ondersteund. Zie Idempotente schrijfbewerkingen voor meerdere tabellen voor meer informatie.
Verbeterde prestaties van leesquery's in bepaalde workloads vanwege afgestemde controlepunten
Delta Lake tunest nu hoe vaak het verbeterde controlepunten doet. In plaats van controlepunten met een vast interval, past Delta de controlepuntfrequentie dynamisch aan op basis van bepaalde gebeurtenistriggers. Dit verbetert de prestaties van leesquery's in workloads waarbij sommige optimalisatie voor het overslaan van gegevens niet eerder kon worden toegepast. Als u deze optimalisaties wilt gebruiken, moet u uw taken bijwerken die naar Delta Lake schrijven naar Databricks Runtime 8.4. Zie Verbeterde controlepunten inschakelen voor Structured Streaming-query's.
Maken GroupState om door de gebruiker gedefinieerde Structured Streaming-functies te testen
Tot nu toe kon alleen de Structured Streaming-engine exemplaren van GroupState. Daarom moeten alle eenheidstests van de door de gebruiker gedefinieerde functie een streamingquery uitvoeren in Apache Spark.
U kunt nu exemplaren GroupState van het gebruik TestGroupState.create(…)maken. Hiermee kunt u een door de gebruiker gedefinieerde functie testen in eenvoudige eenheidstests waarvoor spark niet hoeft te worden uitgevoerd. Zie De updatefunctie mapGroupsWithState testen. Het produceert met name exemplaren van het type TestGroupState die de interface GroupState uitbreiden met aanvullende methoden voor het introspecteren van de interne status nadat de door de gebruiker gedefinieerde functie is toegepast.
Functies en verbeteringen voor automatisch laden
- Backfilling configureren om gemiste bestanden vast te leggen
- Gebonden opslagvoetafdruk voor grote volumestromen
- Vereenvoudigde configuratie met padloze ondersteuning
Backfilling configureren om gemiste bestanden vast te leggen
Auto Loader biedt nu ondersteuning voor het asynchroon uitvoeren van backfills om bestanden vast te leggen die mogelijk zijn gemist met bestandsmeldingen. Bestandsopslagsystemen en meldingssystemen kunnen niet garanderen dat alle bestandsevenementen 100% worden geleverd. Daarom raadt Databricks aan periodieke backfills in te schakelen om al uw gegevens vast te leggen met automatisch laden. Gebruik de cloudFiles.backfillInterval optie om regelmatige backfills te plannen voor uw gegevens. Zie algemene opties voor automatisch laden.
Gebonden opslagvoetafdruk voor grote volumestromen
U kunt autolader nu configureren om te verlopen en vermeldingen in RocksDB te verwijderen om de opslagvoetafdruk te beperken op de controlepuntlocatie. Databricks raadt u niet aan om te gebruiken, tenzij u gegevens in de volgorde van miljoenen bestanden per uur opneemt. Als u deze optie onjuist instelt of probeert af te stemmen, kan dit leiden tot veel problemen met de gegevenskwaliteit, zoals niet-verwerkte bestanden die worden genegeerd of gedupliceerd van sommige bestanden in plaats van precies één keer te verwerken. Zie Retentie van gebeurtenissen voor meer informatie.
Vereenvoudigde configuratie met padloze ondersteuning
S3-buckets
U kunt nu de SQS-wachtrij opgeven die gebeurtenissen van meerdere paden of S3-buckets ontvangt.
Als u de URL van de SQS-wachtrij opgeeft, is de path optie niet vereist voor deze use-case.
Auto Loader bouwt S3-paden met behulp van de bucket en sleutel van de S3-gebeurtenissen. Als u de bestanden wilt lezen via DBFS-koppelpunten, kunt u padvoorvoegsels cloudFiles.pathRewrites wijzigen in DBFS. Dit is niet vereist, tenzij u toegang hebt tot gegevens in verschillende accounts met AssumeRole.
Zie opties voor bestandsmeldingen.
Azure Data Lake Storage Gen2-containers
U kunt nu de Azure-wachtrij opgeven die gebeurtenissen van meerdere containers ontvangt.
Als u de azure-wachtrijnaam opgeeft, is de path optie niet vereist.
Auto Loader maakt standaard Azure Data Lake Storage Gen2-paden met behulp van de container en sleutel in de bestandsevenementen.
Als u WASB-paden of DBFS-koppelpunten wilt gebruiken, kunt cloudFiles.pathRewrites u padvoorvoegsels wijzigen.
Zie opties voor bestandsmeldingen.
Verbinding maken or upgrades
- De Snowflake Spark-connector is bijgewerkt naar v2.9.0.
- KMS-versleuteling wordt nu ondersteund in de
UNLOADinstructie van de Redshift-connector.
Bugfixes
- Er is een probleem opgelost voor clusters die zijn ingeschakeld met toegangsbeheer voor tabellen, waarbij
select * from foldermapinhoud kan worden weergegeven, zelfs als de gebruiker geen machtiging voor bestandstoegang heeft. - Eigenaren van niet-beheerdersdatabases kunnen nu niet-eigendomstabellen in databases verwijderen. Hiermee wordt het probleem opgelost waarbij database-eigenaren een database niet konden verwijderen als er niet-eigendom tabellen in de database bestonden.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- certifi bijgewerkt van 2020.12.5 naar 2021.5.30
- distilleer geüpgraded van 0.3.1 naar 0.3.2
- koalas bijgewerkt van 1.8.0 naar 1.8.1
- protobuf bijgewerkt van 3.17.0 naar 3.17.3
- Bijgewerkte R-bibliotheken:
- basis van 4.0.4 tot 4.1.0
- opstarten van 1.3-27 tot 1.3-28
- klasse van 7,3-18 tot 7,3-19
- cluster van 2.1.1 tot 2.1.2
- compiler van 4.0.4 tot 4.1.0
- gegevenssets van 4.0.4 tot 4.1.0
- afbeeldingen van 4.0.4 tot 4.1.0
- grDevices van 4.0.4 tot 4.1.0
- raster van 4.0.4 tot 4.1.0
- KernSmooth van 2.23-18 tot 2.23-20
- rooster van 0,20-41 tot 0,20-44
- MASSA van 7.3-53.1 tot 7,3-54
- Matrix van 1,3-2 tot 1,3-3
- methoden van 4.0.4 tot 4.1.0
- mgcv van 1,8-33 tot 1,8-35
- nnet van 7.3-15 tot 7.3-16
- parallel van 4.0.4 tot 4.1.0
- Rserve van 1,8-7 tot 1,8-8
- SparkR van 3.1.1 tot 3.1.2
- splines van 4.0.4 tot 4.1.0
- statistieken van 4.0.4 tot 4.1.0
- stats4 van 4.0.4 tot 4.1.0
- overleving van 3,2-7 tot 3,2-11
- tcltk van 4.0.4 tot 4.1.0
- hulpprogramma's van 4.0.4 tot 4.1.0
- hulpmiddelen van 4.0.4 tot 4.1.0
- Bijgewerkte Java-bibliotheken:
- snowflake-jdbc van 3.12.8 tot 3.13.3
- spark-snowflake_2.12 van 2.8.1-spark_3.0 tot 2.9.0-spark_3.1
- RoaringBitmap van 0.9.0 tot 0.9.14
- shims van 0.9.0 tot 0.9.14
- rocksdbjni vanm 6.2.2 tot 6.20.3
Apache Spark
Databricks Runtime 8.4 bevat Apache Spark 3.1.2. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 8.3 (niet ondersteund) en de volgende aanvullende foutoplossingen en verbeteringen die zijn aangebracht in Spark:
- [SPARK-35792] [SQL] Weergave mag geen configuraties vastleggen die worden gebruikt in
RelationConversions - [SPARK-35700] [SQL] Char/varchar orc-tabel lezen met gemaakt en geschreven door externe systemen
- [SPARK-35636] [SQL] Lambda-sleutels mogen niet buiten de lambda-functie worden verwezen
- [SPARK-35800] [Cherry Pick] De testbaarheid van GroupState verbeteren door TestGroupState te introduceren
- [SPARK-35391] Geheugenlek in ExecutorAllocationListener oplossen
- [SPARK-35799] [CherryPick] De meetwaarde allUpdatesTimeMs opgelost in FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] De opsommingsafhankelijkheid van de subklasse StateStoreCustomMetric verwijderen
- [SPARK-35791 [SQL] Release on-going map correct for NULL-aware ANTI join
- [SPARK-35695] [SQL] Waargenomen metrische gegevens verzamelen uit substructuren voor in de cache opgeslagen en adaptieve uitvoering
- [SPARK-35767] [SQL] Vermijd het uitvoeren van een onderliggend abonnement twee keer in CoalesceExec
- [SPARK-35746] [UI] Taak-id herstellen in de tijdlijn van de fasepaginataak
- [SPARK-35673] [SQL] Door de gebruiker gedefinieerde hint en niet-herkende hint in subquery herstellen.
- [SPARK-35714] [CORE] Opgeloste fout voor impasse tijdens het afsluiten van de uitvoerder
- [SPARK-35689] [SS] Logboek waarschuwen toevoegen wanneer keyWithIndexToValue null-waarde retourneert
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint mag tijdens het bijwerken het bestand met alleen indexen niet negeren
- [SPARK-35643] [PYTHON] Dubbelzinnige verwijzing in functions.py column() oplossen
- [SPARK-35652] [SQL] joinWith op twee tabellen die zijn gegenereerd op basis van dezelfde tabel
- [SPARK-35679] [SQL] instantToMicros-overloop
- [SPARK-35602] [SS] Statusschema bijwerken om JSON met lange lengte te kunnen accepteren
- [SPARK-35653] [SQL] Fix CatalystToExternalMap geïnterpreteerd pad mislukt voor Kaart met caseklassen als sleutels of waarden
- [SPARK-35296] [SQL] Toestaan dat Dataset.observe werkt, zelfs als CollectMetricsExec in een taak meerdere partities verwerkt.
- [SPARK-35659] [SS] Schrijf null naar StateStore voorkomen
- [SPARK-35665] [SQL] UnresolvedAlias oplossen in CollectMetrics
- [SPARK-35558] Optimaliseert voor het ophalen van meerdere kwantielen
- [SPARK-35621] [SQL] Regel-id's verwijderen aan de TypeCoercion-regel toevoegen
- [SPARK-35077] [SQL] Migreren naar transformWithPruning voor restover optimizer-regels
- [SPARK-35610] [CORE] Los het geheugenlek op dat is geïntroduceerd door de afsluithaak van de uitvoerder
- [SPARK-35544] [SQL] Structuurpatroon voor het verwijderen van analyseregels toevoegen
- [SPARK-35566] [SS] StateStoreRestoreExec-uitvoerrijen herstellen
- [SPARK-35454] [SQL] [3.1] Eén LogicalPlan kan overeenkomen met meerdere gegevensset-id's
- [SPARK-35538] [SQL] TransformAllExpressions-aanroepsites migreren om transformAllExpressionsWithPruning te gebruiken
- [SPARK-35106] [Core] [SQL] Voorkomen dat de naam van de doelmap niet bestaat
- [SPARK-35287] [SQL] Allow RemoveRedundantProjects to preserve ProjectExec which generates UnsafeRow for DataSourceV2ScanRelation
- [SPARK-35495] [R] SparkR-onderhouder voor CRAN wijzigen
- [SPARK-27991] [CORE] De ophaalaanvraag op Netty OOM uitstellen
- [SPARK-35171] [R] Declareer het Markdown-pakket als een afhankelijkheid van het SparkR-pakket
- [SPARK-35454] [SQL] Eén LogicalPlan kan overeenkomen met meerdere gegevensset-id's
- [SPARK-35298] [SQL] Migreren naar transformWithPruning voor regels in Optimizer.scala
- [SPARK-35480] [SQL] Percentile_approx werken met draaitabel
- [SPARK-35093] [SQL] AQE maakt nu gebruik van het newQueryStage-plan als sleutel voor het opzoeken van uitwisselingen in de cache voor hergebruik
- [SPARK-35146] [SQL] Migreren naar transformWithPruning of resolveWithPruning voor regels in finishAnalysis.scala
- [SPARK-35411] [SQL] Essentiële informatie toevoegen tijdens het serialiseren van TreeNode aan json
- [SPARK-35294] [SQL] Structuurkruising toevoegen in regels met toegewezen bestanden onder optimizer
- [SPARK-34897] [SQL] [3.1] Ondersteuning voor het afstemmen van schema's op basis van index na het verwijderen van geneste kolommen
- [SPARK-35144] [SQL] Migreren naar transformWithPruning voor objectregels
- [SPARK-35155] [SQL] Regel-id's verwijderen aan Analyzer-regels toevoegen
- [SPARK-35382] [PYTHON] Los problemen met de naam van lambda-variabelen op in geneste DataFrame-functies in Python-API's.
- [SPARK-35359] [SQL] Het invoegen van gegevens met teken-/varchar-gegevenstype mislukt wanneer de gegevenslengte de lengtelimiet overschrijdt
- [SPARK-35381] [R] Los problemen met de naam van lambda-variabelen op in geneste functies in hogere volgorde bij R-API's
Systeemomgeving
- Besturingssysteem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | Cffi | 1.14.3 | Chardet | 3.0.4 |
| Cryptografie | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| Decorator | 4.4.2 | distlib | 0.3.2 | Docutils | 0.15.2 |
| invoerpunten | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | Ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koala's | 1.8.1 | matplotlib | 3.2.2 |
| Numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | Pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| Pyopenssl | 19.1.0 | Pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | opnieuw proberen | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | Scipy | 1.5.2 | seaborn | 0.10.0 |
| Setuptools | 50.3.1 | Zes | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | Tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | Virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| Wiel | 0.35.1 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| opstarten | 1.3-28 | Brouwsel | 1.0-6 | Brio | 1.1.0 |
| Bezem | 0.7.2 | beller | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| Codetools | 0.2-18 | Colorspace | 2.0-0 | commonmark | 1,7 |
| Compiler | 4.1.0 | configuratie | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Crayon | 1.3.4 | aanmeldingsgegevens | 1.3.0 |
| Overspraak | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| gegevenssets | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | Devtools | 2.3.2 | diffobj | 0.3.2 |
| Digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| ellipsis | 0.3.1 | evaluate | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Buitenlandse | 0.8-81 | Forge | 0.2.0 |
| Fs | 1.5.0 | Toekomst | 1.21.0 | Generics | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globals | 0.14.0 |
| Lijm | 1.4.2 | Gower | 0.2.2 | afbeeldingen | 4.1.0 |
| grDevices | 4.1.0 | Raster | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| Ipred | 0.9-9 | isoband | 0.2.3 | Iterators | 1.0.13 |
| jsonlite | 1.7.2 | Kernsmooth | 2.23-20 | breiwerk | 1,30 |
| Labeling | 0.4.2 | Later | 1.1.0.1 | Lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1.1 | MASS | 7.3-54 | Matrix | 1.3-3 |
| memoise | 1.1.0 | methoden | 4.1.0 | Mgcv | 1.8-35 |
| Mime | 0,9 | ModelMetrics | 1.2.2.2 | modeller | 0.1.8 |
| munsell | 0.5.0 | Nlme | 3.1-152 | Nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallel | 1.22.0 | Pijler | 1.4.7 | pkgbuild | 1.1.0 |
| Pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Lof | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Voortgang | 1.2.2 | Beloften | 1.1.1 | Proto | 1.0.0 |
| ps | 1.5.0 | Purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | Rcolorbrewer | 1.1-2 | Rcpp | 1.0.5 |
| leesbewerking | 1.4.0 | readxl | 1.3.1 | recepten | 0.1.15 |
| Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.2.0 |
| reprex | 0.3.0 | hervorm2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | Rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | Schalen | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | Vorm | 1.4.5 |
| Glanzende | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | Ruimtelijke | 7.3-11 | Splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | Stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| Overleving | 3.2-11 | sys | 3.4 | Tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| Timedate | 3043.102 | tinytex | 0,28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | whisker | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | Zip | 2.1.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeïne | Cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | Jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Collector | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | Stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pijlvector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-codering | 1.10.1-databricks9 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-vervolg | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Ongebruikte | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |