Databricks Runtime 10.0 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.0 en Databricks Runtime 10.0 Photon, mogelijk gemaakt door Apache Spark 3.2.0. Databricks heeft deze afbeeldingen uitgebracht in oktober 2021. Photon bevindt zich in openbare preview.

Nieuwe functies en verbeteringen

Nieuwe versie van Apache Spark

Databricks Runtime 10.0 en Databricks Runtime 10.0 Photon bevatten Apache Spark 3.2.0. Zie Apache Spark voor meer informatie.

SELECT-instructie ondersteunt nu DE COMPONENT QUALIFY om resultaten van vensterfuncties te filteren

De SELECT instructie ondersteunt nu de QUALIFY component. QUALIFY kan worden gebruikt om de resultaten van vensterfuncties te filteren. Een of meer vensterfuncties moeten aanwezig zijn in de SELECT lijst of de QUALIFY voorwaarde. Voorbeeld:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Clusterondersteuning voor JDK 11 (openbare preview)

Databricks biedt nu clusterondersteuning voor Java Development Kit (JDK) 11.

Wanneer u een cluster maakt, kunt u opgeven dat het cluster JDK 11 gebruikt (voor zowel het stuurprogramma als de uitvoerder). Voeg hiervoor de volgende omgevingsvariabele toe aan Geavanceerde opties > voor Spark-omgevingsvariabelen>:

JNAME=zulu11-ca-amd64

Automatisch laden behandelt nu schema's als nullable

Auto Loader behandelt nu alle uitgestelde en door de gebruiker geleverde schema's standaard als nullable. Dit is om mogelijke beschadiging van gegevens te voorkomen in gevallen waarin de gegevens null-velden bevatten voor niet-null-kolommen. Er wordt een nieuwe configuratie geïntroduceerd om dit gedrag bij te houden. spark.databricks.cloudFiles.schema.forceNullable Deze configuratie bevat standaard de instelling , spark.sql.streaming.fileSource.schema.forceNullablewaarvan filestreamsource in Apache Spark gebruikmaakt en standaard is ingesteld true op.

Wijzigingen die fouten veroorzaken

Belangrijke wijzigingen voor alle Spark SQL-gebruikers

  • Nieuwe spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled configuratie: wanneer deze is ingesteld trueop , staat u een subset van gecorreleerde gelijkheid predicaten toe wanneer een subquery wordt samengevoegd. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled configuratie: wanneer deze optie is ingesteld true, blokkeert u het automatisch genereren van aliassen wanneer weergaven worden gemaakt. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled configuratie: wanneer deze optie is ingesteld trueop , wordt het niet toegevolgd CREATE TABLE AS SELECT met een niet-lege locatie. De standaardinstelling is true. Houd er rekening mee dat wanneer spark.sql.legacy.allowNonEmptyLocationInCTAS dit ook is ingesteld trueop, deze configuratie geen effect heeft en CREATE TABLE AS SELECT dat een niet-lege locatie altijd is toegestaan.

Belangrijke wijzigingen voor Spark SQL-gebruikers die de ANSI-modus inschakelen

Zie ANSI-naleving in Databricks Runtime voor meer informatie over de ANSI-modus.

  • Nieuwe spark.databricks.behaviorChange.SC83587NextDayDOW.enabled configuratie: als dit is ingesteld trueop, genereert een ongeldig dayOfWeek argument voor de functie een IllegalArgumentException in ANSI-modusnext_day; anders wordt het geretourneerdnull. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC83796CanCast.enabled configuratie: indien ingesteld op true, schakelt u nieuwe expliciete cast-syntaxisregels in de ANSI-modus in. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled configuratie: wanneer deze optie is ingesteld true, wordt er een uitzondering voor parseringsfouten gegenereerd bij het casten van een tekenreeks naar een Booleaanse waarde; anders wordt er een fout nullgeretourneerd. De standaardinstelling is true.
  • Nieuwe spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled configuratie: als deze optie is ingesteld true, genereert de abs functie een uitzondering als de invoer buiten het bereik valt. De standaardinstelling is true.

Belangrijke wijzigingen voor alle Python-gebruikers

  • De Python-API delta.tables.DeltaTable.convertToDelta retourneert nu het juiste DeltaTable Python-object dat kan worden gebruikt om Delta Lake-opdrachten uit te voeren. Eerder retourneerde het een intern object dat niet rechtstreeks kon worden aangeroepen.

Bibliotheekupgrades

Apache Hadoop 3-upgrade

  • Databricks Runtime 10.0 werkt de Hadoop-afhankelijkheid van Hadoop 2.7.4 bij naar Hadoop 3.3.1.

Gedragswijzigingen

  • Hadoop 3 maakt gebruik van de hadoop-client-api en hadoop-client-runtimebibliotheken in plaats van de hadoop-gemeenschappelijke bibliotheek, waarmee bepaalde afhankelijkheden van derden worden gearceerde die mogelijk kunnen worden gebruikt in openbare Hadoop-API's of extensies.
  • Hadoop 3-configuratieopties zijn gewijzigd sinds Hadoop 2. Zie core-default.xml voor Hadoop 3.3.1-opties.
  • Databricks heeft enkele van de standaardconfiguraties voor Hadoop 3 bijgewerkt zodat deze consistent zijn met Hadoop 2 om ervoor te zorgen dat opslagconnectors dezelfde standaardverificatie-instellingen en prestatieniveaus hebben:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • De Google Cloud Storage-connector (GCS) is bijgewerkt van 2.1.6 naar 2.2.2.
  • De Amazon Redshift-connector maakt nu gebruik van het s3a:// schema. Het s3n:// schema is afgeschaft.
  • Verwerkt de OSS-klassenamen voor de Amazon S3 MetadataStore-API naast gearceerde klassen. Hierdoor kunnen OSS-configuraties worden verwerkt zonder dat de gearceerde klassenamen vereist zijn.
    • U kunt bijvoorbeeld de org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore klasse opgeven in de Hadoop-configuratie.
  • Maakt de new Configuration() en sparkContext.hadoopConfiguration consistente.
    • Telkens wanneer er een nieuwe Hadoop-configuratie wordt gemaakt, is deze consistent met de vooraf gedefinieerde Hadoop-configuratie in sparkContext.hadoopConfiguration de Databricks Runtime, inclusief bestandssysteemschema's en hun standaardconfiguratie.
  • Hoewel Hadoop-opslagconnectors die zijn opgenomen in de Databricks Runtime volledig compatibel zijn met Hadoop 3.3.1, zijn ze niet gegarandeerd gesynchroniseerd met OSS Hadoop 3.3.1-connectors en hebben ze mogelijk ander gedrag.
    • De Amazon S3-connector staat nog steeds toe (hoewel met een waarschuwing) gebruiker: geheime verificatie in S3-URL's, vergeleken met HADOOP-14833 , waardoor deze wordt verwijderd.
  • globStatus retourneert nu altijd gesorteerde resultaten (HADOOP-10798)
  • Fs.s3a.endpoint toegevoegd als de regio fs.s3a.endpoint null is (SPARK-35878)
    • Databricks heeft automatische resolutie voor Amazon S3-regio's mogelijk niet geactiveerd omdat het globale eindpunt is ingesteld. Dit is geen probleem, omdat de AWS SDK de regio correct oplost.
  • Fs.s3a.downgrade.syncable.exceptions toevoegen als deze niet is ingesteld (SPARK-35868)
  • LZ4- en Snappy-codecs zijn niet afhankelijk van de systeemeigen Hadoop-bibliotheek (HADOOP-17125)

Bekende problemen

  • SPARK-36681 Met Behulp van SnappyCodec voor het schrijven van een reeksbestand mislukt met UnsatisfiedLinkError vanwege een bekend probleem in Hadoop 3.3.1 (HADOOP-17891)

Apache Spark

Databricks Runtime 10.0 bevat Apache Spark 3.2.0.

In deze sectie:

Hoogtepunten

Core en Spark SQL

Verbeteringen in ANSI SQL-compatibiliteit

  • ANSI SQL INTERVAL-typen ondersteunen (SPARK-27790)
  • Syntaxisregels voor nieuwe typen coercion in ANSI-modus (SPARK-34246)

Prestatieverbeteringen

  • Queryoptimalisatie
    • Redundante aggregaties verwijderen in de Optimizer (SPARK-33122)
    • Push down limit through Project with Join(SPARK-34622)
    • Kardinaliteitschatting van samenvoeging, sortering en bereikoperator (SPARK-33411)
    • UnwrapCastInBinaryComparison-ondersteuning in/InSet predicaat (SPARK-35316)
    • Houd de benodigde statistieken na het snoeien van partities (SPARK-34119)
  • Query uitvoeren
    • Standaard Zstandard-buffergroep inschakelen (SPARK-34340, SPARK-34390)
    • Code-gen toevoegen voor alle jointypen van sort merge join (SPARK-34705)
    • Verbetering van geneste lusdeelname uitzenden (SPARK-34706)
    • Ondersteuning voor twee niveaus van hash-toewijzingen voor uiteindelijke hashaggregatie (SPARK-35141)
    • Gelijktijdige schrijvers toestaan voor het schrijven van dynamische partities en buckettabel (SPARK-26164)
    • De prestaties van de verwerking verbeteren FETCH_PRIOR in Thriftserver (SPARK-33655)

Verbeteringen Verbinding maken or

  • Parket
    • Parquet upgraden naar 1.12.1 (SPARK-36726)
    • Niet-ondertekende parquet-typen lezen die zijn opgeslagen als fysiek int32-type in Parquet (SPARK-34817)
    • Lees Parquet niet-ondertekend logisch type int64 dat is opgeslagen als ondertekend int64 fysiek type naar decimaal(20, 0)(SPARK-34786)
    • Parquet verbeteren in filterpushdown (SPARK-32792)
  • ORC
    • ORC upgraden naar versie 1.6.11 (SPARK-36482)
    • Ondersteuning voor geforceerde positionele evolutie van ORC (SPARK-32864)
    • Ondersteuning voor geneste kolom in ORC vectorized reader (SPARK-34862)
    • Ondersteuning voor ZSTD- en LZ4-compressie in ORC-gegevensbron (SPARK-33978, SPARK-35612)
  • Avro
    • Avro upgraden naar versie 1.10.2 (SPARK-34778)
    • Ondersteuning voor avro-schemaontwikkeling voor gepartitioneerde Hive-tabellen met 'avro.schema.literal'(SPARK-26836)
    • Nieuwe opties voor Avro-gegevensbronnen toevoegen om het wijzigen van datum/tijd te beheren in read (SPARK-34404)
    • Ondersteuning toevoegen voor door de gebruiker opgegeven schema-URL in Avro (SPARK-34416)
    • Ondersteuning toegevoegd voor positionele Catalyst-to-Avro-schemakoppeling (SPARK-34365)
  • JSON
    • Jackson upgraden naar versie 2.12.3 (SPARK-35550)
    • Toestaan dat Json-gegevensbronnen niet-ascii-tekens schrijven als codepunten (SPARK-35047)
  • JDBC
    • Nauwkeurigere partitie-stride berekenen in JDBCRelation (SPARK-34843)
  • Hive Metastore-ondersteuningsfilter op niet-in (SPARK-34538)

Functieverbeteringen

  • Subquery
  • Nieuwe ingebouwde functies
  • Apache Hadoop 3.3.1 standaard gebruiken (SPARK-29250)
  • Controlesom toevoegen voor willekeurige blokken (SPARK-35275)
  • Spark.storage.replication.proactive standaard inschakelen (SPARK-33870)
  • Ondersteuning voor het opschonen van terugvalopslag tijdens het stoppen van SparkContext (SPARK-34142)
  • Ondersteuning voor Java-opsommingen van Scala Dataset-API (SPARK-23862)
  • ADD JAR met ivy-coördinaten moet compatibel zijn met Hive-transitief gedrag (SPARK-34506)
  • Ondersteuning voor de opdracht ADD ARCHIVE en LIST ARCHIVES (SPARK-34603)
  • Ondersteuning voor meerdere paden voor OPDRACHTEN ADD FILE/JAR/ARCHIVE (SPARK-35105)
  • Ondersteuning voor archiefbestanden als resources voor CREATE FUNCTION USING syntax (SPARK-35236)
  • SparkSessionExtensions laden vanuit ServiceLoader (SPARK-35380)
  • Voeg de zinnenfunctie toe aan functies. {scala,py} (SPARK-35418)
  • Pas spark.sql.hive.metastorePartitionPruning toe voor niet-Hive-tabellen die gebruikmaken van Hive-metastore voor partitiebeheer (SPARK-36128)
  • Reden voor exec-verlies doorgeven aan webgebruikersinterface (SPARK-34764)
  • Vermijd het inlijnen van niet-deterministische met-CTEs (SPARK-36447)
  • Ondersteuning voor het analyseren van alle tabellen in een specifieke database (SPARK-33687)
  • Uitzonderingsberichten standaardiseren in Spark (SPARK-33539)
  • Ondersteuning (IGNORE | RESPECT) NULLS voor LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Andere belangrijke wijzigingen

  • Monitor
    • Nieuwe metrische gegevens voor ExternalShuffleService (SPARK-35258)
    • Nieuwe REST API's en parameters op faseniveau toevoegen (SPARK-26399)
    • Ondersteuning voor taak- en uitvoerdersdistributies metrische gegevensdistributies in de REST API (SPARK-34488)
    • Metrische terugvalgegevens voor hashaggregaties toevoegen (SPARK-35529)
  • Voeg count_distinct toe als optie voor Gegevensset#summary (SPARK-34165)
  • ScriptTransform implementeren in sql/core (SPARK-31936)
  • Heartbeat-time-out van BlockManagerMaster-stuurprogramma configureren (SPARK-34278)
  • De naam van de willekeurige service aan de clientzijde configureren en instellen op basis van classpath aan de serverzijde (SPARK-34828)
  • ExecutorMetricsPoller moet fase-invoer in stageTCMP behouden totdat een heartbeat plaatsvindt (SPARK-34779)
  • Vervangen door filtercomponent in RewriteDistinctAggregates (SPARK-34882)
  • Fout opgelost bij het toepassen van CostBasedJoinReorder op self-join (SPARK-34354)
  • CREATE TABLE LIKE moet de gereserveerde tabeleigenschappen (SPARK-34935) respecteren
  • Ivy verzenden Instellingen bestand naar stuurprogramma in YARN-clustermodus (SPARK-34472)
  • Dubbele gedupliceerde kolommen oplossen van USING/NATURAL JOIN (SPARK-34527)
  • Interne weergave-eigenschappen verbergen voor tabel-cmd (SPARK-35318)
  • Ondersteuning voor het oplossen van ontbrekende attrs voor distributie/cluster door/herpartition hint (SPARK-35331)
  • Negeer de fout bij het controleren van het pad in FileStreamSink.hasMetadata (SPARK-34526)
  • Ondersteuning voor s3a magic committer verbeteren door ontbrekende configuraties uit te stellen (SPARK-35383)
  • Toestaan om weg te laten: in de tekenreeks van het STRUCT-type (SPARK-35706)
  • Een nieuwe operator toevoegen om te onderscheiden of AQE veilig kan optimaliseren (SPARK-35786)
  • Nieuwe geneste structvelden toevoegen in plaats van te sorteren op unionByName met null-vulling (SPARK-35290)
  • ArraysZip moet veldnamen behouden om te voorkomen dat ze opnieuw worden geschreven door analyzer/optimizer (SPARK-35876)
  • Void gebruiken als de typenaam van NullType (SPARK-36224)
  • Introduceer nieuwe API voor FileCommitProtocol: flexibele bestandsnaamgeving (SPARK-33298)

Wijzigingen in gedrag

Zie de migratiehandleidingen voor elk onderdeel: Spark Core.

Gestructureerd streamen

Belangrijke functies

  • Sessiebeheer op basis van EventTime (sessievenster)(SPARK-10816)
  • Kafka-client upgraden naar 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow voor het uitvoeren van streamingquery's zoals Trigger.Once in meerdere batches in Scala (SPARK-36533)

Andere belangrijke wijzigingen

  • Introduceer een nieuwe optie in Kafka-bron om een minimum aantal records op te geven dat per trigger moet worden gelezen (SPARK-35312)
  • Meest recente offsets toevoegen aan de voortgang van de bron (SPARK-33955)

PySpark

Project Zen

Andere belangrijke wijzigingen

  • Vastgemaakte threadmodus standaard inschakelen (SPARK-35303)
  • NullType-ondersteuning toevoegen voor pijluitvoeringen (SPARK-33489)
  • Pijl toevoegen self_destruct ondersteuning voor toPandas (SPARK-32953)
  • Thread target wrapper-API toevoegen voor pyspark-threadmodus (SPARK-35498)

Wijzigingen in gedrag

Zie de migratiehandleidingen.

MLlib

Prestatieverbeteringen

  • BucketedRandomProjectionLSH-transformatieoptimalisatie (SPARK-34220)
  • w2v findSynonyms optimization (SPARK-34189)
  • sparse GEMM optimaliseren door afhankelijke controle over te slaan (SPARK-35707)
  • Prestaties verbeteren van ML ALS recommendForAll door GEMV (SPARK-33518)

Verbeteringen in modeltraining

  • Logistieke Aggregator herstructureren - ondersteuning voor virtual centering (SPARK-34797)
  • Binaire logistieke regressie met snijpuntondersteuning (SPARK-34858, SPARK-34448)
  • Multinomial Logistic Regression met intercept support centering (SPARK-34860)

BLAS-verbeteringen

  • Vervang volledig com.github.fommil.netlib door dev.sql.netlib:2.0(SPARK-35295)
  • Een gevectoriseerde BLAS-implementatie toevoegen (SPARK-33882)
  • Terugval BLAS versnellen met dev.azure.netlib (SPARK-35150)

Andere belangrijke wijzigingen

  • OVR-transformatie lost potentiële kolomconflicten op (SPARK-34356)

Afschaffingen en verwijderingen

  • Spark.launcher.child verwijderen Verbinding maken ionTimeout(SPARK-33717)
  • GROUP BY afschaven ... GROEPEREN SETS (...) en GROEPEREN OP GROEPEREN SETS (...) (SPARK-34932)
  • Ps.broadcast-API (SPARK-35810) verwijderen
  • Het num_files argument verwijderen (SPARK-35807)
  • DataFrame.to_spark_io (SPARK-35811) verwijderen

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 10.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
Chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Decorator 5.0.6 distlib 0.3.3
distro-info 0.23opgegeven1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koala's 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kussen 8.2.0 Pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Setuptools 52.0.0 Zes 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 Vasthoudendheid 8.0.1 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Wiel 0.36.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-09-21.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 opstarten 1.3-28
Brouwsel 1.0-6 Brio 1.1.2 Bezem 0.7.9
bslib 0.3.0 cachem 1.0.6 beller 3.7.0
caret 6.0-88 cellranger 1.1.0 Chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 Codetools 0.2-18 Colorspace 2.0-2
commonmark 1,7 Compiler 4.1.1 configuratie 0.3.1
cpp11 0.3.1 Crayon 1.4.1 aanmeldingsgegevens 1.3.1
curl 4.3.2 data.table 1.14.0 gegevenssets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
Devtools 2.4.2 diffobj 0.3.4 Digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellipsis 0.3.2
evaluate 0,14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
Buitenlandse 0.8-81 Forge 0.2.0 Fs 1.5.0
Toekomst 1.22.1 future.apply 1.8.1 Gorgelen 1.2.0
Generics 0.1.0 Gert 1.4.1 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globals 0.14.0 Lijm 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 afbeeldingen 4.1.1
grDevices 4.1.1 Raster 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.4.3
highr 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
Ini 0.3.1 Ipred 0.9-12 isoband 0.2.5
Iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
Kernsmooth 2.23-20 breiwerk 1.34 Labeling 0.4.2
Later 1.3.0 Lattice 0.20-44 lava 1.6.10
levenscyclus 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1.1 MASS 7.3-54
Matrix 1.3-4 memoise 2.0.0 methoden 4.1.1
Mgcv 1.8-37 Mime 0,11 ModelMetrics 1.2.2.2
modeller 0.1.8 munsell 0.5.0 Nlme 3.1-152
Nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallel 1.28.1 Pijler 1.6.2
pkgbuild 1.2.0 Pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Voortgang 1.2.2 progressr 0.8.0
Beloften 1.2.0.1 Proto 1.0.0 ps 1.6.0
Purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
Rcolorbrewer 1.1-2 Rcpp 1.0.7 leesbewerking 2.0.1
readxl 1.3.1 recepten 0.1.16 Rematch 1.0.1
opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.0 reprex 2.0.1
hervorm2 1.4.4 rlang 0.4.11 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 Rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
Sass 0.4.0 Schalen 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 Vorm 1.4.6 Glanzende 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
Ruimtelijke 7.3-11 Splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 Overleving 3.2-13
sys 3.4 Tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 Timedate 3043.102
tinytex 0,33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 1.3.2
dev.netje.netlib Blas 1.3.2
dev.netje.netlib Lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-codering 1.12.0-databricks-0003
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-vervolg 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1