Databricks Runtime 9.0 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 9.0 en Databricks Runtime 9.0 Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze afbeeldingen uitgebracht in augustus 2021. Photon bevindt zich in openbare preview.

Correctie

Een eerdere versie van deze releaseopmerkingen heeft ten onrechte aangegeven dat Apache Parquet-afhankelijkheden zijn bijgewerkt van 1.10 naar 1.12. Parquet-afhankelijkheden blijven in versie 1.10. De onjuiste releasenotitie is verwijderd.

Nieuwe functies en verbeteringen

Nieuwe API voor overzichtsstatistieken van gegevenssets (openbare preview)

Met de nieuwe dbutils.data.summarize opdracht in Databricks Utilities kunt u een Spark-taak starten waarmee automatisch samenvattingsstatistieken worden berekend op de kolommen van een Spark DataFrame en vervolgens de resultaten interactief worden weergegeven. Deze functie is beschikbaar in Scala en Python. Zie het gegevenshulpprogramma (dbutils.data).

Eenvoudigere configuratie van externe gegevensbronnen voor de Azure Synapse-connector

Met de nieuwe externalDataSource optie in de querygegevens in de Azure Synapse Analytics-connector kunt u een vooraf ingerichte externe gegevensbron gebruiken om te lezen uit een Azure Synapse-database. Met externalDataSource de optie wordt de noodzaak voor de CONTROL eerder vereiste machtiging verwijderd.

Bij het instellen externalDataSourcemoeten de externe gegevensbron en de optie voor het tempDir configureren van tijdelijke opslag verwijzen naar dezelfde container in het opslagaccount.

De sessie desgewenst beperken tot een opgegeven duur voor de Amazon Redshift-connector

Met de nieuwe fs.s3a.assumed.role.session.duration optie in de Query Amazon Redshift met behulp van de Azure Databricks-connector kunt u desgewenst een duur voor de sessie instellen wanneer Redshift toegang heeft tot de tijdelijke S3-bucket met een aangenomen rol.

Automatisch laden

Geoptimaliseerde bestandsvermelding

Automatische loaderoptimalisaties bieden prestatieverbeteringen en kostenbesparingen bij het weergeven van geneste mappen in cloudopslag, waaronder AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) en Google Cloud Storage (GCS).

Als u bijvoorbeeld bestanden hebt geüpload als /some/path/YYYY/MM/DD/HH/fileName, om alle bestanden in deze mappen te vinden, wordt automatisch laadprogramma gebruikt om een parallelle lijst van alle submappen uit te voeren, waardoor 365 (per dag) * 24 (per uur) = 8760 LIST API-directoryaanroepen naar de onderliggende opslag voor elk jaar directory. Door een plat antwoord van deze opslagsystemen te ontvangen, vermindert Auto Loader het aantal API-aanroepen naar het aantal bestanden in het opslagsysteem, gedeeld door het aantal resultaten dat door elke API-aanroep wordt geretourneerd (1000 voor S3, 5000 voor ADLS Gen2 en 1024 voor GCS), waardoor de cloudkosten aanzienlijk worden verminderd.

Geoptimaliseerde opslag van afbeeldingsgegevens

Auto Loader kan nu automatisch afbeeldingsgegevens detecteren die worden opgenomen en geoptimaliseerd voor de opslag in Delta-tabellen om de lees- en schrijfprestaties te verbeteren. Zie Afbeeldings- of binaire gegevens opnemen in Delta Lake voor ML.

Miniaturen van afbeeldingen voor binaire bestanden (openbare preview)

Afbeeldingen in binaryFile de indeling die zijn geladen of opgeslagen als Delta-tabellen met autolader, bevatten aantekeningen, zodat de miniatuurweergaven van afbeeldingen worden weergegeven wanneer u de tabel weergeeft in een Azure Databricks-notebook. Zie Afbeeldingen voor meer informatie.

DirectoryRename gebeurtenissen maken atomische verwerking van meerdere bestanden mogelijk

Auto Loader-streams die zijn gemaakt in Databricks Runtime 9.0 en hoger in Azure Data Lake Storage Gen2, stellen meldingen voor bestandsgebeurtenissen in om mapnamen op te nemen en naar gebeurtenissen te RenameDirectory luisteren. U kunt mapnamen gebruiken om meerdere bestanden atomisch te laten verschijnen in Auto Loader.

SQL

Kolommen uitsluiten in SELECT * (openbare preview)

SELECT * ondersteunt nu een EXCEPT trefwoord, waarmee u opgegeven kolommen op het hoogste niveau kunt uitsluiten van de uitbreiding. Bijvoorbeeld: SELECT * EXCEPT (b) FROM tbl van een tabel met schema (a, b, c) wordt uitgebreid naar (a, c).

Scalaire SQL-functies (openbare preview)

CREATE FUNCTION ondersteunt nu scalaire SQL-functies. U kunt scalaire functies maken die een set argumenten gebruiken en één scalaire waarde retourneren. De hoofdtekst van de SQL-functie kan elke expressie zijn. Voorbeeld:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Zie CREATE FUNCTION (SQL en Python) voor meer informatie.

Verwijzing naar voorgaande aliassen en kolommen in FROM subquery's (openbare preview)

Subquery's in de FROM component van een query kunnen nu worden voorafgegaan door het LATERAL trefwoord waarmee ze kunnen verwijzen naar aliassen en kolommen in de voorgaande FROM items. Voorbeeld:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Het LATERAL trefwoord ondersteunt INNER, CROSSen LEFT (OUTER) JOIN.

Zie Parameters en parameters.

R-ondersteuning

R-bibliotheken met notebookbereik (openbare preview)

Met notebook-scoped bibliotheken kunt u bibliotheken installeren en een omgeving maken die is gericht op een notebooksessie. Deze bibliotheken zijn niet van invloed op andere notebooks die op hetzelfde cluster worden uitgevoerd. De bibliotheken zijn beschikbaar op zowel stuurprogramma- als werkknooppunten, zodat u ernaar kunt verwijzen in door de gebruiker gedefinieerde functies. Zie R-bibliotheken met notebookbereik.

Waarschuwingsberichten in R-notebooks

De standaardwaarde van de warn optie is nu ingesteld op 1 in R-notebooks. Als gevolg hiervan worden alle waarschuwingen nu weergegeven als onderdeel van het opdrachtresultaat. Zie Opties Instellingen voor meer informatie over de warn optie.

Vermijd opnieuw door de initiële status op te geven voor stateful verwerking van structured streaming

U kunt nu een door de gebruiker gedefinieerde initiële status opgeven voor gestructureerde streaming stateful verwerking met behulp van [flat]MapGroupsWithState een operator.

Zie De beginstatus opgeven voor mapGroupsWithState.

Een implementatie met weinig willekeurige volgorde van de opdracht Delta MERGE INTO is nu beschikbaar (openbare preview)

De Delta-opdracht MERGE INTO heeft een nieuwe implementatie die het aantal ongewijzigde rijen vermindert. Dit verbetert de prestaties van de opdracht en helpt bij het behouden van bestaande clustering in de tabel, zoals Z-volgorde. Als u samenvoegen met lage willekeurige volgorde wilt inschakelen, stelt u deze optie in spark.databricks.delta.merge.enableLowShuffle op true. Zie Samenvoegen met lage willekeurige volgorde in Azure Databricks.

Bugfixes

  • U kunt een weergave niet meer overschrijven door een weergave met dezelfde naam te maken.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • certifi van 2021.5.30 tot 2020.12.5
    • chardet van 3.0.4 tot 4.0.0
    • Cython van 0.29.21 tot 0.29.23
    • decorator van 4.4.2 tot 5.0.6
    • ipython van 7.19.0 tot 7.22.0
    • joblib van 0.17.0 tot 1.0.1
    • jupyter-client van 6.1.7 tot 6.1.12
    • jupyter-core van 4.6.3 tot 4.7.1
    • kiwisolver van 1.3.0 tot 1.3.1
    • matplotlib van 3.2.2 tot 3.4.2
    • pandas van 1.1.5 tot 1.2.4
    • pip van 20.2.4 tot 21.0.1
    • prompt-toolkit van 3.0.8 tot 3.0.17
    • protobuf van 3.17.3 tot 3.17.2
    • ptyproces van 0.6.0 tot 0.7.0
    • pyarrow van 1.0.1 tot 4.0.0
    • Pygments van 2.7.2 tot 2.8.1
    • pyzmq van 19.0.2 tot 20.0.0
    • aanvragen van 2.24.0 tot 2.25.1
    • s3transfer van 0.3.6 tot 0.3.7
    • scikit-learn van 0.23.2 tot 0.24.1
    • scipy van 1.5.2 tot 1.6.2
    • seaborn van 0.10.0 tot 0.11.1
    • setuptools van 50.3.1 tot 52.0.0
    • statsmodels van 0.12.0 tot 0.12.2
    • tornado van 6.0.4 tot 6.1
    • virtualenv van 20.2.1 tot 20.4.1
    • wiel van 0.35.1 tot 0.36.2
  • Bijgewerkte R-bibliotheken:
    • Matrix van 1,3-3 tot 1,3-4

Apache Spark

Databricks Runtime 9.0 bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 8.4 (niet ondersteund) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-35886] [SQL] [3.1] PromotePrecision mag genCodePromotePrecision niet overschrijven
  • [SPARK-35879] [CORE] [SHUFFLE] Prestatieregressie oplossen die wordt veroorzaakt door collectFetchRequests
  • [SPARK-35817] [SQL] [3.1] Prestaties van query's herstellen voor brede Avro-tabellen
  • [SPARK-35841] [SQL] Het casten van tekenreeks naar het decimale type werkt niet als de...
  • [SPARK-35783] [SQL] De lijst met leeskolommen in de taakconfiguratie instellen om het lezen van ORC-gegevens te verminderen
  • [SPARK-35576] [SQL] [3.1] De gevoelige informatie opnieuw instellen in het resultaat van de opdracht Instellen
  • [SPARK-35449] [SQL] [3.1] Alleen algemene expressies extraheren uit CaseWhen-waarden als elseValue is ingesteld
  • [SPARK-35288] [SQL] StaticInvoke moet de methode vinden zonder exacte argumentklassen
  • [SPARK-34794] [SQL] Problemen met de naam van lambda-variabelen in geneste DataFrame-functies oplossen
  • [SPARK-35278] [SQL] Aanroepen moeten de methode met het juiste aantal parameters vinden
  • [SPARK-35226] [SQL] Ondersteuning voor de optie refreshKrb5Config in JDBC-gegevensbronnen
  • [SPARK-35244] [SQL] Aanroepen moet de oorspronkelijke uitzondering genereren
  • [SPARK-35213] [SQL] Behoud de juiste volgorde van geneste structs in gekoppelde withField-bewerkingen
  • [SPARK-35087] [UI] Sommige kolommen in de samengevoegde metrische gegevens van de tabel per uitvoerder van de fasedetailpagina worden onjuist weergegeven.
  • [SPARK-35168] [SQL] mapred.reduce.tasks should be shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [UI] Wanneer we schakelen tussen verschillende fasedetailpagina's, is het item op de zojuist geopende pagina mogelijk leeg
  • [SPARK-35142] [PYTHON] [ML] Onjuist retourtype herstellen voor rawPredictionUDF in OneVsRestModel
  • [SPARK-35096] [SQL] SchemaPruning moet voldoen aan de configuratie spark.sql.caseSensitive
  • [SPARK-34639] [SQL] [3.1] RelationalGroupedDataset.alias mag niet UnresolvedAlias maken
  • [SPARK-35080] [SQL] Alleen een subset van gecorreleerde gelijkheidspredicaten toestaan wanneer een subquery wordt samengevoegd
  • [SPARK-35117] [UI] Voortgangsbalk weer wijzigen om de verhouding van taken in uitvoering te markeren
  • [SPARK-35136] De initiële null-waarde van LiveStage.info verwijderen
  • [SPARK-34834] [NETWERK] Een potentieel Netty-geheugenlek in TransportResponseHandler oplossen
  • [SPARK-35045] [SQL] Een interne optie toevoegen om de invoerbuffer in onvoorzichtigheid te beheren
  • [SPARK-35014] Het PhysicalAggregation-patroon herstellen om vouwbare expressies niet opnieuw te schrijven
  • [SPARK-35019] [PYTHON] [SQL] Typehints corrigeren die niet overeenkomen in pyspark.sql.*
  • [SPARK-34926] [SQL] [3.1] PartitioningUtils.getPathFragment() moet de partitiewaarde null respecteren
  • [SPARK-34630] [PYTHON] Voeg typehint toe voor pyspark.Versie
  • [SPARK-34963] [SQL] Geneste kolomsnoeien opgelost voor het extraheren van hoofdlettergevoelig structveld uit matrix van struct
  • [SPARK-34988] [CORE] [3.1] Upgrade Jetty voor CVE-2021-28165
  • [SPARK-34922] [SQL] [3.1] Gebruik een relatieve kostenvergelijkingsfunctie in de CBO
  • [SPARK-34970] [SQL] [BEVEILIGING] [3.1] Kaarttypeopties opnieuw uitvoeren in de uitvoer van explain()
  • [SPARK-34923] [SQL] Uitvoer van metagegevens moet leeg zijn voor meer plannen
  • [SPARK-34949] [CORE] Voorkomen dat BlockManager opnieuw wordt geregistreerd wanneer de uitvoerder wordt afgesloten
  • [SPARK-34939] [CORE] Foutuitzondering voor ophalen genereren wanneer broadcast-toewijzingsstatussen niet kunnen worden gedeserialiseerd
  • [SPARK-34909] [SQL] Conversie van negatief naar niet-ondertekend in conv() corrigeren
  • [SPARK-34845] [CORE] ProcfsMetricsGetter mag geen gedeeltelijke metrische procfs-gegevens retourneren
  • [SPARK-34814] [SQL] LikeSimplification moet NULL verwerken
  • [SPARK-34876] [SQL] Fill defaultResult of non-nullable aggregates
  • [SPARK-34829] [SQL] Resultaten van functie in hogere volgorde herstellen
  • [SPARK-34840] [SHUFFLE] Corrigeert gevallen van beschadiging in samengevoegde willekeurige volgorde...
  • [SPARK-34833] [SQL] Juiste opvulling toepassen voor gecorreleerde subquery's
  • [SPARK-34630] [PYTHON] [SQL] Typehint toegevoegd voor pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" en df("name") moeten kolomnamen tussen aanhalingangen correct verwerken
  • [SPARK-33482][SPARK-34756] [SQL] Bestandsscan-gelijkheidscontrole herstellen
  • [SPARK-34790] [CORE] Het ophalen van willekeurige blokken in batch uitschakelen wanneer Io-versleuteling is ingeschakeld
  • [SPARK-34803] [PYSPARK] Geef de verhoogde ImportError door als pandas of duizendblad niet kan worden geïmporteerd
  • [SPARK-34225] [CORE] Codeer verder niet wanneer een URI-formuliertekenreeks wordt doorgegeven aan addFile of addJar
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key zoals geheim en token
  • [SPARK-34796] [SQL] [3.1] Initialiseer de tellervariabele voor LIMIT-code-gen in doProduce()
  • [SPARK-34128] [SQL] Ongewenste TTransportException-waarschuwingen onderdrukken die betrokken zijn bij THRIFT-4805
  • [SPARK-34776] [SQL] Geneste kolomsnoeien mag geen gegenereerde kenmerken van het venster verwijderen
  • [SPARK-34087] [3.1] [SQL] Geheugenlek van ExecutionListenerBus oplossen
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords moet Spark classloader gebruiken in plaats van context
  • [SPARK-34719] [SQL] [3.1] De weergavequery correct oplossen met dubbele kolomnamen
  • [SPARK-34766] [SQL] [3.1] Maven-configuratie niet vastleggen voor weergaven
  • [SPARK-34731] [CORE] Vermijd ConcurrentModificationException bij het redacteren van eigenschappen in EventLoggingListener
  • [SPARK-34737] [SQL] [3.1] Cast input float to double in TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL] [3.1] Vereenvoudig ResolveCreateNamedStruct
  • [SPARK-34768] [SQL] Respecteer de standaardgrootte van de invoerbuffer in Univocity
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists mag niet mislukken als de database niet bestaat
  • [SPARK-34504] [SQL] Voorkom onnodige oplossing van tijdelijke SQL-weergaven voor DDL-opdrachten
  • [SPARK-34727] [SQL] Discrepantie in cast-float naar tijdstempel herstellen
  • [SPARK-34723] [SQL] Het juiste parametertype voor subexpressie-afschaffing in de hele fase
  • [SPARK-34724] [SQL] Geïnterpreteerde evaluatie herstellen met behulp van getMethod in plaats van getDeclaredMethod
  • [SPARK-34713] [SQL] Groep herstellen op CreateStruct met ExtractValue
  • [SPARK-34697] [SQL] ALLOW DESCRIBE FUNCTION and SHOW FUNCTIONS explain about || (operator voor tekenreekssamenvoeging)
  • [SPARK-34682] [SQL] PrivateMethodTester gebruiken in plaats van weerspiegeling
  • [SPARK-34682] [SQL] Regressie in canonicalisatiefoutcontrole in CustomShuffleReaderExec oplossen
  • [SPARK-34681] [SQL] Fout opgelost voor volledige outer shuffled hash join bij het bouwen aan de linkerkant met een niet-gelijke voorwaarde
  • [SPARK-34545] [SQL] Problemen met de functie valueCompare van pyrolite oplossen
  • [SPARK-34607] [SQL] [3.1] Toevoegen Utils.isMemberClass om een fout met een onjuiste klassenaam op jdk8u op te lossen
  • [SPARK-34596] [SQL] Gebruik Utils.getSimpleName om te voorkomen dat er een ongeldige klassenaam wordt bereikt in NewInstance.doGenCode
  • [SPARK-34613] [SQL] Oplossingsweergave legt de configuratie van hints niet vast
  • [SPARK-32924] [WEBUI] De kolom Duur in de hoofdgebruikersinterface sorteren in de juiste volgorde
  • [SPARK-34482] [SS] De actieve SparkSession voor StreamExecution.logicalPlan corrigeren
  • [SPARK-34567] [SQL] CreateTableAsSelect moet ook metrische gegevens bijwerken
  • [SPARK-34599] [SQL] Los het probleem op dat INSERT INTO OVERWRITE geen ondersteuning biedt voor partitiekolommen met punt voor DSv2
  • [SPARK-34577] [SQL] Neerzetten/kolommen toevoegen aan een gegevensset van DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] Statische partitie moet ook StoreAssignmentPolicy volgen bij invoegen in v2-tabellen
  • [SPARK-34555] [SQL] Metagegevensuitvoer van DataFrame oplossen
  • [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
  • [SPARK-34547] [SQL] Gebruik alleen metagegevenskolommen voor resolutie als laatste redmiddel
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap mislukt voor kolomnaam met een punt
  • [SPARK-34561] [SQL] Verwijderen/kolommen toevoegen van/naar een gegevensset van v2 herstellen DESCRIBE TABLE
  • [SPARK-34556] [SQL] Het controleren van dubbele statische partitiekolommen moet rekening hebben met hoofdlettergevoelige conf
  • [SPARK-34392] [SQL] Ondersteuning voor ZoneOffset +h:mm in DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] InSet null-waarde overslaan tijdens pushfilter naar Hive-metastore
  • [SPARK-34543] [SQL] Respecteer de configuratie tijdens het spark.sql.caseSensitive oplossen van partitiespecificaties in v1 SET LOCATION
  • [SPARK-34436] [SQL] DPP ondersteunt LIKE ANY/ALL-expressie
  • [SPARK-34531] [CORE] Experimentele API-tag verwijderen in PrometheusServlet
  • [SPARK-34497] [SQL] Ingebouwde JDBC-verbindingsproviders herstellen om wijzigingen in de JVM-beveiligingscontext te herstellen
  • [SPARK-34515] [SQL] NPE herstellen als InSet null-waarde bevat tijdens getPartitionsByFilter
  • [SPARK-34490] [SQL] Analyse mislukt als de weergave verwijst naar een verwijderde tabel
  • [SPARK-34473] [SQL] NPE vermijden in DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Ontbrekende documenten toevoegen voor ResourceProfile-API's
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext kan vastlopen met een raceprobleem
  • [SPARK-20977] [CORE] Een niet-definitief veld gebruiken voor de status van CollectionAccumulator
  • [SPARK-34421] [SQL] Tijdelijke functies en weergaven in weergaven met CTE's oplossen
  • [SPARK-34431] [CORE] Slechts eenmaal laden hive-site.xml
  • [SPARK-34405] [CORE] Gemiddelde waarde van timersLabels in de klasse PrometheusServlet herstellen
  • [SPARK-33438] [SQL] Gretig init-objecten met gedefinieerde SQL Confs voor opdracht set -v
  • [SPARK-34158] Onjuiste URL van de enige ontwikkelaar Matei in pom.xml
  • [SPARK-34346] [CORE] [SQL] [3.1] io.file.buffer.size ingesteld door spark.buffer.size wordt overschreven door hive-site.xml per ongeluk perf regressie te laden
  • [SPARK-34359] [SQL] [3.1] Voeg een verouderde configuratie toe om het uitvoerschema van SHOW DATABASES te herstellen
  • [SPARK-34331] [SQL] Snelheid van DS v2-metagegevens colresolutie
  • [SPARK-34318] [SQL] [3.1] Dataset.colRegex moet werken met kolomnamen en kwalificaties die nieuwe regels bevatten
  • [SPARK-34326] [CORE] [SQL] Oplossing voor UT's die zijn toegevoegd in SPARK-31793, afhankelijk van de lengte van het tijdelijke pad
  • [SPARK-34319] [SQL] Dubbele kenmerken voor FlatMapCoGroupsInPandas/MapInPandas oplossen
  • [SPARK-34310] [CORE] [SQL] Hiermee vervangt u de kaart en platgemaakt door flatMap
  • [SPARK-34083] [SQL] [3.1] Het gebruik van oorspronkelijke TPCDS-definities voor char/varchar-colums
  • [SPARK-34233] [SQL] [3.1] FIX NPE voor tekenopvulling in binaire vergelijking
  • [SPARK-34270] [SS] StateStoreMetrics combineren mag StateStoreCustomMetric niet overschrijven
  • [SPARK-34144] [SQL] Er is een uitzondering opgetreden bij het schrijven van LocalDate- en Instant-waarden naar een JDBC-relatie
  • [SPARK-34273] [CORE] BlockManager niet opnieuw registreren wanneer SparkContext is gestopt
  • [SPARK-34262] [SQL] [3.1] Gegevens in cache vernieuwen van v1-tabel in ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE] [SQL] [MLLIB] Vervangt het filter en de grootte door het aantal
  • [SPARK-34260] [SQL] UnresolvedException opgelost bij het tweemaal maken van de tijdelijke weergave
  • [SPARK-33867] [SQL] Instant- en LocalDate-waarden worden niet verwerkt bij het genereren van SQL-query's
  • [SPARK-34193] [CORE] TorrentBroadcast block manager buiten bedrijf stellen race fix
  • [SPARK-34221] [WEBUI] Controleer of een fase mislukt op de gebruikersinterfacepagina, het bijbehorende foutbericht correct kan worden weergegeven
  • [SPARK-34236] [SQL] V2 Overschrijven herstellen met statische null-partitie verhogen Kan expressie niet vertalen naar bronfilter: null
  • [SPARK-34212] [SQL] Onjuiste decimale leesing van Parquet-bestanden herstellen
  • [SPARK-34244] [SQL] De scala-functieversie van regexp_extract_all verwijderen
  • [SPARK-34235] [SS] Spark.sql.hive als een privépakket maken
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate-gebeurtenis in logboek
  • [SPARK-34229] [SQL] Avro moet decimale waarden lezen met het bestandsschema
  • [SPARK-34223] [SQL] FIX NPE voor statische partitie met null in InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Tekenopvulling naar schrijfzijde verplaatsen en lengtecontrole aan leeszijde verwijderen
  • [SPARK-34203] [SQL] Partitiewaarden converteren null naar __HIVE_DEFAULT_PARTITION__ in v1-catalogus In-Memory
  • [SPARK-33726] [SQL] Oplossing voor dubbele veldnamen tijdens aggregatie
  • [SPARK-34133] [AVRO] Respecteer hoofdlettergevoeligheid bij het uitvoeren van catalyst-naar-Avro-veldkoppeling
  • [SPARK-34187] [SS] Het beschikbare offsetbereik gebruiken dat is verkregen tijdens polling bij het controleren van de offsetvalidatie
  • [SPARK-34052] [SQL] [3.1] SLA SQL-tekst op voor een tijdelijke weergave die is gemaakt met 'CACHE TABLE .. AS SELECT ..."
  • [SPARK-34213] [SQL] Gegevens in cache vernieuwen van v1-tabel in LOAD DATA
  • [SPARK-34191] [PYTHON] [SQL] Typen toevoegen voor overbelasting van udf
  • [SPARK-34200] [SQL] Dubbelzinnige kolomreferenties moeten rekening houden met de beschikbaarheid van kenmerken
  • [SPARK-33813] [SQL] [3.1] Los het probleem op dat de ruimtelijke typen van MS SQL Server niet kunnen worden behandeld door de JDBC-bron
  • [SPARK-34178] [SQL] Tags kopiëren voor het nieuwe knooppunt dat is gemaakt door MultiInstanceRelation.newInstance
  • [SPARK-34005] [CORE] [3.1] Metrische gegevens over piekgeheugen bijwerken voor elke uitvoerder aan het taakeinde
  • [SPARK-34115] [CORE] Controleer SPARK_TESTING als luie val om vertraging te voorkomen
  • [SPARK-34153] [SQL] [3.1] [3.0] Verwijder ongebruikt getRawTable() uit HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace voor char varchar padding en lengte controle met StaticInvoke
  • [SPARK-34027] [SQL] [3.1] Cache vernieuwen in ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] java.io.File.toURL Vervangt door java.io.File.toURI.toURL
  • [SPARK-34140] [SQL] [3.1] Verplaats QueryCompilationErrors.scala naar org/apache/spark/sql/errors
  • [SPARK-34080] [ML] [PYTHON] UnivariateFeatureSelector toevoegen
  • [SPARK-33790] [CORE] [3.1] Verminder de rpc-aanroep van getFileStatus in SingleFileEventLogFileReader
  • [SPARK-34118] [CORE] [SQL] [3.1] Vervangt het filter en controleert op leegheid met of voorall
  • [SPARK-34114] [SQL] mag niet rechts knippen voor tekenlengtecontrole en opvulling aan de leeszijde
  • [SPARK-34086] [SQL] [3.1] RaiseError genereert te veel code en kan codegen in lengtecontrole voor teken varchar mislukt
  • [SPARK-34075] [SQL] [CORE] Verborgen mappen worden vermeld voor partitiedeductie
  • [SPARK-34076] [SQL] SQLContext.dropTempTable mislukt als de cache niet leeg is
  • [SPARK-34084] [SQL] [3.1] Automatisch bijwerken van tabelstatistieken in oplossen ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled result used in KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Batch ophalen in willekeurige volgorde moet kunnen worden uitgeschakeld nadat deze is ingeschakeld
  • [SPARK-34059] [SQL] [CORE] [3.1] Gebruik voor/foreach in plaats van kaart om ervoor te zorgen dat deze gretig wordt uitgevoerd
  • [SPARK-34002] [SQL] Het gebruik van encoders in ScalaUDF herstellen
  • [SPARK-34060] [SQL] [3.1] Hive-tabelcache herstellen tijdens het bijwerken van statistieken door ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Corrigeer onjuiste metrische gegevens overloop van geheugen bij het uitvoeren van aggregaties
  • [SPARK-33591] [SQL] [3.1] Herkennen null in partitiespecificatiewaarden
  • [SPARK-34055] [SQL] [3.1] Cache vernieuwen in ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL] [3.1] ReplaceTable moet cache ongeldig maken
  • [SPARK-34003] [SQL] Regelconflicten tussen PaddingAndLengthCheckForCharVarchar en ResolveAggregateFunctions oplossen
  • [SPARK-33938] [SQL] [3.1] Optimize Like Any/All by LikeSimplification
  • [SPARK-34021] [R] Hyperkoppelingen in SparkR-documentatie herstellen voor CRAN-indiening
  • [SPARK-34011] [SQL] [3.1] [3.0] Cache vernieuwen in ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] CodeGen-fout van de methode MapObjects.doGenCode opgelost in Scala 2.13
  • [SPARK-33635] [SS] De volgorde van het inchecken in KafkaTokenUtil.needTokenUpdate aanpassen om regressie perf te verhelpen
  • [SPARK-33029] [CORE] [WEBUI] De ui-uitvoerderspagina onjuist markeren als uitgesloten
  • [SPARK-34015] [R] Invoertijd herstellen in gapply
  • [SPARK-34012] [SQL] Gedrag consistent houden wanneer conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere waar is met migratiehandleiding
  • [SPARK-33844] [SQL] [3.1] InsertIntoHiveDir-opdracht moet ook de naam van de kolom controleren
  • [SPARK-33935] [SQL] CBO-kostenfunctie herstellen
  • [SPARK-33100] [SQL] Een puntkomma negeren in een opmerking tussen haakjes in spark-sql
  • [SPARK-34000] [CORE] Fix stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] transformUpWithNewOutput overschrijven om allowInvokingTransformsInAnalyzer toe te voegen
  • [SPARK-33894] [SQL] Zichtbaarheid van privé-caseklassen in mllib wijzigen om compilatiefouten met Scala 2.13 te voorkomen
  • [SPARK-33950] [SQL] [3.1] [3.0] Cache vernieuwen in v1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Ongeldig teken/varchar in spark.readStream.schema
  • [SPARK-33945] [SQL] [3.1] Verwerkt een willekeurig zaad dat bestaat uit een exprboom
  • [SPARK-33398] Problemen met het laden van structuurmodellen vóór Spark 3.0 oplossen
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBUI] De fout opgelost van de ui-uitvoerderspagina die is vastgelopen vanwege niet-gedefinieerde peakMemoryMetrics
  • [SPARK-33944] [SQL] Onjuiste logboekregistratie voor magazijnsleutels in SharedState-opties
  • [SPARK-33936] [SQL] [3.1] Voeg de versie toe wanneer de interfaces van de connector zijn toegevoegd
  • [SPARK-33916] [CORE] Terugvalopslagverschil herstellen en de dekking van de compressiecodec testen verbeteren
  • [SPARK-33899] [SQL] [3.1] Bevestigfout in v1 SHOW TABLES/VIEWS on spark_catalog
  • [SPARK-33901] [SQL] Teken- en Varchar-weergavefout na DDLs oplossen
  • [SPARK-33897] [SQL] Kan optie cross niet instellen in joinmethode
  • [SPARK-33907] [SQL] [3.1] Alleen snoeikolommen van JsonToStructs als parseringsopties leeg zijn
  • [SPARK-33621][SPARK-33784] [SQL] [3.1] Een manier toevoegen om regels voor het herschrijven van gegevensbronnen te injecteren
  • [SPARK-33900] [WEBUI] De leesgrootte/records in willekeurige volgorde weergeven wanneer alleen remotebytesread beschikbaar is
  • [SPARK-33892] [SQL] Char/varchar weergeven in DESC en SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char en Varchar mislukken in MetaOperation van ThriftServer
  • [SPARK-33659] [SS] Documenteer het huidige gedrag voor DataStreamWriter.toTable-API
  • [SPARK-33893] [CORE] Fallback block manager uitsluiten van executorList
  • [SPARK-33277] [PYSPARK] [SQL] ContextAwareIterator gebruiken om te stoppen met verbruik nadat de taak is beëindigd
  • [SPARK-33889] [SQL] [3.1] NPE herstellen vanuit SHOW PARTITIONS V2-tabellen
  • [SPARK-33879] [SQL] Teken Varchar-waarden mislukken w/ overeenkomstfout als partitiekolommen
  • [SPARK-33877] [SQL] SQL-referentiedocumenten voor INSERT met een kolomlijst
  • [SPARK-33876] [SQL] Lengtecontrole toevoegen voor het lezen van teken/varchar uit tabellen met een externe locatie
  • [SPARK-33846] [SQL] Opmerkingen opnemen voor een geneste schema in StructType.toDDL
  • [SPARK-33860] [SQL] Make CatalystTypeConverters.convertToCatalyst match special Array value
  • [SPARK-33834] [SQL] ALTER TABLE CHANGE COLUMN met Char en Varchar controleren
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN en BenchmarkQueryTest geven geen subquerycode weer
  • [SPARK-33836] [SS] [PYTHON] DataStreamReader.table en DataStreamWriter.toTable beschikbaar maken
  • [SPARK-33829] [SQL] [3.1] Als u de naam van v2-tabellen wijzigt, moet de cache opnieuw worden gemaakt
  • [SPARK-33756] [SQL] MapIterator idempotent maken van BytesToBytesMap
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED geeft het plan voor subquery's niet weer als AQE is ingeschakeld
  • [SPARK-33841] [CORE] [3.1] Probleem opgelost met taken die af en toe uit shs verdwijnen onder hoge belasting
  • [SPARK-33593] [SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
  • [SPARK-26341] [WEBUI] Metrische geheugengegevens van uitvoerders beschikbaar maken op faseniveau, op het tabblad Fasen
  • [SPARK-33831] [UI] Bijwerken naar jetty 9.4.34
  • [SPARK-33822] [SQL] CastSupport.cast De methode gebruiken in HashJoin
  • [SPARK-33774] [UI] [CORE] Terug naar master retourneert 500-fout in zelfstandig cluster
  • [SPARK-26199][SPARK-31517] [R] Oplossingsstrategie voor verwerking ... namen in mutate
  • [SPARK-33819] [CORE] [3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader moet zijn package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects moet standaard kolomvolgorde vereisen
  • [SPARK-33752] [SQL] [3.1] Vermijd dat de getSimpleMessage van AnalysisException herhaaldelijk puntkomma's toevoegt
  • [SPARK-33788] [SQL] [3.1] [3.0] [2.4] NoSuchPartitionsException van HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Tabeleigenschappen sorteren op sleutel in de opdracht DESCRIBE TABLE
  • [SPARK-33786] [SQL] Het opslagniveau voor een cache moet worden gerespecteerd wanneer een tabelnaam wordt gewijzigd
  • [SPARK-33273] [SQL] Een racevoorwaarde in de uitvoering van subquery oplossen
  • [SPARK-33653] [SQL] [3.1] DSv2: REFRESH TABLE moet de tabel zelf opnieuw in de cache herstellen
  • [SPARK-33777] [SQL] Uitvoer van V2 SHOW PARTITIONS sorteren
  • [SPARK-33733] [SQL] PullOutNondeterministic moet het deterministische veld controleren en verzamelen
  • [SPARK-33764] [SS] Onderhoudsinterval voor statusopslag maken als SQL-configuratie
  • [SPARK-33729] [SQL] Bij het vernieuwen van de cache mag Spark geen cacheplan gebruiken bij het ophalen van gegevens
  • [SPARK-33742] [SQL] [3.1] PartitionsAlreadyExistException van HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Volledig opgegeven partitie-id vereisen in partitionExists()
  • [SPARK-33740] [SQL] hadoop-configuraties in hive-site.xml kunnen bestaande hadoop-configuraties overschrijven
  • [SPARK-33692] [SQL] De weergave moet de vastgelegde catalogus en naamruimte gebruiken om de functie op te zoeken
  • [SPARK-33669] Foutbericht van YARN-toepassingsstatusmonitor wanneer sc.stop in yarn-clientmodus
  • [SPARK-32110] [SQL] speciale zwevende getallen normaliseren in HyperLogLog++
  • [SPARK-33677] [SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
  • [SPARK-33693] [SQL] spark.sql.hive.convertCTAS verwijderen
  • [SPARK-33641] [SQL] Nieuwe tekens/varchar-typen ongeldig maken in openbare API's die onjuiste resultaten produceren
  • [SPARK-32680] [SQL] V2 CTAS niet vooraf verwerken met niet-opgeloste query
  • [SPARK-33676] [SQL] Exacte afstemming van partitiespecificatie vereisen voor het schema in V2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Controleer of de partitieprovider Hive is in v1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] Loskoppelen mag niet worden aangeroepen voor niet-bestaande tijdelijke weergaven
  • [SPARK-33667] [SQL] Respecteer de configuratie tijdens het spark.sql.caseSensitive oplossen van partitiespecificaties in v1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom moet de cache vernieuwen

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 9.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
Chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Decorator 5.0.6 distlib 0.3.2
distro-info 0.23opgegeven1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koala's 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kussen 8.2.0 Pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 opnieuw proberen 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 Scipy 1.6.2
seaborn 0.11.1 Setuptools 52.0.0 Zes 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
Tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Wiel 0.36.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-07-28.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
opstarten 1.3-28 Brouwsel 1.0-6 Brio 1.1.0
Bezem 0.7.2 beller 3.5.1 caret 6.0-86
cellranger 1.1.0 Chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
Codetools 0.2-18 Colorspace 2.0-0 commonmark 1,7
Compiler 4.1.0 configuratie 0,3 covr 3.5.1
cpp11 0.2.4 Crayon 1.3.4 aanmeldingsgegevens 1.3.0
Overspraak 1.1.0.1 curl 4.3 data.table 1.13.4
gegevenssets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 Devtools 2.3.2 diffobj 0.3.2
Digest 0.6.27 dplyr 1.0.2 DT 0,16
ellipsis 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 Buitenlandse 0.8-81 Forge 0.2.0
Fs 1.5.0 Toekomst 1.21.0 Generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
Lijm 1.4.2 Gower 0.2.2 afbeeldingen 4.1.0
grDevices 4.1.0 Raster 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
Ipred 0.9-9 isoband 0.2.3 Iterators 1.0.13
jsonlite 1.7.2 Kernsmooth 2.23-20 breiwerk 1,30
Labeling 0.4.2 Later 1.1.0.1 Lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 levenscyclus 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASS 7.3-54 Matrix 1.3-4
memoise 1.1.0 methoden 4.1.0 Mgcv 1.8-36
Mime 0,9 ModelMetrics 1.2.2.2 modeller 0.1.8
munsell 0.5.0 Nlme 3.1-152 Nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallel 1.22.0 Pijler 1.4.7 pkgbuild 1.1.0
Pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 Lof 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Voortgang 1.2.2 Beloften 1.1.1 Proto 1.0.0
ps 1.5.0 Purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 Rcolorbrewer 1.1-2 Rcpp 1.0.5
leesbewerking 1.4.0 readxl 1.3.1 recepten 0.1.15
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.2.0
reprex 0.3.0 hervorm2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 Rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 Schalen 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 Vorm 1.4.5
Glanzende 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 Ruimtelijke 7.3-11 Splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 Stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
Overleving 3.2-11 sys 3.4 Tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
Timedate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 Yaml 2.2.1 Zip 2.1.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-codering 1.10.1-databricks9
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-gearceerd 4.15
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-vervolg 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Ongebruikte 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52