Databricks Runtime 9.0 (stöds inte)

Följande viktig information innehåller information om Databricks Runtime 9.0 och Databricks Runtime 9.0 Photon, som drivs av Apache Spark 3.1.2. Databricks släppte dessa bilder i augusti 2021. Foton finns i offentlig förhandsversion.

Korrigering

I en tidigare version av dessa viktig information angavs felaktigt att Apache Parquet-beroenden uppgraderades från 1.10 till 1.12. Faktum är att Parquet-beroenden förblir på version 1.10. Den felaktiga versionsanteckningen har tagits bort.

Nya funktioner och förbättringar

Nytt API för sammanfattningsstatistik för datamängder (offentlig förhandsversion)

Med det nya dbutils.data.summarize kommandot i Databricks Utilities kan du starta ett Spark-jobb som automatiskt beräknar sammanfattningsstatistik för kolumnerna i en Spark DataFrame och sedan visar resultatet interaktivt. Den här funktionen är tillgänglig i Scala och Python. Se Dataverktyg (dbutils.data).

Enklare konfiguration av extern datakälla för Azure Synapse-anslutningsappen

Med det nya externalDataSource alternativet i Azure Synapse Analytics-anslutningsappen kan du använda en fördefinierad extern datakälla för att läsa från en Azure Synapse databas. Alternativet externalDataSource tar bort behovet av den CONTROL behörighet som tidigare krävdes.

När du anger externalDataSourcemåste den externa datakällan och tempDir alternativet som används för att konfigurera tillfällig lagring referera till samma container i lagringskontot.

Du kan också begränsa sessionen till en angiven varaktighet för Amazon Redshift-anslutningsappen

Med det nya fs.s3a.assumed.role.session.duration alternativet i _ connector kan du ange en varaktighet för sessionen när Redshift använder den tillfälliga S3-bucketen med en antagen roll.

Auto Loader

Optimerad fillista

Optimeringar av automatisk inläsning ger prestandaförbättringar och kostnadsbesparingar när du listar kapslade kataloger i molnlagring, inklusive AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) och Google Cloud Storage (GCS).

Om du till exempel hade filer som laddades upp som /some/path/YYYY/MM/DD/HH/fileName, för att hitta alla filer i dessa kataloger, använde Auto Loader för att göra en parallell lista över alla underkataloger, vilket orsakar 365 (per dag) * 24 (per timme) = 8760 LIST API-kataloganrop till den underliggande lagringen för varje års katalog. Genom att ta emot ett utplattat svar från dessa lagringssystem minskar Auto Loader antalet API-anrop till antalet filer i lagringssystemet dividerat med antalet resultat som returneras av varje API-anrop (1 000 för S3, 5 000 för ADLS Gen2 och 1024 för GCS), vilket avsevärt minskar molnkostnaderna.

Optimerad lagring av bilddata

Automatisk inläsning kan nu automatiskt identifiera bilddata som matas in och optimera lagringen i Delta-tabeller för att förbättra läs- och skrivprestanda. Se Mata in bilddata med automatisk inläsning.

Bildminiatyrer för binära filer (offentlig förhandsversion)

Bilder i binaryFile format som lästs in eller sparats som Delta-tabeller med automatisk inläsning har anteckningar kopplade så att bildminiatyrerna visas när du visar tabellen i en Azure Databricks-anteckningsbok. Mer information finns i Bilder.

DirectoryRename händelser möjliggör atomisk bearbetning av flera filer

Automatiska inläsningsströmmar som skapats i Databricks Runtime 9.0 och senare på Azure Data Lake Storage Gen2 konfigurera filhändelsemeddelanden för att inkludera katalogbyten och lyssna RenameDirectory på händelser. Du kan använda katalogbyten för att se till att flera filer visas atomiskt i Auto Loader.

SQL

Exkludera kolumner i SELECT * (offentlig förhandsversion)

SELECT * stöder nu ett EXCEPT nyckelord som gör att du kan undanta angivna kolumner på den översta nivån från expansionen. Från en tabell med schema (a, b, c) expanderas till exempel SELECT * EXCEPT (b) FROM tbl till (a, c).

SQL skalärfunktioner (allmänt tillgänglig förhandsversion)

CREATE FUNCTIONstöder nu SQL skalärfunktioner. Du kan skapa skalärfunktioner som tar en uppsättning argument och returnerar ett enda skalärt typvärde. SQL-funktionstexten kan vara vilket uttryck som helst. Till exempel:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Mer information finns i CREATE FUNCTION (SQL).

Referens för föregående alias och kolumner i FROM underfrågor (offentlig förhandsversion)

Underfrågor i -satsen i FROM en fråga kan nu föregås av nyckelordet LATERAL som gör att de kan referera till alias och kolumner i föregående FROM objekt. Till exempel:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Nyckelordet LATERAL stöder INNER, CROSSoch LEFT (OUTER) JOIN.

Se Parametrar och parametrar.

R-stöd

R-bibliotek med notebook-omfattning (offentlig förhandsversion)

Med bibliotek med notebook-omfång kan du installera bibliotek och skapa en miljö som är begränsad till en notebook-session. De här biblioteken påverkar inte andra notebook-filer som körs i samma kluster. Biblioteken är tillgängliga både på drivrutins- och arbetsnoderna, så du kan referera till dem i användardefinierade funktioner. Se R-bibliotek med notebook-omfång.

Varningsmeddelanden i R-notebook-filer

Standardvärdet för warn alternativet är nu inställt på 1 inuti R-notebook-filer. Därför exponeras nu alla varningar som en del av kommandoresultatet. Mer information om alternativet finns i warnAlternativ Inställningar.

Undvik att göra om genom att ange inledande tillstånd för tillståndskänslig bearbetning av strukturerad direktuppspelning

Nu kan du ange ett användardefinierat inledande tillstånd för strukturerad tillståndskänslig bearbetning med operator [flat]MapGroupsWithState .

Se Ange inledande tillstånd.

En implementering med låg blandning av Delta MERGE INTO-kommandot är nu tillgänglig (offentlig förhandsversion)

Delta-kommandot MERGE INTO har en ny implementering tillgänglig som minskar blandning av oförändrade rader. Detta förbättrar kommandots prestanda och hjälper till att bevara befintlig klustring i tabellen, till exempel Z-ordning. Om du vill aktivera låg shuffle-sammanslagning anger du spark.databricks.delta.merge.enableLowShuffle till true. Se Låg blandningssammanslagning.

Felkorrigeringar

  • Du kan inte längre skriva över en vy genom att skapa en vy med samma namn.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • certifi från 2021.5.30 till 2020.12.5
    • chardet från 3.0.4 till 4.0.0
    • Cython från 0,29,21 till 0,29,23
    • dekoratör från 4.4.2 till 5.0.6
    • ipython från 7.19.0 till 7.22.0
    • joblib från 0.17.0 till 1.0.1
    • jupyter-client från 6.1.7 till 6.1.12
    • jupyter-core från 4.6.3 till 4.7.1
    • kiwisolver från 1.3.0 till 1.3.1
    • matplotlib från 3.2.2 till 3.4.2
    • pandas från 1.1.5 till 1.2.4
    • pip från 20.2.4 till 21.0.1
    • prompt-toolkit från 3.0.8 till 3.0.17
    • protobuf från 3.17.3 till 3.17.2
    • ptyprocess från 0.6.0 till 0.7.0
    • pyarrow från 1.0.1 till 4.0.0
    • Pygments från 2.7.2 till 2.8.1
    • pyzmq från 19.0.2 till 20.0.0
    • begäranden från 2.24.0 till 2.25.1
    • s3transfer från 0.3.6 till 0.3.7
    • scikit-learn från 0.23.2 till 0.24.1
    • scipy från 1.5.2 till 1.6.2
    • seaborn från 0.10.0 till 0.11.1
    • setuptools från 50.3.1 till 52.0.0
    • statsmodels från 0.12.0 till 0.12.2
    • tornado från 6.0.4 till 6.1
    • virtualenv från 20.2.1 till 20.4.1
    • hjul från 0.35.1 till 0.36.2
  • Uppgraderade R-bibliotek:
    • Matris från 1.3-3 till 1.3-4

Apache Spark

Databricks Runtime 9.0 innehåller Apache Spark 3.1.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 8.4 (stöds inte) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-35886] [SQL][3.1] PromotePrecision bör inte skriva över genCodePromotePrecision bör inte skriva över genCode
  • [SPARK-35879] [CORE][SHUFFLE] Åtgärda prestandaregression som orsakas av collectFetchRequests
  • [SPARK-35817] [SQL][3.1] Återställa prestanda för frågor mot breda Avro-tabeller
  • [SPARK-35841] [SQL] Omvandlingssträng till decimaltyp fungerar inte om...
  • [SPARK-35783] [SQL] Ange listan över lästa kolumner i aktivitetskonfigurationen för att minska läsningen av ORC-data
  • [SPARK-35576] [SQL][3.1] Redigera känslig information i resultatet av kommandot Set
  • [SPARK-35449] [SQL][3.1] Extrahera endast vanliga uttryck från CaseWhen-värden om elseValue har angetts
  • [SPARK-35288] [SQL] StaticInvoke bör hitta metoden utan att exakta argumentklasser matchar
  • [SPARK-34794] [SQL] Åtgärda problem med lambda-variabelnamn i kapslade DataFrame-funktioner
  • [SPARK-35278] [SQL] Anropa bör hitta metoden med rätt antal parametrar
  • [SPARK-35226] [SQL] Stöd för alternativet refreshKrb5Config i JDBC-datakällor
  • [SPARK-35244] [SQL] Anropa bör utlösa det ursprungliga undantaget
  • [SPARK-35213] [SQL] Behåll rätt ordning på kapslade structs i länkade medFältsåtgärder
  • [SPARK-35087] [UI] Vissa kolumner i tabellen Sammanställda mått efter utförare på sidan med steginformation visas felaktigt.
  • [SPARK-35168] [SQL] mapred.reduce.tasks ska vara shuffle.partitions, inte adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [användargränssnitt] När vi växlar mellan olika sceninformationssidor kan postobjektet på den nyligen öppnade sidan vara tomt
  • [SPARK-35142] [PYTHON][ML] Åtgärda felaktig returtyp för rawPredictionUDF iOneVsRestModel
  • [SPARK-35096] [SQL] SchemaPruning bör följa spark.sql.caseSensitive config
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias bör inte skapa UnresolvedAlias
  • [SPARK-35080] [SQL] Tillåt endast en delmängd av korrelerade likhetspredikat när en underfråga aggregeras
  • [SPARK-35117] [UI] Ändra förloppsindikatorn tillbaka till markeringsförhållandet för pågående aktiviteter
  • [SPARK-35136] Ta bort det ursprungliga null-värdet för LiveStage.info
  • [SPARK-34834] [NETWORK] Åtgärda en potentiell Netty-minnesläcka i TransportResponseHandler
  • [SPARK-35045] [SQL] Lägg till ett internt alternativ för att styra indatabufferten i ojästhet
  • [SPARK-35014] Åtgärda mönstret PhysicalAggregation för att inte skriva om delegeringsbara uttryck
  • [SPARK-35019] [PYTHON][SQL] Åtgärda felmatchade typtips i pyspark.sql.*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() bör respektera att partitionsvärdet är null
  • [SPARK-34630] [PYTHON] Lägg till typehint för pyspark. Version
  • [SPARK-34963] [SQL] Åtgärda kapslad kolumnrensning för att extrahera skiftlägesokänsligt structfält från matris med struct
  • [SPARK-34988] [CORE][3.1] Uppgradera Jetty för CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Använd en relativ kostnadsjämförelsefunktion i CBO
  • [SPARK-34970] [SQL][SECURITY][3.1] Alternativ för Redact-karttyp i resultatet av explain()
  • [SPARK-34923] [SQL] Metadatautdata bör vara tomma för fler planer
  • [SPARK-34949] [CORE] Förhindra omregistrering av BlockManager när executor stängs av
  • [SPARK-34939] [CORE] Utlösa undantag för hämtningsfel när det inte går att deserialisera mappningsstatusar som sänds
  • [SPARK-34909] [SQL] Korrigera konvertering av negativa till osignerade i conv()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter bör inte returnera partiella procfs-mått
  • [SPARK-34814] [SQL] LikeSimplification ska hantera NULL
  • [SPARK-34876] [SQL] Fyll i defaultResult för icke-nullbara aggregeringar
  • [SPARK-34829] [SQL] Åtgärda resultat för högre ordningsfunktioner
  • [SPARK-34840] [SHUFFLE] Åtgärdar fall av korruption i sammanfogad blandning ...
  • [SPARK-34833] [SQL] Använd höger utfyllnad korrekt för korrelerade underfrågor
  • [SPARK-34630] [PYTHON][SQL] Typehint har lagts till för pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"" och df("name") bör hantera citerade kolumnnamn korrekt
  • [SPARK-33482][SPARK-34756] [SQL] Åtgärda likhetskontroll för FileScan
  • [SPARK-34790] [CORE] Inaktivera hämtning av shuffle-block i batch när io-kryptering är aktiverat
  • [SPARK-34803] [PYSPARK] Skicka den upphöjda ImportError om Pandas eller pyarrow inte kan importeras
  • [SPARK-34225] [CORE] Koda inte ytterligare när en URI-formulärsträng skickas till addFile eller addJar
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key som hemlighet och token
  • [SPARK-34796] [SQL][3.1] Initiera räknarvariabeln för LIMIT code-gen i doProduce()
  • [SPARK-34128] [SQL] Undertryck oönskade TTransportException-varningar som är inblandade i THRIFT-4805
  • [SPARK-34776] [SQL] Kapslad kolumnrensning bör inte rensa window-producerade attribut
  • [SPARK-34087] [3.1][SQL] Åtgärda minnesläcka av ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords bör använda Spark-classloader i stället för kontext
  • [SPARK-34719] [SQL][3.1] Lös vyfrågan korrekt med duplicerade kolumnnamn
  • [SPARK-34766] [SQL][3.1] Avbilda inte maven-konfigurationen för vyer
  • [SPARK-34731] [CORE] Undvik ConcurrentModificationException när du redigerar egenskaper i EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Flyttal för kastad inmatning att dubbla iTIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] Förenkla ResolveCreateNamedStruct
  • [SPARK-34768] [SQL] Respektera standardstorleken för indatabufferten i Univocity
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists bör inte misslyckas om databasen inte finns
  • [SPARK-34504] [SQL] Undvik onödiga lösningar av SQL temporära vyer för DDL-kommandon
  • [SPARK-34727] [SQL] Åtgärda avvikelse i flyttal för omvandling till tidsstämpel
  • [SPARK-34723] [SQL] Rätt parametertyp för eliminering av underuttryck under hela fasen
  • [SPARK-34724] [SQL] Åtgärda tolkad utvärdering med hjälp av getMethod i stället för getDeclaredMethod
  • [SPARK-34713] [SQL] Åtgärda grupp efter CreateStruct med ExtractValue
  • [SPARK-34697] [SQL] Tillåt DESCRIBE FUNCTION och SHOW FUNCTIONS förklarar om || (strängsammanfogningsoperator)
  • [SPARK-34682] [SQL] Använd PrivateMethodTester i stället för reflektion
  • [SPARK-34682] [SQL] Åtgärda regression i canonicalization-felkontroll i CustomShuffleReaderExec
  • [SPARK-34681] [SQL] Åtgärda bugg för fullständig yttre blandad hashkoppling när vänster sida skapas med icke-lika villkor
  • [SPARK-34545] [SQL] Åtgärda problem med valueCompare-funktionen i pyrolit
  • [SPARK-34607] [SQL][3.1] Lägg till Utils.isMemberClass för att åtgärda ett felformaterat klassnamnsfel på jdk8u
  • [SPARK-34596] [SQL] Använd Utils.getSimpleName för att undvika att träffa felaktigt klassnamn i NewInstance.doGenCode
  • [SPARK-34613] [SQL] Korrigeringsvyn fångar inte in inaktiveringstipskonfiguration
  • [SPARK-32924] [WEBUI] Gör varaktighetskolumnen i huvudgränssnittet sorterad i rätt ordning
  • [SPARK-34482] [SS] Korrigera den aktiva SparkSession för StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect bör uppdatera måtten också
  • [SPARK-34599] [SQL] Åtgärda problemet att INSERT INTO OVERWRITE inte stöder partitionskolumner som innehåller punkt för DSv2
  • [SPARK-34577] [SQL] Åtgärda släpp/lägg till kolumner i en datauppsättning medDESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] Statisk partition bör också följa StoreAssignmentPolicy när du infogar i v2-tabeller
  • [SPARK-34555] [SQL] Lösa metadatautdata från DataFrame
  • [SPARK-34534] Åtgärda blockIds-ordning när fetchShuffleBlocks används för att hämta block
  • [SPARK-34547] [SQL] Använd endast metadatakolumner för lösning som sista utväg
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap misslyckas för kolumnnamn som har en punkt
  • [SPARK-34561] [SQL] Åtgärda släpp/lägg till kolumner från/till en datauppsättning med v2DESCRIBE TABLE
  • [SPARK-34556] [SQL] Kontroll av dubbletter av statiska partitionskolumner bör respektera skiftlägeskänslig konfiguration
  • [SPARK-34392] [SQL] Stöder ZoneOffset +h:mm i DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Hoppa över InSet null-värde under push-filtret till Hive-metaarkivet
  • [SPARK-34543] [SQL] Respektera konfigurationen när partitionsspecifikationen spark.sql.caseSensitive matchas i v1SET LOCATION
  • [SPARK-34436] [SQL] DPP stöder LIKE ANY/ALL-uttryck
  • [SPARK-34531] [CORE] Ta bort experimentell API-tagg i PrometheusServlet
  • [SPARK-34497] [SQL] Åtgärda inbyggda JDBC-anslutningsproviders för att återställa JVM-säkerhetskontextändringar
  • [SPARK-34515] [SQL] Åtgärda NPE om InSet innehåller null-värde under getPartitionsByFilter
  • [SPARK-34490] [SQL] Analysen bör misslyckas om vyn refererar till en borttagen tabell
  • [SPARK-34473] [SQL] Undvik NPE i DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Lägg till dokument som saknas för ResourceProfile-API:er
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext kan hänga med ett konkurrensproblem
  • [SPARK-20977] [CORE] Använd ett icke-slutligt fält för tillståndet för CollectionAccumulator
  • [SPARK-34421] [SQL] Lösa tillfälliga funktioner och vyer i vyer med CTE:er
  • [SPARK-34431] [CORE] Läs bara in hive-site.xml en gång
  • [SPARK-34405] [CORE] Åtgärda medelvärdet för timersLabels i klassen PrometheusServlet
  • [SPARK-33438] [SQL] Ivrigt initiera objekt med definierade SQL konfigurationer för kommandotset -v
  • [SPARK-34158] Felaktig URL för den enda utvecklaren Matei i pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size som anges av spark.buffer.size åsidosätter genom att läsa in hive-site.xml av misstag kan orsaka regression av prestanda
  • [SPARK-34359] [SQL][3.1] Lägg till en äldre konfiguration för att återställa utdataschemat för SHOW DATABASES
  • [SPARK-34331] [SQL] Påskynda DS v2 metadata col resolution
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex bör fungera med kolumnnamn och kvalificerare som innehåller nya rader
  • [SPARK-34326] [CORE][SQL] Åtgärda användardefinierade enheter som lagts till i SPARK-31793 beroende på längden på den temporära sökvägen
  • [SPARK-34319] [SQL] Lösa dubblettattribut för FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE][SQL] Ersätter karta och platta ut med flatMap
  • [SPARK-34083] [SQL][3.1] Använda ursprungliga TPCDS-definitioner för kollumen char/varchar
  • [SPARK-34233] [SQL][3.1] KORRIGERA NPE för utfyllnad av tecken i binär jämförelse
  • [SPARK-34270] [SS] Combine StateStoreMetrics bör inte åsidosätta StateStoreCustomMetric
  • [SPARK-34144] [SQL] Ett undantag utlöstes vid försök att skriva LocalDate- och Instant-värden till en JDBC-relation
  • [SPARK-34273] [CORE] Registrera inte BlockManager igen när SparkContext stoppas
  • [SPARK-34262] [SQL][3.1] Uppdatera cachelagrade data i v1-tabellen iALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB] Ersätter filter och storlek med antal
  • [SPARK-34260] [SQL] Åtgärda UnresolvedException när du skapar temporär vy två gånger
  • [SPARK-33867] [SQL] Instant- och LocalDate-värden hanteras inte när SQL frågor genereras
  • [SPARK-34193] [CORE] TorrentBroadcast block manager avveckling ras fix
  • [SPARK-34221] [WEBUI] Kontrollera att om en fas misslyckas på sidan för användargränssnittet kan motsvarande felmeddelande visas korrekt
  • [SPARK-34236] [SQL] Åtgärda v2 Skriv över w/ null statisk partitionshöjning Det går inte att översätta uttrycket till källfiltret: null
  • [SPARK-34212] [SQL] Åtgärda felaktig decimalläsning från Parquet-filer
  • [SPARK-34244] [SQL] Ta bort Scala-funktionsversionen av regexp_extract_all
  • [SPARK-34235] [SS] Skapa spark.sql.hive som ett privat paket
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate-händelse i loggen
  • [SPARK-34229] [SQL] Avro bör läsa decimalvärden med filschemat
  • [SPARK-34223] [SQL] KORRIGERA NPE för statisk partition med null i InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Flytta utfyllnad av tecken till skrivsidan och ta även bort längdkontrollen på lässidan
  • [SPARK-34203] [SQL] Konvertera partitionsvärden null till __HIVE_DEFAULT_PARTITION__ i v1-katalogen In-Memory
  • [SPARK-33726] [SQL] Korrigering för duplicerade fältnamn under aggregering
  • [SPARK-34133] [AVRO] Respektera skiftlägeskänslighet när du utför katalysator-till-Avro-fältmatchning
  • [SPARK-34187] [SS] Använd tillgängligt förskjutningsintervall som erhålls vid avsökning vid kontroll av förskjutningsvalidering
  • [SPARK-34052] [SQL][3.1] lagrar SQL text för en temporär vy som skapats med "CACHE TABLE .. AS SELECT ..."
  • [SPARK-34213] [SQL] Uppdatera cachelagrade data i v1-tabellen iLOAD DATA
  • [SPARK-34191] [PYTHON][SQL] Lägg till inmatning för udf-överlagring
  • [SPARK-34200] [SQL] Tvetydig kolumnreferens bör överväga attributtillgänglighet
  • [SPARK-33813] [SQL][3.1] Åtgärda problemet med att JDBC-källan inte kan behandla MS SQL Server rumsliga typer
  • [SPARK-34178] [SQL] Kopiera taggar för den nya noden som skapats av MultiInstanceRelation.newInstance
  • [SPARK-34005] [CORE][3.1] Uppdatera högsta minnesmått för varje utförare i aktivitetsslut
  • [SPARK-34115] [CORE] Kontrollera SPARK_TESTING som lat val för att undvika avmattning
  • [SPARK-34153] [SQL][3.1][3.0] Ta bort oanvänd getRawTable() frånHiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] Uppdatera cache iALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Ersätter java.io.File.toURL medjava.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] Flytta QueryCompilationErrors.scala till org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] Lägg till UnivariateFeatureSelector
  • [SPARK-33790] [CORE][3.1] Minska rpc-anropet för getFileStatus i SingleFileEventLogFileReader
  • [SPARK-34118] [CORE][SQL][3.1] Ersätter filtret och söker efter tomhet med befintlig eller forall
  • [SPARK-34114] [SQL] bör inte trimmas rätt för kontroll och utfyllnad av teckenlängd på lässidan
  • [SPARK-34086] [SQL][3.1] RaiseError genererar för mycket kod och kan misslyckas med kodgen i längdkontroll för teckenvarchar
  • [SPARK-34075] [SQL][CORE] Dolda kataloger visas för partitionsslutsatsdragning
  • [SPARK-34076] [SQL] SQLContext.dropTempTable misslyckas om cachen inte är tom
  • [SPARK-34084] [SQL][3.1] Åtgärda automatisk uppdatering av tabellstatistik iALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled-resultat som används i KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Shuffle batch fetch bör kunna inaktiveras när den har aktiverats
  • [SPARK-34059] [SQL][CORE][3.1] Använd för/foreach i stället för att mappa för att köra den ivrigt
  • [SPARK-34002] [SQL] Åtgärda användningen av kodaren i ScalaUDF
  • [SPARK-34060] [SQL][3.1] Åtgärda Cachelagring av Hive-tabeller vid uppdatering av statistikALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Åtgärda felaktiga mått för minnesspill vid aggregering
  • [SPARK-33591] [SQL][3.1] Identifiera null i partitionsspecifikationsvärden
  • [SPARK-34055] [SQL][3.1] Uppdatera cache iALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] ReplaceTable bör ogiltigförklara cachen
  • [SPARK-34003] [SQL] Åtgärda regelkonflikter mellan PaddingAndLengthCheckForCharVarchar och ResolveAggregateFunctions
  • [SPARK-33938] [SQL][3.1] Optimera som alla/alla med LikeSimplification
  • [SPARK-34021] [R] Åtgärda hyperlänkar i SparkR-dokumentationen för CRAN-överföring
  • [SPARK-34011] [SQL][3.1][3.0] Uppdatera cache iALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Åtgärda CodeGen-fel för metoden MapObjects.doGenCode i Scala 2.13
  • [SPARK-33635] [SS] Justera ordningen på kontrollen i KafkaTokenUtil.needTokenUpdate för att åtgärda prestandaregression
  • [SPARK-33029] [CORE][WEBUI] Åtgärda att körningssidan för användargränssnittet felaktigt markerar drivrutinen som undantagen
  • [SPARK-34015] [R] Åtgärda tidsinställningen för indata i gapply
  • [SPARK-34012] [SQL] Håll beteendet konsekvent när konfigurationen spark.sql.legacy.parser.havingWithoutGroupByAsWhere är sann med migreringsguiden
  • [SPARK-33844] [SQL][3.1] Kommandot InsertIntoHiveDir bör också kontrollera kolumnnamnet
  • [SPARK-33935] [SQL] Åtgärda CBO-kostnadsfunktion
  • [SPARK-33100] [SQL] Ignorera ett semikolon inuti en kommentar inom hakparentes i spark-sql
  • [SPARK-34000] [CORE] Åtgärda stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] åsidosätter transformUpWithNewOutput för att lägga till allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Ändra synligheten för privata skiftlägesklasser i mllib för att undvika körningskompileringsfel med Scala 2.13
  • [SPARK-33950] [SQL][3.1][3.0] Uppdatera cache i v1ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Ogiltigförklara char/varchar i spark.readStream.schema
  • [SPARK-33945] [SQL][3.1] Hanterar ett slumpmässigt frö som består av ett exprträd
  • [SPARK-33398] Åtgärda inläsning av trädmodeller före Spark 3.0
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBUI] Åtgärda felet på sidan Kör för användargränssnittet som fastnat på grund av odefinierad peakMemoryMetrics
  • [SPARK-33944] [SQL] Felaktig loggning för lagernycklar i SharedState-alternativ
  • [SPARK-33936] [SQL][3.1] Lägg till versionen när anslutningsappens gränssnitt lades till
  • [SPARK-33916] [CORE] Åtgärda lagringsförskjutning för återställning och förbättra komprimerings-codec-testtäckningen
  • [SPARK-33899] [SQL][3.1] Åtgärda kontrollfel i v1 VISA TABELLER/VYER påspark_catalog
  • [SPARK-33901] [SQL] Åtgärda tecken- och varchar-visningsfel efter DDL:er
  • [SPARK-33897] [SQL] Det går inte att ange alternativet kors i kopplingsmetoden
  • [SPARK-33907] [SQL][3.1] Rensa endast kolumner i JsonToStructs om parsningsalternativen är tomma
  • [SPARK-33621][SPARK-33784] [SQL][3.1] Lägg till ett sätt att mata in regler för omskrivning av datakälla
  • [SPARK-33900] [WEBUI] Visa shuffle-lässtorlek/poster korrekt när endast remotebytesread är tillgängligt
  • [SPARK-33892] [SQL] Visa tecken/varchar i DESC och SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char och Varchar misslyckas i MetaOperation för ThriftServer
  • [SPARK-33659] [SS] Dokumentera det aktuella beteendet för DataStreamWriter.toTable API
  • [SPARK-33893] [CORE] Undanta blockeringshanteraren för återställning från executorList
  • [SPARK-33277] [PYSPARK][SQL] Använd ContextAwareIterator för att sluta förbruka när aktiviteten har avslutats
  • [SPARK-33889] [SQL][3.1] Åtgärda NPE från SHOW PARTITIONS I V2-tabeller
  • [SPARK-33879] [SQL] Char Varchar-värden misslyckas med matchningsfel som partitionskolumner
  • [SPARK-33877] [SQL] SQL referensdokument för INSERT med en kolumnlista
  • [SPARK-33876] [SQL] Lägg till längdkontroll för läsning av tecken/varchar från tabeller med en extern plats
  • [SPARK-33846] [SQL] Inkludera kommentarer för ett kapslat schema i StructType.toDDL
  • [SPARK-33860] [SQL] Gör CatalystTypeConverters.convertToCatalyst att matcha specialmatrisvärde
  • [SPARK-33834] [SQL] Verifiera ALTER TABLE CHANGE COLUMN med Char och Varchar
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN och BenchmarkQueryTest visar inte underfrågaskod
  • [SPARK-33836] [SS][PYTHON] Exponera DataStreamReader.table och DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] Om du byter namn på v2-tabeller bör cacheminnet återskapas
  • [SPARK-33756] [SQL] Gör BytesToBytesMap till MapIterator idempotent
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED visar inte planen för underfrågor om AQE är aktiverat
  • [SPARK-33841] [CORE][3.1] Åtgärda problem med att jobb försvinner tillfälligt från SHS under hög belastning
  • [SPARK-33593] [SQL] Vektorläsaren fick felaktiga data med binär partitionsvärde
  • [SPARK-26341] [WEBUI] Exponera körminnesmått på stegnivå på fliken Faser
  • [SPARK-33831] [UI] Uppdatera till jetty 9.4.34
  • [SPARK-33822] [SQL] Använd CastSupport.cast metoden i HashJoin
  • [SPARK-33774] [UI][CORE] Tillbaka till huvudservern" returnerar 500-fel i fristående kluster
  • [SPARK-26199][SPARK-31517] [R] Åtgärda strategi för hantering ... namn i mutate
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader ska vara package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects bör kräva kolumnordning som standard
  • [SPARK-33752] [SQL][3.1] Undvik att getSimpleMessage i AnalysisException lägger till semikolon upprepade gånger
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Sortera tabellegenskaper efter nyckel i kommandot DESCRIBE TABLE
  • [SPARK-33786] [SQL] Lagringsnivån för ett cacheminne bör respekteras när ett tabellnamn ändras
  • [SPARK-33273] [SQL] Åtgärda ett konkurrenstillstånd vid körning av underfrågor
  • [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE bör återskapa själva tabellen
  • [SPARK-33777] [SQL] Sortera utdata från V2 SHOW PARTITIONER
  • [SPARK-33733] [SQL] PullOutNondeterministic bör kontrollera och samla in deterministiska fält
  • [SPARK-33764] [SS] Gör underhållsintervall för tillståndslager som SQL konfiguration
  • [SPARK-33729] [SQL] Vid uppdatering av cache bör Spark inte använda cachelagrad plan när data cachelagras
  • [SPARK-33742] [SQL][3.1] Kasta partitionerAlreadyExistException från HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Kräv fullständigt angiven partitionsidentifierare i partitionExists()
  • [SPARK-33740] [SQL] hadoop-konfigurationer i hive-site.xml kan åsidosätta befintliga hadoop-konfigurationer
  • [SPARK-33692] [SQL] Vyn bör använda den insamlade katalogen och namnområdet för att leta upp funktionen
  • [SPARK-33669] Fel felmeddelande från YARN-programtillståndsövervakaren när sc.stop i yarn-klientläge
  • [SPARK-32110] [SQL] normalisera särskilda flytande tal i HyperLogLog++
  • [SPARK-33677] [SQL] Hoppa över LikeSimplification-regeln om mönstret innehåller ett escapeChar
  • [SPARK-33693] [SQL] inaktuella spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Ogiltigförklara nya typer av tecken/varchar i offentliga API:er som ger felaktiga resultat
  • [SPARK-32680] [SQL] Förbearbeta inte V2 CTAS med olöst fråga
  • [SPARK-33676] [SQL] Kräv exakt matchning av partitionsspecifikationen till schemat i V2ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Kontrollera att partitionsprovidern är Hive i v1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] Cachelagring bör inte anropas för icke-befintliga temporära vyer
  • [SPARK-33667] [SQL] Respektera konfigurationen spark.sql.caseSensitive när du löser partitionsspecifikationen i v1SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom ska uppdatera cachen

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 9.0.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-rullande) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 Certifi 2020.12.5
Chardet 4.0.0 Apparat 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratör 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 fasetter – översikt 1.0.0 filelock 3.0.12
idna 2,10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 Pexpect 4.8.0 pickleshare 0.7.5
Kudde 8.2.0 Pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
Pygobject 3.36.0 Pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
Begäranden 2.25.1 requests-unixsocket 0.2.0 Försöker 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 Setuptools 52.0.0 Sex 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
Tornado 6.1 traitleter 5.0.5 obevakade uppgraderingar 0.1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
hjul 0.36.2

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-07-28.

Bibliotek Version Bibliotek Version Bibliotek Version
Askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 Brio 1.1.0
broom 0.7.2 callr 3.5.1 cirkumflex 6.0-86
cellranger 1.1.0 chron 2.3-56 klass 7.3-19
cli 2.2.0 Clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 autentiseringsuppgifter 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datauppsättningar 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 Forge 0.2.0
Fs 1.5.0 Framtiden 1.21.0 Generika 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 grafik 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
labeling 0.4.2 Senare 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 Livscykel 0.2.0
lyssna 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matris 1.3-4
memoise 1.1.0 methods 4.1.0 mgcv 1.8-36
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallellt 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 Löften 1.1.1 proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversioner 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics streama 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktiveringen 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Antillerna 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recept 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anteckningar 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-fortsättning 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-positionerare 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Oanvända 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52