Databricks Runtime 9.0 (nem támogatott)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.2-es verzióján alapuló Databricks Runtime 9.0-s és Databricks Runtime 9.0 Photon-ről nyújtanak információkat. Databricks 2021 augusztusában adta ki ezeket a képeket. A Photonnyilvános előzetes verzióban érhető el.

Korrekció

A kibocsátási megjegyzések egy korábbi verziója helytelenül állította, hogy az Apache Parquet-függőségek 1.10-ről 1.12-re frissültek. A Parquet-függőségek valójában az 1.10-es verziónál maradnak. A helytelen kiadási megjegyzés el lett távolítva.

Új funkciók és fejlesztések

Új API az adathalmazok összesített statisztikáihoz (nyilvános előzetes verzió)

A Databricks segédprogramok új dbutils.data.summarize parancsával elindíthat egy Spark-feladatot, amely automatikusan kiszámítja a Spark DataFrame oszlopainak összesített statisztikáit, majd interaktívan megjeleníti az eredményeket. Ez a függvény a Scalában és a Python érhető el. Lásd : Data utility (dbutils.data).

Egyszerűbb külső adatforrás-konfiguráció a Azure Synapse-összekötőhöz

A Azure Synapse Analytics-összekötő új externalDataSource lehetősége lehetővé teszi egy előre kiépített külső adatforrás használatát egy Azure Synapse-adatbázisból való olvasáshoz. A externalDataSource beállítás eltávolítja a korábban szükséges engedély szükségességét CONTROL .

A beállításkor externalDataSourcea külső adatforrásnak és az tempDir ideiglenes tárolás konfigurálásához használt beállításnak ugyanarra a tárolóra kell hivatkoznia a tárfiókban.

Az Amazon Redshift-összekötő munkamenetének egy adott időtartamra való korlátozása is választható

A _ összekötő új fs.s3a.assumed.role.session.duration lehetősége lehetővé teszi a munkamenet időtartamának beállítását, ha a Redshift egy feltételezett szerepkörrel rendelkező ideiglenes S3-gyűjtőhöz fér hozzá.

Automatikus betöltő

Optimalizált fájllista

Az automatikus betöltési optimalizálások teljesítménybeli javulást és költségmegtakarítást biztosítanak a beágyazott címtárak felhőtárhelyen való listázásakor, beleértve az AWS S3-t, a Azure Data Lake Storage Gen2 -t (ADLS Gen2) és a Google Cloud Storage -t (GCS).

Ha például az ezekben a könyvtárakban lévő összes fájl megkereséséhez fájlokat töltött fel /some/path/YYYY/MM/DD/HH/fileName, az Automatikus betöltő az összes alkönyvtár párhuzamos listáját használta, ami 365 (naponta) * 24 (óránként) = 8760 LIST API-címtárhívást eredményezett a mögöttes tárba minden évben. Ha ezektől a tárolórendszerektől egybesimított választ kap, az Automatikus betöltő csökkenti a tárolórendszerben lévő fájlokra irányuló API-hívások számát az egyes API-hívások által visszaadott eredmények számával (S3 esetén 1000, ADLS Gen2 esetén 5000, GCS esetén 1024), ami jelentősen csökkenti a felhő költségeit.

Optimalizált képadattár

Az automatikus betöltő mostantól képes automatikusan észlelni a betöltött képadatokat, és optimalizálni tudja a Delta-táblákban tárolt tárhelyét az olvasási és írási teljesítmény javítása érdekében. Képadatok betöltése az Automatikus betöltővel.

Bináris fájlok képminiatűrjei (nyilvános előzetes verzió)

binaryFile Az Automatikus betöltővel Delta-táblázatként betöltött vagy mentett képekhez széljegyzetek vannak csatolva, így a kép miniatűrjei megjelennek, amikor egy Azure-Databricks-jegyzetfüzetben jeleníti meg a táblázatot. További információ: Képek.

DirectoryRename események több fájl atomi feldolgozását teszik lehetővé

A Databricks Runtime 9.0-s és újabb verziókban létrehozott automatikus betöltő streamek Azure Data Lake Storage Gen2 fájlesemény-értesítések beállításával a címtár átnevezését és az események figyelésétRenameDirectory. A címtár-átnevezésekkel több fájl is atomi módon jeleníthető meg az Automatikus betöltőben.

SQL

Oszlopok kizárása ( SELECT * nyilvános előzetes verzió)

SELECT * Mostantól támogatja a EXCEPT kulcsszót, amely lehetővé teszi a megadott legfelső szintű oszlopok kizárását a bővítésből. Például SELECT * EXCEPT (b) FROM tbl egy sémát tartalmazó táblából a következőre (a, b, c) bővül: (a, c).

SQL skaláris függvények (nyilvános előzetes verzió)

CREATE FUNCTION mostantól támogatja az SQL skaláris függvényeket. Létrehozhat olyan skaláris függvényeket, amelyek argumentumokat vesznek fel, és egyetlen skaláris típusú értéket ad vissza. Az SQL-függvény törzse bármilyen kifejezés lehet. Például:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Részletekért lásd: CREATE FÜGGVÉNY (SQL).

Előző aliasok és oszlopok hivatkozása a segéd lekérdezésekben FROM (nyilvános előzetes verzió)

A lekérdezés záradékában szereplő FROM részbekérdezéseket most már megelőzheti a LATERAL kulcsszó, amely lehetővé teszi számukra az aliasok és oszlopok hivatkozását FROM az előző elemekben. Például:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A LATERAL kulcsszó támogatja INNERa , CROSSés LEFT (OUTER) JOIN.

Lásd a paramétereket és a paramétereket.

R-támogatás

Jegyzetfüzet-hatókörű R-kódtárak (nyilvános előzetes verzió)

A jegyzetfüzet-hatókörű kódtárak lehetővé teszik a tárak telepítését és egy jegyzetfüzet-munkamenetre hatókörrel rendelkező környezet létrehozását. Ezek a kódtárak nincsenek hatással az ugyanazon a fürtön futó más jegyzetfüzetekre. A kódtárak az illesztőprogram és a feldolgozó csomóponton is elérhetők, így a felhasználó által definiált függvényekben hivatkozhat rájuk. Lásd : Jegyzetfüzet-hatókörű R-kódtárak.

Figyelmeztető üzenetek R-jegyzetfüzetekben

A beállítás alapértelmezett értéke warn mostantól 1-re van állítva az R-jegyzetfüzetekben. Ennek eredményeképpen az összes figyelmeztetés megjelenik a parancs eredményének részeként. A beállításról további információt a warnBeállítások Gépház című témakörben talál.

Kerülje el a visszaállítást a strukturált streamelés állapotalapú feldolgozásának kezdeti állapotának megadásával

Mostantól megadhatja a felhasználó által meghatározott kezdeti állapotot a strukturált streamelési állapotalapú feldolgozáshoz az operátorral [flat]MapGroupsWithState .

Lásd: Kezdeti állapot megadása.

A Delta MERGE INTO parancs alacsony elosztású implementációja már elérhető (nyilvános előzetes verzió)

A Delta-parancs MERGE INTO egy új implementációval rendelkezik, amely csökkenti a nem módosított sorok elosztását. Ez javítja a parancs teljesítményét, és segít megőrizni a táblán meglévő fürtözést, például a Z-orderinget. Az alacsony egyesítés engedélyezéséhez állítsa a következőre spark.databricks.delta.merge.enableLowShuffle : true. Lásd: Alacsony sorrendű egyesítés.

Hibajavítások

  • Az azonos nevű nézet létrehozásával a továbbiakban nem írhatja felül a nézetet.

Könyvtárfrissítések

  • Frissített Python kódtárak:
    • minősítés 2021.5.30-tól 2020.12.5-ig
    • karakterkészlet 3.0.4–4.0.0 között
    • Cython 0.29.21-től 0.29.23-ig
    • dekorátor 4.4.2 és 5.0.6 között
    • ipython 7.19.0-tól 7.22.0-ig
    • joblib 0.17.0 és 1.0.1 között
    • jupyter-client 6.1.7 és 6.1.12 között
    • jupyter-core 4.6.3 és 4.7.1 között
    • kiwisolver 1.3.0 és 1.3.1 között
    • matplotlib 3.2.2 és 3.4.2 között
    • pandas 1.1.5 és 1.2.4 között
    • pip 20.2.4 és 21.0.1 között
    • prompt-toolkit 3.0.8 és 3.0.17 között
    • protobuf 3.17.3 és 3.17.2 között
    • ptyprocess from 0.6.0 to 0.7.0
    • pyarrow 1.0.1 és 4.0.0 között
    • 2.7.2–2.8.1.
    • pyzmq 19.0.2-től 20.0.0-ig
    • a 2.24.0 és a 2.25.1 közötti kérelmek
    • s3transfer from 0.3.6 to 0.3.7
    • scikit-learn 0.23.2 és 0.24.1 között
    • 1.5.2 és 1.6.2 közötti
    • seaborn from 0.10.0 to 0.11.1
    • setuptools from 50.3.1 to 52.0.0
    • 0.12.0 és 0.12.2 közötti statisztikák
    • tornádó 6.0.4 és 6.1 között
    • virtualenv 20.2.1 és 20.4.1 között
    • kerék 0.35.1 és 0.36.2 között
  • Frissített R-kódtárak:
    • Mátrix 1.3-3 és 1.3-4 között

Apache Spark

Databricks Runtime 9.0 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.4 (nem támogatott) összes Spark-javítását és fejlesztéseit, valamint a Spark következő további hibajavításai és fejlesztései:

  • [SPARK-35886] [SQL][3.1] A PromotePrecision nem írhatja felül a genCodePromotePrecision parancsot, és nem írhatja felül a genCode-ot
  • [SPARK-35879] [CORE][SHUFFLE] A collectFetchRequests által okozott teljesítményregresszió javítása
  • [SPARK-35817] [SQL][3.1] Lekérdezések teljesítményének visszaállítása széles Avro-táblákon
  • [SPARK-35841] [SQL] A sztring decimális típusra történő átírása nem működik, ha a...
  • [SPARK-35783] [SQL] Állítsa be az olvasási oszlopok listáját a feladatkonfigurációban az ORC-adatok olvasásának csökkentése érdekében
  • [SPARK-35576] [SQL][3.1] A bizalmas adatok újrakonfigurálása a Set parancs eredményében
  • [SPARK-35449] [SQL][3.1] Csak a CaseWhen értékekből nyer ki gyakori kifejezéseket, ha az elseValue be van állítva
  • [SPARK-35288] [SQL] A StaticInvoke-nak pontos argumentumosztályok nélkül kell megkeresnie a metódust
  • [SPARK-34794] [SQL] Lambda változónévvel kapcsolatos problémák megoldása beágyazott DataFrame-függvényekben
  • [SPARK-35278] [SQL] Az Invoke metódusnak a megfelelő számú paraméterrel kell megkeresnie a metódust
  • [SPARK-35226] [SQL] A refreshKrb5Config beállítás támogatása JDBC-adatforrásokban
  • [SPARK-35244] [SQL] A meghívásnak az eredeti kivételt kell eredményeznie
  • [SPARK-35213] [SQL] A beágyazott struktúra helyes sorrendjének megtartása aField műveletekkel összekapcsolva
  • [SPARK-35087] [UI] A szakaszinformációs oldal végrehajtója által összesített metrikák tábla egyes oszlopai helytelenül jelennek meg.
  • [SPARK-35168] [SQL] mapred.reduce.tasks kell shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [Felhasználói felület] Amikor váltunk a különböző szakaszrészletes lapok között, előfordulhat, hogy az újonnan megnyitott lap bejegyzéseleme üres
  • [SPARK-35142] [PYTHON][ML] A helytelen visszatérési típusának rawPredictionUDF javításaOneVsRestModel
  • [SPARK-35096] [SQL] A sémafuttatásnak meg kell felelnie a spark.sql.caseSensitive konfigurációnak
  • [SPARK-34639] [SQL][3.1] A RelationalGroupedDataset.alias nem hozhat létre feloldatlanAlias-t
  • [SPARK-35080] [SQL] Csak a korrelált egyenlőségi predikátumok egy részhalmazának engedélyezése al lekérdezések összesítésekor
  • [SPARK-35117] [UI] A folyamatjelző sáv visszaváltása a folyamatban lévő tevékenységek arányának kiemelésére
  • [SPARK-35136] A LiveStage.info kezdeti null értékének eltávolítása
  • [SPARK-34834] [NETWORK] Lehetséges Netty memóriavesztés javítása a TransportResponseHandlerben
  • [SPARK-35045] [SQL] Belső beállítás hozzáadása a bemeneti puffer egyedi vezérléséhez
  • [SPARK-35014] Kijavítottuk a PhysicalAggregation mintát, hogy ne írja át az összecsukható kifejezéseket
  • [SPARK-35019] [PYTHON][SQL] A pyspark.sql típuseltéréseit javító javítás.*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() figyelembe kell vennie, hogy a partíció értéke null
  • [SPARK-34630] [PYTHON] Typehint hozzáadása a pysparkhoz. Változat
  • [SPARK-34963] [SQL] Kijavítottuk a beágyazott oszloptörlést a kis- és nagybetűket nem megkülönböztető struktúramezők tömbből való kinyerése érdekében
  • [SPARK-34988] [CORE][3.1] Upgrade Jetty for CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Relatív költség-összehasonlító függvény használata a CBO-ban
  • [SPARK-34970] [SQL][SECURITY][3.1] Redact map-type options in the output of explain()
  • [SPARK-34923] [SQL] A metaadatok kimenetének üresnek kell lennie a további tervekhez
  • [SPARK-34949] [CORE] Megakadályozza a BlockManager újraregisztrálását a végrehajtó leállításakor
  • [SPARK-34939] [CORE] A lehívási hiba kivétele, ha nem sikerült deszerializálni a közvetített térképállapotokat
  • [SPARK-34909] [SQL] Ki lett javítva a negatív konvertálása előjel nélküli konvergensre()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter nem ad vissza részleges procfs-metrikákat
  • [SPARK-34814] [SQL] A LikeSimplificationnek a NULL értéket kell kezelnie
  • [SPARK-34876] [SQL] A nem null értékű összesítések alapértelmezett értékének kitöltése
  • [SPARK-34829] [SQL] Magasabb sorrendű függvényeredmények javítása
  • [SPARK-34840] [SHUFFLE] Kijavítja az egyesített elosztás sérülési eseteit ...
  • [SPARK-34833] [SQL] A jobb oldali kitöltés alkalmazása a korrelált segéd lekérdezésekre
  • [SPARK-34630] [PYTHON][SQL] Typehint hozzáadva a pyspark.sql.Column.contains fájlhoz
  • [SPARK-34763] [SQL] col(), $"" és df("name") megfelelően kell kezelnie az idézőjeles oszlopneveket
  • [SPARK-33482][SPARK-34756] [SQL] A FileScan egyenlőség-ellenőrzésének javítása
  • [SPARK-34790] [CORE] Tiltsa le az elosztási blokkok beolvasását a kötegben, ha az io-titkosítás engedélyezve van
  • [SPARK-34803] [PYSPARK] Adja át az emelt ImportError értéket, ha a pandas vagy a pyarrow nem importálható
  • [SPARK-34225] [CORE] Ne kódoljon tovább, ha URI-űrlapsztringet ad át az addFile vagy az addJar fájlnak
  • [SPARK-34811] [CORE] Redact fs.s3a.access.key, például titkos kód és token
  • [SPARK-34796] [SQL][3.1] A LIMIT kód-gen számláló változójának inicializálása a doProduce() alkalmazásban
  • [SPARK-34128] [SQL] A THRIFT-4805 nem kívánt TTransportException figyelmeztetéseinek mellőzése
  • [SPARK-34776] [SQL] A beágyazott oszloptörlés nem metszi a Windows által létrehozott attribútumokat
  • [SPARK-34087] [3.1][SQL] Az ExecutionListenerBus memóriavesztésének javítása
  • [SPARK-34772] [SQL] A RebaseDateTime loadRebaseRecords a Spark osztálybetöltőt használja a környezet helyett
  • [SPARK-34719] [SQL][3.1] A nézet lekérdezésének helyes feloldása ismétlődő oszlopnevekkel
  • [SPARK-34766] [SQL][3.1] Ne rögzítse a maven-konfigurációt a nézetekhez
  • [SPARK-34731] [CORE] A ConcurrentModificationException elkerülése az EventLoggingListener tulajdonságainak újraaklarálásakor
  • [SPARK-34737] [SQL][3.1] A bemeneti lebegőpontos érték duplája TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] A ResolveCreateNamedStruct egyszerűsítése
  • [SPARK-34768] [SQL] Tartsa tiszteletben az alapértelmezett bemeneti pufferméretet az Univocityben
  • [SPARK-34770] [SQL] Az InMemoryCatalog.tableExists nem hiúsul meg, ha az adatbázis nem létezik
  • [SPARK-34504] [SQL] Kerülje a DDL-parancsok SQL-ideiglenes nézeteinek szükségtelen feloldását
  • [SPARK-34727] [SQL] Az áttűnési lebegőpontos érték eltérésének javítása időbélyegzőre
  • [SPARK-34723] [SQL] Helyes paramétertípus az alkifejezés megszüntetéséhez az egész fázisban
  • [SPARK-34724] [SQL] Ki lett javítva az értelmezett értékelés a getMethod használatával a getDeclaredMethod helyett
  • [SPARK-34713] [SQL] A CreateStruct és az ExtractValue által kijavított csoport
  • [SPARK-34697] [SQL] A DESCRIBE függvény és a SHOW FÜGGVÉNYek || (sztringösszefűzési operátor)
  • [SPARK-34682] [SQL] A PrivateMethodTester használata tükröződés helyett
  • [SPARK-34682] [SQL] Regresszió javítása kanonizációs hibaellenőrzéskor a CustomShuffleReaderExecben
  • [SPARK-34681] [SQL] Kijavítottuk a teljes külső elosztású kivonatillesztés hibáját, amikor a bal oldalt nem egyenlő feltétellel építik
  • [SPARK-34545] [SQL] A pyrolite valueCompare funkciójával kapcsolatos problémák megoldása
  • [SPARK-34607] [SQL][3.1] Hozzáadás Utils.isMemberClass helytelen formátumú osztálynévhiba kijavításához a jdk8u-n
  • [SPARK-34596] [SQL] Az Utils.getSimpleName használatával elkerülheti, hogy a NewInstance.doGenCode hibásan formázott osztálynevet kapjon
  • [SPARK-34613] [SQL] A fix nézet nem rögzíti a letiltás-tipp konfigurációjának rögzítését
  • [SPARK-32924] [WEBUI] Időtartam oszlop létrehozása a fő felhasználói felületen a megfelelő sorrendben rendezve
  • [SPARK-34482] [SS] A StreamExecution.logicalPlan aktív SparkSession-jának javítása
  • [SPARK-34567] [SQL] A CreateTableAsSelectnek a metrikákat is frissítenie kell
  • [SPARK-34599] [SQL] Kijavítottuk azt a hibát, amely miatt az INSERT INTO OVERWRITE nem támogatja a DSv2 pontját tartalmazó partícióoszlopokat
  • [SPARK-34577] [SQL] Ki lett javítva a drop/add columns to a dataset of DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] A statikus partíciónak a StoreAssignmentPolicy parancsot is követnie kell, amikor v2-táblákba szúr be
  • [SPARK-34555] [SQL] A DataFrame metaadat-kimenetének feloldása
  • [SPARK-34534] BlockIds-sorrend javítása a FetchShuffleBlocks használata esetén a blokkok beolvasásához
  • [SPARK-34547] [SQL] Csak metaadat-oszlopokat használ a megoldáshoz végső megoldásként
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap meghiúsul, ha az oszlopnév ponttal rendelkezik
  • [SPARK-34561] [SQL] Ki lett javítva a 2-es verzió adathalmazában lévő oszlopok elvetése/hozzáadása DESCRIBE TABLE
  • [SPARK-34556] [SQL] Az ismétlődő statikus partícióoszlopok ellenőrzésekor figyelembe kell venni a kis- és nagybetűk megkülönböztetésével kapcsolatos konföderációt
  • [SPARK-34392] [SQL] A ZoneOffset +h:mm támogatása a DateTimeUtilsben. getZoneId
  • [SPARK-34550] [SQL] InSet null érték kihagyása a Hive-metaadattárba való leküldéses szűrő során
  • [SPARK-34543] [SQL] Tartsa tiszteletben a konfigurációt az spark.sql.caseSensitive 1- ös verzió partíciós specifikációjának feloldása során SET LOCATION
  • [SPARK-34436] [SQL] A DPP támogatja a LIKE ANY/ALL kifejezést
  • [SPARK-34531] [CORE] Kísérleti API-címke eltávolítása a PrometheusServletben
  • [SPARK-34497] [SQL] Beépített JDBC-kapcsolatszolgáltatók javítása a JVM biztonsági környezet változásainak visszaállításához
  • [SPARK-34515] [SQL] Az NPE javítása, ha az InSet null értéket tartalmaz a getPartitionsByFilter alatt
  • [SPARK-34490] [SQL] Az elemzésnek sikertelennek kell lennie, ha a nézet elvetett táblára hivatkozik
  • [SPARK-34473] [SQL] Az NPE elkerülése a DataFrameReader.schema(StructType) alkalmazásban
  • [SPARK-34384] [CORE] Hiányzó dokumentumok hozzáadása ResourceProfile API-khoz
  • [SPARK-34373] [SQL] A HiveThriftServer2 startWithContext versenyproblémával járhat
  • [SPARK-20977] [CORE] Nem végleges mező használata a CollectionAccumulator állapotához
  • [SPARK-34421] [SQL] Ideiglenes függvények és nézetek feloldása nézetekben CTE-kkel
  • [SPARK-34431] [CORE] Csak egyszer tölthető be hive-site.xml
  • [SPARK-34405] [CORE] A TimersLabels középértékének javítása a PrometheusServlet osztályban
  • [SPARK-33438] [SQL] Lelkesen inicializálási objektumok definiált SQL Confs parancsokkal set -v
  • [SPARK-34158] Az egyetlen fejlesztő, Matei url-címe helytelen a pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] a spark.buffer.size által beállított io.file.buffer.size felülbírálja a hive-site.xml véletlenül perf regressziót okozhat
  • [SPARK-34359] [SQL][3.1] Örökölt konfiguráció hozzáadása a SHOW DATABASES kimeneti sémájának visszaállításához
  • [SPARK-34331] [SQL] A DS v2 metaadatok col felbontásának felgyorsítása
  • [SPARK-34318] [SQL][3.1] A Dataset.colRegex függvénynek új sorokat tartalmazó oszlopnevekkel és minősítőkkel kell működnie
  • [SPARK-34326] [CORE][SQL] A SPARK-31793-ban hozzáadott UT-k javítása az ideiglenes elérési út hosszától függően
  • [SPARK-34319] [SQL] A FlatMapCoGroupsInPandas/MapInPandas duplikált attribútumainak feloldása
  • [SPARK-34310] [CORE][SQL] A leképezést és a simítást síktérképre cseréli
  • [SPARK-34083] [SQL][3.1] A TPCDS eredeti definícióinak használata char/varchar columshoz
  • [SPARK-34233] [SQL][3.1] FIX NPE karakterpárnázás bináris összehasonlításban
  • [SPARK-34270] [SS] A StateStoreMetrics kombinálása nem bírálhatja felül a StateStoreCustomMetric paramétert
  • [SPARK-34144] [SQL] Kivételhiba lépett fel, amikor LocalDate és Instant értékeket próbál meg írni egy JDBC-kapcsolatba
  • [SPARK-34273] [CORE] Ne regisztrálja újra a BlockManagert a SparkContext leállításakor
  • [SPARK-34262] [SQL][3.1] A v1-tábla gyorsítótárazott adatainak frissítése a következőben: ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB] A szűrőt és a méretet a darabszámra cseréli
  • [SPARK-34260] [SQL] Kijavítottuk az UnresolvedException hibát az ideiglenes nézet kétszeri létrehozásakor
  • [SPARK-33867] [SQL] Az azonnali és a LocalDate értékek nem kezelhetők SQL-lekérdezések létrehozásakor
  • [SPARK-34193] [CORE] TorrentBroadcast blokkkezelő leszerelése versenyjavítás
  • [SPARK-34221] [WEBUI] Győződjön meg arról, hogy egy szakasz meghiúsul a felhasználói felületen, a megfelelő hibaüzenet megfelelően jeleníthető meg
  • [SPARK-34236] [SQL] Kijavítottuk a v2 felülírását w/ null statikus partícióemelés nem tudja lefordítani a kifejezést forrásszűrőre: null
  • [SPARK-34212] [SQL] Parquet-fájlok helytelen decimális beolvasásának javítása
  • [SPARK-34244] [SQL] A regexp_extract_all Scala-függvényverziójának eltávolítása
  • [SPARK-34235] [SS] A spark.sql.hive létrehozása privát csomagként
  • [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate esemény a naplóban
  • [SPARK-34229] [SQL] Az Avronak a fájlsémával együtt kell beolvasnia a decimális értékeket
  • [SPARK-34223] [SQL] FIX NPE statikus partícióhoz null értékkel az InsertIntoHadoopFsRelationCommand fájlban
  • [SPARK-34192] [SQL] A karakterpárnázás áthelyezése írási oldalra, és a hosszellenőrzés eltávolítása az olvasási oldalon is
  • [SPARK-34203] [SQL] Partícióértékek __HIVE_DEFAULT_PARTITION__ konvertálása null v1-katalógusba In-Memory
  • [SPARK-33726] [SQL] Javítás ismétlődő mezőnevekhez az összesítés során
  • [SPARK-34133] [AVRO] A kis- és nagybetűk érzékenységének tiszteletben tartása katalizátor-Avro mezőegyeztetés végrehajtásakor
  • [SPARK-34187] [SS] Az eltolás ellenőrzésekor a lekérdezés során kapott elérhető eltolási tartomány használata
  • [SPARK-34052] [SQL][3.1] a "CACHE TABLE .. AS SELECT ..."
  • [SPARK-34213] [SQL] A v1-tábla gyorsítótárazott adatainak frissítése a következőben: LOAD DATA
  • [SPARK-34191] [PYTHON][SQL] Gépelés hozzáadása udf túlterheléshez
  • [SPARK-34200] [SQL] A nem egyértelmű oszlophivatkozásnak figyelembe kell vennie az attribútumok rendelkezésre állását
  • [SPARK-33813] [SQL][3.1] Kijavítottuk azt a hibát, amely miatt a JDBC-forrás nem tudja kezelni az MS SQL Server térbeli típusait
  • [SPARK-34178] [SQL] A MultiInstanceRelation.newInstance által létrehozott új csomópont címkéinek másolása
  • [SPARK-34005] [CORE][3.1] A feladat végén lévő végrehajtók memória-csúcsmetrikáinak frissítése
  • [SPARK-34115] [CORE] A lassulás elkerülése érdekében ellenőrizze, hogy SPARK_TESTING-e lusta val
  • [SPARK-34153] [SQL][3.1][3.0] A nem használt getRawTable() adatok eltávolítása a következőből: HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] Gyorsítótár frissítése a következőben: ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Csere erre:java.io.File.toURLjava.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala áthelyezése szervezeti/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] UnivariateFeatureSelector hozzáadása
  • [SPARK-33790] [CORE][3.1] Csökkentse a getFileStatus rpc-hívását a SingleFileEventLogFileReaderben
  • [SPARK-34118] [CORE][SQL][3.1] Lecseréli a szűrőt, és ellenőrzi, hogy az üresség létezik-e vagy sem
  • A [SPARK-34114] [SQL] nem vágja le jobbra az oldaloldali karakterhossz-ellenőrzést és a kitöltést
  • [SPARK-34086] [SQL][3.1] A RaiseError túl sok kódot generál, és előfordulhat, hogy a kódoló nem működik a karakteres varchar keresésekor.
  • [SPARK-34075] [SQL][CORE] A partíciókövetkeztetéshez rejtett könyvtárak vannak felsorolva
  • [SPARK-34076] [SQL] Az SQLContext.dropTempTable sikertelen, ha a gyorsítótár nem üres
  • [SPARK-34084] [SQL][3.1] Táblastatisztikák automatikus frissítésének javítása a következőben: ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled eredmény a KafkaTokenUtil.needTokenUpdate alkalmazásban
  • [SPARK-34069] [CORE] A tiltókorlátokkal kapcsolatos feladatoknak tiszteletben kell tartaniuk SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Az shuffle batch fetch funkciónak le kell tudnia tiltani, miután engedélyezve lett
  • [SPARK-34059] [SQL][CORE][3.1] A leképezés helyett használja a for/foreach parancsot, hogy biztosan lelkesen hajtsa végre
  • [SPARK-34002] [SQL] Kódoló használatának javítása a ScalaUDF-ben
  • [SPARK-34060] [SQL][3.1] A Hive-tábla gyorsítótárazásának javítása a statisztikák frissítése során ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Helytelen memóriakiömlési metrika javítása összesítéskor
  • [SPARK-33591] [SQL][3.1] Felismerés null partícióspektrálási értékekben
  • [SPARK-34055] [SQL][3.1] Gyorsítótár frissítése a következőben: ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] A ReplaceTable-nak érvénytelenítenie kell a gyorsítótárat
  • [SPARK-34003] [SQL] A PaddingAndLengthCheckForCharVarchar és a ResolveAggregateFunctions közötti szabályütközések javítása
  • [SPARK-33938] [SQL][3.1] LikeSimplification(Mindenhez hasonló) optimalizálás
  • [SPARK-34021] [R] Hyper-hivatkozások javítása a SparkR-dokumentációban a CRAN-beküldéshez
  • [SPARK-34011] [SQL][3.1][3.0] Gyorsítótár frissítése a következőben: ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] A MapObjects.doGenCode metódus CodeGen-hibájának javítása a Scala 2.13-ban
  • [SPARK-33635] [SS] A KafkaTokenUtil.needTokenUpdate ellenőrzés sorrendjének módosítása a perf regresszió orvoslásához
  • [SPARK-33029] [CORE][WEBUI] A felhasználói felület végrehajtói oldalának javítása, amely helytelenül jelöli meg az illesztőprogramot kizártként
  • [SPARK-34015] [R] A bemeneti időzítés javítása a gapplyben
  • [SPARK-34012] [SQL] Konzisztens viselkedés megőrzése, ha a konföderáció spark.sql.legacy.parser.havingWithoutGroupByAsWhere igaz a migrálási útmutatóval
  • [SPARK-33844] [SQL][3.1] Az InsertIntoHiveDir parancsnak az oszlop nevét is ellenőriznie kell
  • [SPARK-33935] [SQL] CBO költségfüggvény javítása
  • [SPARK-33100] [SQL] Szögletes megjegyzésben lévő pontosvessző figyelmen kívül hagyása a spark-sql-ben
  • [SPARK-34000] [CORE] Fix stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] override transformUpWithNewOutput to add allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] A Scala 2.13-ban a futtatókörnyezet fordítási hibáinak elkerülése érdekében módosítsa az mllib privát esetosztályainak láthatóságát
  • [SPARK-33950] [SQL][3.1][3.0] Gyorsítótár frissítése az 1-ben ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Érvényteleníti a karaktert/varchart a spark.readStream.schema fájlban
  • [SPARK-33945] [SQL][3.1] Egy kifából álló véletlenszerű magot kezel
  • [SPARK-33398] A famodellek Spark 3.0 előtti betöltésének javítása
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBUI] Kijavítottuk a felhasználói felület végrehajtói oldalának a nem definiált peakMemoryMetrics miatt elakadt hibáját
  • [SPARK-33944] [SQL] Helytelen naplózás a SharedState beállításaiban található raktárkulcsokhoz
  • [SPARK-33936] [SQL][3.1] Az összekötő illesztőinek hozzáadásakor használt verzió hozzáadása
  • [SPARK-33916] [CORE] A tartalék tároló eltolásának javítása és a tömörítési kodekteszt lefedettségének javítása
  • [SPARK-33899] [SQL][3.1] Kijavítottuk a helyességi hibát a v1 SHOW TABLES/VIEWS on spark_catalog
  • [SPARK-33901] [SQL] Karakter- és Varchar-megjelenítési hiba javítása DLL-ek után
  • [SPARK-33897] [SQL] Nem állítható be a "kereszt" beállítás az illesztési metódusban
  • [SPARK-33907] [SQL][3.1] Csak a JsonToStructs oszlopainak metszése, ha az elemzési lehetőségek üresek
  • [SPARK-33621][SPARK-33784] [SQL][3.1] Adatforrás-átírási szabályok beszúrásának módja
  • [SPARK-33900] [WEBUI] Az elosztás olvasási méretének /rekordjainak helyes megjelenítése, ha csak távoli bájtok érhetők el
  • [SPARK-33892] [SQL] Karakter/varchar megjelenítése a DESC-ben és SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char és Varchar fail in MetaOperation of ThriftServer
  • [SPARK-33659] [SS] A DataStreamWriter.toTable API aktuális viselkedésének dokumentálása
  • [SPARK-33893] [CORE] Tartalék blokkkezelő kizárása a végrehajtólistából
  • [SPARK-33277] [PYSPARK][SQL] A ContextAwareIterator használatával leállíthatja a használatot a feladat befejezése után
  • [SPARK-33889] [SQL][3.1] Az NPE javítása V2-táblákon SHOW PARTITIONS
  • [SPARK-33879] [SQL] A Karakter varchar értékei nem egyeznek a partícióoszlopokkal
  • [SPARK-33877] [SQL] SQL-referenciadokumentumok az INSERT w/ oszloplistához
  • [SPARK-33876] [SQL] A char/varchar olvasásának hosszadalmas ellenőrzése külső helyen lévő táblákból
  • [SPARK-33846] [SQL] Beágyazott sémák megjegyzéseinek belefoglalása a StructType.toDDL-be
  • [SPARK-33860] [SQL] A CatalystTypeConverters.convertToCatalyst paraméter beállítása speciális tömbértékre
  • [SPARK-33834] [SQL] Az ALTER TABLE CHANGE COLUMN ellenőrzése Karakter és Varchar használatával
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN és BenchmarkQueryTest nem jeleníti meg az al lekérdezési kódot
  • [SPARK-33836] [SS][PYTHON] A DataStreamReader.table és a DataStreamWriter.toTable felfedése
  • [SPARK-33829] [SQL][3.1] A v2-táblák átnevezésével újra létre kell hozni a gyorsítótárat
  • [SPARK-33756] [SQL] BytesToBytesMap MapIterator idempotensének létrehozása
  • [SPARK-33850] [SQL] A FORMATTED MAGYARÁZAT nem jeleníti meg az allekérdezések tervét, ha az AQE engedélyezve van
  • [SPARK-33841] [CORE][3.1] Kijavítottuk azt a hibát, amely miatt a feladatok időnként eltűnnek az SHS-ből nagy terhelés mellett
  • [SPARK-33593] [SQL] A vektorolvasó helytelen adatokat kapott bináris partícióértékkel
  • [SPARK-26341] [WEBUI] A végrehajtó memóriametrikáinak megjelenítése a fázis szintjén, a Szakaszok lapon
  • [SPARK-33831] [UI] Frissítés a 9.4.34-es verzióra
  • [SPARK-33822] [SQL] A hashJoin metódus használata CastSupport.cast
  • [SPARK-33774] [UI][CORE] Vissza a főkiszolgálóhoz" 500-as hibát ad vissza az önálló fürtben
  • [SPARK-26199][SPARK-31517] [R] A kezelési stratégia javítása ... mute-ban szereplő nevek
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader package private
  • [SPARK-33697] [SQL] A RemoveRedundantProjects parancsnak alapértelmezés szerint oszlopsorrendezést kell igényelnie
  • [SPARK-33752] [SQL][3.1] Kerülje az AnalysisException getSimpleMessage elemének ismételt pontosvessző hozzáadását
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Táblatulajdonságok rendezése kulcs szerint a DESCRIBE TABLE parancsban
  • [SPARK-33786] [SQL] A gyorsítótár tárolási szintjét a táblanév módosításakor figyelembe kell venni.
  • [SPARK-33273] [SQL] Versenyállapot javítása az albekérdezés végrehajtásában
  • [SPARK-33653] [SQL][3.1] DSv2: A REFRESH TABLE visszafedi magát a táblát
  • [SPARK-33777] [SQL] V2 SHOW PARTITIONS rendezési kimenete
  • [SPARK-33733] [SQL] A PullOutNondeterministicnak ellenőriznie és gyűjtenie kell a determinisztikus mezőt
  • [SPARK-33764] [SS] Az állapottároló karbantartási időközének beállítása SQL-konfigurációként
  • [SPARK-33729] [SQL] A gyorsítótár frissítésekor a Spark nem használhat gyorsítótárazott csomagot az adatok gyorsítótárazásakor
  • [SPARK-33742] [SQL][3.1] PartitionsAlreadyExistException elvetése a HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Teljes partícióazonosító megkövetelése a partitionExists() rendszerben
  • [SPARK-33740] [SQL] hadoop-konfigurációk hive-site.xml felülbírálhatják a már meglévő Hadoop-konfigurációkat
  • [SPARK-33692] [SQL] A nézetnek rögzített katalógust és névteret kell használnia a keresési függvényhez
  • [SPARK-33669] Helytelen hibaüzenet a YARN alkalmazásállapot-figyelőjéből, ha sc.stop a Yarn ügyfélmódban
  • [SPARK-32110] [SQL] normalizálja a speciális lebegő számokat a HyperLogLog++ alkalmazásban
  • [SPARK-33677] [SQL] Kihagyja a LikeSimplification szabályt, ha a minta tartalmaz escapeChar-t
  • [SPARK-33693] [SQL] elavult spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Érvényteleníti a helytelen eredményeket eredményező új karakter-/varchartípusokat a nyilvános API-kban
  • [SPARK-32680] [SQL] Ne dolgozza fel a V2 CTAS-t feloldatlan lekérdezéssel
  • [SPARK-33676] [SQL] A partíciós specifikáció pontos egyeztetésének megkövetelése a sémával a V2-ben ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Ellenőrizze, hogy a partíciószolgáltató Hive-e az 1- os SHOW TABLE EXTENDED verzióban
  • [SPARK-33663] [SQL] A nem létező ideiglenes nézeteken nem szabad meghívni a gyorsítótárazást
  • [SPARK-33667] [SQL] Tartsa tiszteletben a konfigurációt a spark.sql.caseSensitive partíciós specifikáció feloldása közben az 1-ben SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: A DeleteFromnak frissítenie kell a gyorsítótárat

Karbantartási frissítések

Lásd Databricks Runtime 9.0 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta-tó 1.0.0

Telepített Python kódtárak

Kódtár Verzió Kódtár Verzió Kódtár Verzió
Antergos Linux 2015.10 (ISO-rolling) appdirs 1.4.4 visszahívás 0.2.0
boto3 1.16.7 botocore 1.19.7 minősítés 2020.12.5
karakterkészlet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratőr 5.0.6 distlib 0.3.2
distro-info 0,23ubuntu1 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalák 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Párna 8.2.0 Pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
Kérelmek 2.25.1 requests-unixsocket 0.2.0 Újrapróbálkozás 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
tengeri 0.11.1 setuptools 52.0.0 Hat 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
Tornádó 6.1 traitlets 5.0.5 felügyelet nélküli frissítések 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Kerék 0.36.2

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN 2021.07.28-i pillanatképéből vannak telepítve.

Kódtár Verzió Kódtár Verzió Kódtár Verzió
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 Brio 1.1.0
broom 0.7.2 callr 3.5.1 kalap jel 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 hitelesítő adatok 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
adathalmazok 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 Forge 0.2.0
Fs 1.5.0 Jövőben 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
glue 1.4.2 gower 0.2.2 Grafikák 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
labeling 0.4.2 Később 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 Életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Mátrix 1.3-4
memoise 1.1.0 methods 4.1.0 mgcv 1.8-36
mime 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
párhuzamosan 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 Ígér 1.1.1 proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-árnyékolt 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib Core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3,1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2,8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-elemzők 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3,1
commons-io commons-io 2,4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3,1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift légkompresszor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Hangya 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyílvektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus közönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-biztonság 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-eszközök 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernált-érvényesítő 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql Postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp szellő-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework tavaszi teszt 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52