Databricks Runtime 5,3 (nepodporované)

• 03/17/2021
• 19 min ke čtení
• • m
  • o

Datacihly vydaly tento obrázek v dubnu 2019.

Následující poznámky k verzi obsahují informace o Databricks Runtime 5,3, která využívá Apache Spark.

Nové funkce

Databricks Delta

Doba cesty GA

Cesta k rozdílové době byla odstupňována na obecnou dostupnost. Přidává možnost dotazování snímku tabulky pomocí řetězce časového razítka nebo verze, pomocí syntaxe SQL a také DataFrameReader možností pro výrazy časového razítka.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

Doba cesty má mnoho případů použití, včetně:

• Opětovné vytvoření analýz, sestav nebo výstupů (například výstup modelu strojového učení), který je užitečný pro ladění nebo auditování, zejména v regulovaných odvětvích.
• Zápis složitých dočasnách dotazů.
• Oprava chyb ve vašich datech.
• Poskytuje izolaci snímků pro sadu dotazů pro rychlé měněné tabulky.

Přečtěte si téma dotazování staršího snímku tabulky (časová cesta), Výběra sloučení do (Delta Lake na Azure Databricks).

Replikace tabulky MySQL do rozdílových Public Preview

Streamování dat z tabulky MySQL přímo do rozdílu za využití pro příjem dat v Spark Analytics nebo pracovních postupech pro datové vědy. Využití stejné strategie, kterou MySQL používá pro replikaci na jiné instance, se binlog používá k identifikaci aktualizací, které se pak zpracovávají a streamují do datacihly následujícím způsobem:

• Přečte události změny z protokolu databáze.
• Streamuje události do datacihlů.
• Zapisuje do stejného pořadí pro rozdílovou tabulku.
• Udržuje stav pro případ odpojení od zdroje.

Funkce privátní verze Preview

Tato verze obsahuje následující funkce privátní verze Preview pro rozdílový Lake:

• Přidání experimentálního příkazu, který umožňuje Presto přímé dotazování na rozdílové tabulky.
• Automatické optimalizace optimalizuje rozložení souborů při individuálních zápisech do rozdílové tabulky a brání v hromadění malých souborů v rozdílných tabulkách, aby bylo možné udržet výkon dotazů rychlostí blesku. Zápisy a upsertuje do dělených rozdílových tabulek můžou navíc využívat velkou urychlení, díky adaptivnímu náhodnému zavedenému do zápisu.

Pokud se chcete zúčastnit v rámci verze Preview, obraťte se na zástupce účtu datacihly.

Optimalizovaná složka pojistky DBFS pro úlohy s hloubkovým učením

Azure Databricks teď nabízí optimalizované připojení zapékací jednotky. Můžete mít vysoce výkonný přístup k datům během školení a odvození bez použití inicializačních skriptů. Data uložená dbfs:/ml místně a dostupná v místním počítači file:/dbfs/ml se teď zálohují pomocí tohoto optimalizovaného připojení zapékací jednotky. Viz načíst data.

Vylepšen

• Knihovny s rozsahem poznámkového bloku:

  • Podpora pro Další funkce v dbutils.library.installPyPI .
  • Podpora instalace knihoven s rozsahem poznámkového bloku pro knihovny v systému souborů Azure, včetně systémů wasbs , adls a abfss .
  • Vylepšené chybové zprávy pro knihovny s rozsahem poznámkového bloku na nepodporovaných cílech. Například: "nástroje knihovny nejsou k dispozici v Databricks Runtime pro Machine Learning."

• Připojte se k Azure Data Lake Storage Gen2 (adls Gen2), aniž byste museli udělit instančnímu objektu roli RBAC úložiště dat objektů BLOB v rámci účtu.

• Poradce pro datacihly má další tipy pro zlepšení výkonu dotazů:

  • Když existuje mnoho malých souborů na oddíl – > převést tabulku na rozdíl a spustit OPTIMIZE .
  • Když existuje vysoce selektivní filtr – > převést na rozdíl a použít ZORDER BY .
  • Když se metadata načte z podregistru stane kritickým bodem > převést tabulku na rozdílovou hodnotu.

• Upgradovali jsme Ubuntu z 16.04.5 LTS na 16.04.6 LTS.

• Upgradovali jsme Scala 2,11 z 2.11.8 na 2.11.12.

• Byly upgradovány některé nainstalované knihovny Pythonu:

  • PIP: 18,1 až 19.0.3.
  • setuptools: 40.6.3 na 40.8.0
  • kolo: 0.32.3 na 0.33.1

• Upgradováno R z 3.4.4 na 3.5.2.

• Bylo upgradováno několik nainstalovaných knihoven R. Viz nainstalované knihovny R.

Vyřazení

• Konektor Apache Kafka 0,8 pro strukturované streamování již není podporován. Je součástí Databricks Runtime 5,3, ale bude z budoucí verze Databricks Runtime odebrána.
• Export modelu datacihly ML je zastaralý a v Databricks Runtime 6,0 se odebere. Místo toho použijte MLeap pro import a export modelů.
• Odebráno spark.databricks.pyspark.enableExecutorFsPerms jako možnost konfigurace.

Opravy chyb

• Pevně daná instalace knihovny vajec Pythonu v rámci clusteru pro clustery s povolenými seznamy ACL pro tabulky.
• Vylepšené zrušení příkazu Pythonu tím, že opravíte situaci, ve které je zrušení voláno před provedením příkazu.
• Opravili jsme chybu v seznamech ACL tabulky: když teď vypíšete objekty v databázi nebo katalogu, zobrazí se jenom objekty, ke kterým máte oprávnění.

Apache Spark

Databricks Runtime 5,3 zahrnuje Apache Spark 2.4.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, které jsou součástí Databricks Runtime 5,2 (nepodporované), a také tyto další opravy chyb a vylepšení nástroje Spark:

• [Spark-27134][SQL] funkce array_distinct nefunguje správně se sloupci obsahujícími pole Array.
• [Spark-24669][SQL] zrušení platnosti tabulek v případě KASKÁDové databáze
• [Spark-26572][SQL] oprava vyhodnocení výsledků agregace CodeGen
• [Spark-27046][DSTREAMS] odebrání odkazů týkajících se SPARK-19185 z dokumentace
• [Spark-26449][Python] přidání metody transformace do rozhraní API dataframe
• [Spark-26740][SQL] čtení statistik časových razítek/sloupce data zapsaných ve sparku 3,0
• [Spark-26909][SQL] použití UnsafeRow. hodnotou hash () jako hodnoty hash v HashAggregate
• [Spark-26990][SQL] index: Pokud je to možné, použijte názvy polí zadaných uživatelem.
• [Spark-26851][SQL] oprava dvojitého kontrolovaného zamykání v CachedRDDBuilder
• Dotaz [Spark-26864][SQL] může vracet nesprávný výsledek, pokud se používá jako levé podmínky spojení Python UDF.
• [Spark-26887][SQL] [Python] vytvořit datetime.date přímo místo vytváření datetime64 jako mezilehlých dat.
• [Spark-26859][SQL] oprava chyba indexu zapisovače polí v nevektorovém ORC deserializaci
• Dotaz [Spark-26864][SQL] může vracet nesprávný výsledek, pokud se jako podmínka připojení používá jazyk Python UDF a systém souborů UDF používá atributy z obou obou podobou levých spojení.
• [Spark-24360][Spark-26091][BACKPORT] [SQL] Podpora podregistru 3,1 metastore
• [Spark-26873][SQL] k sestavení ID úloh Hadoop použijte konzistentní časové razítko.
• [Spark-26734][streamování] oprava StackOverflowError pomocí velké fronty blokování
• [Spark-26758][Core] nečinné prováděcí moduly nejsou ukončeny po spark.dynamiAllocation.exehodnotě cutorIdleTimeout
• [Spark-26751][SQL] oprava nevracení paměti při spuštění příkazu na pozadí a vyvolání výjimky, která není HiveSQLException
• [Spark-26806][SS] EventTimeStats. merge by měl správně zpracovat nuly.
• [Spark-26745][Spark-24959][SQL] optimalizace obnovení počtu v datovém zdroji JSON podle
• [Spark-26757][GRAPHX] vrátí 0 pro Count na prázdné straně nebo vrcholu RDD.
• [Spark-26726] Synchronizovat množství paměti využívané proměnnou všesměrového vysílání pro zobrazení uživatelského rozhraní
• [Spark-26718][SS] pevný celočíselný přetečení v SS Kafka rateLimit Calculation
• [Spark-26708][SQL] nesprávný výsledek způsobený nekonzistencí mezi mezipamětí SQL cache RDD a jejím fyzickým plánem
• [Spark-26735][SQL] ověření integrity schématu pro speciální výrazy
• [Spark-26619][SQL] vyřadí nepoužívané serializace z SerializeFromObject.
• [Spark-26379][SS] použití fiktivního TimeZoneIdu k zamezení UnresolvedException v CurrentBatchTimestamp
• [Spark-26495][SQL] zjednoduší extrakci SelectedField
• [Spark-26379][SS] Oprava problému při přidávání current_timestamp/CURRENT_DATE do dotazu streamování
• [Spark-26709][SQL] OptimizeMetadataOnlyQuery správně nezpracovává prázdné záznamy.
• [Spark-26680][SQL] eagerly vytvořit inputVars, zatímco podmínky jsou vhodné
• [Spark-26682][SQL] použijte TaskAttemptID namísto AttemptNumber pro Hadoop.
• [Spark-26706][SQL] Oprava illegalNumericPrecedence pro ByteType
• [Spark-26228][MLLIB] zjistil se problém OOM při výpočtu matrice Gramian.
• [Spark-26665][Core] Oprava chyby, kterou BlockTransferService. fetchBlockSync může zablokovat trvale
• [Spark-26549][PYSPARK] oprava opětovného použití pracovního procesu Pythonu neplatí pro paralelizovat opožděně iterující rozsah
• [Spark-26351][MLLIB] Aktualizace dokumentu a menší opravy v metrikách hodnocení MLLIB
• [Spark-26450] Nevytvářejte znovu mapu schématu pro každý sloupec v projekci.
• [Spark-26638][PYSPARK] [ml] třídy Vector PYSPARK vždycky vrátí chybu pro unární negaci.
• [Spark-26633][REPL] přidat ExecutorClassLoader. getResourceAsStream
• [Spark-26629][SS] Opravená chyba s více datovými proudy v dotazu a restartování pro dávku, která nemá žádná data pro jeden datový proud souboru
• [Spark-25992][Python] dokument SparkContext nejde sdílet pro více procesů.
• [Spark-26615][jádro] oprava přenosového serveru/nevracení prostředků klienta v základní unittests
• [Spark-26350][SS] umožňuje přepsat ID skupiny příjemce Kafka.
• [Spark-26538][SQL] nastavte výchozí přesnost a měřítko pro prvky Postgres číselného pole.
• [Spark-26586][SS] oprava konfliktu časování, který způsobí, že se streamy spustí s neočekávanými Confs
• [Spark-26551][SQL] Oprava chyby při vyřazování schématu při výběru jednoho komplexního pole a nejedná se o predikát s hodnotou null na jiném
• [Spark-26576][SQL] pomocný parametr všesměrového vysílání se nepoužije pro dělenou tabulku.
• [Spark-26571][SQL] aktualizovat mapování Serde pro podregistr pomocí kanonického názvu Parquet a Orc formátu
• [Spark-26267][SS] opakujte pokus při zjišťování nesprávných posunů z Kafka (2,4).
• [Spark-26559][ml] [PYSPARK] obrázek ml nemůže pracovat s verzemi numpy staršími než 1,9.
• [Spark-26078][SQL] odstraňování duplicitních atributů v poddotazech automatického spojení

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 5,3.

Prostředí systému

• Operační systém: Ubuntu 16.04.6 LTS
• Java: 1.8.0 _191
• Scala: 2.11.12
• Python: 2.7.12 pro clustery Python 2 a 3.5.2 pro clustery Python 3. Podrobnosti najdete v tématu kontejner Docker.
• R: r verze 3.5.2 (2018-12-20)
• Clustery GPU: jsou nainstalovány následující knihovny NVIDIA GPU:
  • Tesla ovladač 375,66
  • CUDA 9,0
  • cuDNN 7,0

Nainstalované knihovny Pythonu

Nainstalované knihovny R

Nainstalované knihovny Java a Scala (verze clusteru Scala 2,11)