Srpen 2023

  • Článek

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v srpnu 2023.

Poznámka:

Verze jsou připraveny. Váš pracovní prostor Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

31. srpna 2023

Tabulky zaregistrované v katalogu Unity se teď zobrazují v navigačním vyhledávání na horním panelu. Viz Hledání objektů pracovního prostoru.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.3 (Public Preview)

30. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) bylo aktualizováno na verzi 0.203.3. Podrobnosti najdete v protokolu změn verze 0.203.3.

Ovladač Databricks JDBC 2.6.34

30. srpna 2023

Vydali jsme verzi 2.6.34 ovladače Databricks JDBC (stáhnout). Tato verze řeší řadu problémů s ohrožením zabezpečení upgradem knihoven třetích stran. Kromě toho tato verze řeší následující problémy:

  • Únik vláken, když se dotaz nepodaří připojit k serveru.
  • Chybějící komentáře ve REMARKS sloupci metadat tabulky
  • Pokud operace uzavření sady výsledků vrátí chybu, konektor nevyčistí položky popisovače operací z vlákna prezenčních signálů.

Verze také zlepšuje zpracování chybových zpráv tím SQLState , že dodržuje kódy chyb ze serveru a kontroluje správnou verzi protokolu serveru.

Sada Databricks SDK for Go byla aktualizována na verzi 0.18.0 (beta verze)

29. srpna 2023

Sada Databricks SDK pro Go verze 0.18.0 zavádí 17 zásadních změn rozhraní API, přidává 30 rozhraní API a přidává asi deset polí. Podrobnosti najdete v protokolu změn verze 0.18.0.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.7.0 (beta verze)

29. srpna 2023

Sada Databricks SDK pro Python verze 0.7.0 zavádí zásadní změnu pro rozhraní API souborů a také 17 dalších zásadních změn. Tato verze také přidá 14 polí a přidá 27 datových tříd. Podrobnosti najdete v protokolu změn verze 0.7.0.

Poskytovatel Terraformu databricks aktualizoval na verzi 1.24.1

29. srpna 2023

Poskytovatel Databricks Terraform verze 1.24.1 obsahuje opravu pro ověření dostupnosti pracovního prostoru. Podrobnosti najdete v protokolu změn verze 1.24.1.

Inicializační skripty na konci životnosti DBFS prodlouženy na 1. prosince 2023

29. srpna 2023

Databricks dříve oznámila, že inicializační skripty v DBFS dosáhnou konce životnosti 1. září 2023. Datum konce životnosti bylo prodlouženo na 1. prosince 2023.

Databricks Runtime 14.0 (beta verze)

29. srpna 2023

Databricks Runtime 14.0 a Databricks Runtime 14.0 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 14.0 (nepodporované) a Databricks Runtime 14.0 pro machine Učení (nepodporované).

Jednotné navigační prostředí je obecná dostupnost

28. srpna 2023

Jednotné navigační prostředí Azure Databricks je teď obecně dostupné. Uživatelé se už nemůžou vrátit k klasickému navigačnímu prostředí. Další informace najdete v tématu Navigace v pracovním prostoru.

Poskytovatel Terraformu databricks aktualizoval na verzi 1.24.0

25. srpna 2023

Zprostředkovatel Databricks Terraform verze 1.24.0 přidává podporu rozhraní API na úrovni účtu pro objekty Katalogu Unity, přidává acl_principal_id do několika zdrojů dat a další. Podrobnosti najdete v protokolu změn verze 1.24.0.

Nastavení Databricks Runtime pro Genomics odebrané ze stránky nastavení správce pracovního prostoru

25. srpna 2023

Správci pracovního prostoru už nemůžou povolit nebo zakázat Databricks Runtime pro Genomics ze stránky nastavení pracovního prostoru nebo rozhraní API konfigurace pracovního prostoru. Modul runtime Databricks Genomics je zastaralý a podpora databricks Runtime pro Genomics byla odebrána 24. září 2022.

Modul runtime Databricks Genomics je zastaralý. Ekvivalenty open source najdete v reposích pro kanály genomics a Glow.

Další informace o zásadách vyřazení databricks Runtime a plánu najdete v tématu Podporované verze LTS modulu Databricks Runtime.

Nastavení služby Container Services odebrané ze stránky nastavení správce pracovního prostoru

25. srpna 2023

Správci pracovního prostoru už nemůžou povolit nebo zakázat službu Container Services na stránce nastavení pracovního prostoru. Služba Container Services umožňuje používat kontejnery zákazníků ve vašich clusterech. Ve výchozím nastavení je povolená ve všech nových pracovních prostorech. Služba Container Services je stále možné povolit nebo zakázat pomocí konfiguračního rozhraní API pracovního prostoru. Další informace najdete v tématu Povolení služby Container Services.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.2 (Public Preview)

24. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) bylo aktualizováno na verzi 0.203.2. Podrobnosti najdete v protokolu změn verze 0.203.2.

Přechod na definici funkcí a proměnných v poznámkových blocích Pythonu

24. srpna 2023

Pokud je poznámkový blok Pythonu připojený ke clusteru, v Databricks Runtime 12.2 LTS a novějších verzích můžete automaticky přejít k definici proměnné nebo funkce definované v daném poznámkovém bloku. Podrobnosti najdete v části Přejít k definici .

Prohlížeč sjednoceného schématu je obecná dostupnost

24. srpna 2023

Prohlížeč sjednoceného schématu je nyní obecně dostupný v Průzkumníku katalogu, editoru SQL a poznámkových blocích. Podívejte se, co je Průzkumník katalogu?

Databricks Runtime 13.3 LTS je obecná dostupnost

22. srpna 2023

Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS ML jsou nyní obecně dostupné.

Viz Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS pro machine Učení.

Představujeme značky s katalogem Unity

22. srpna 2023

Značky teď můžete použít u zabezpečitelných objektů v katalogu Unity. Značky pomáhají uspořádat zabezpečitelné objekty a zjednodušit vyhledávání a zjišťování datových prostředků. Viz Použití značek.

Seznam povolených pro inicializační skripty, jars a souřadnice Mavenu ve sdílených clusterech katalogu Unity je ve verzi Public Preview.

23. srpna 2023

Katalog Unity allowlist teď můžete použít k řízení instalace inicializačních skriptů, jars a souřadnic Mavenu na výpočetních prostředcích s režimem sdíleného přístupu, ve kterém běží Databricks Runtime 13.3 a vyšší. Viz Knihovny allowlist a inicializační skripty pro sdílené výpočetní prostředky.

Podpora svazků pro inicializační skripty a jar je ve verzi Public Preview

23. srpna 2023

Svazky katalogu Unity teď můžete použít k ukládání inicializačních skriptů a jar na výpočetní prostředky s přiřazenými nebo sdílenými režimy přístupu, na kterých běží Databricks Runtime 13.3 a vyšší. Viz knihovny v oboru clusteru a instalace knihoven ze svazku.

Jednodušší potvrzení výstupu souboru .ipynb v Databricks Repos

21. srpna 2023

Databricks Repos přidala funkce, které usnadňují ovládání a zobrazení výstupních potvrzení souborů .ipynb:

  • Úložiště mohou vytvořit konfigurační soubor commit_output za vás.
  • Oznámení v uživatelském rozhraní vás upozorní na stav potvrzení výstupu.
  • V nabídce Soubor můžete určit, zda jsou potvrzeny výstupy poznámky.

Viz Řídicí potvrzení výstupu poznámkového bloku .ipynb.

Podpora poznámkových bloků IPYNB v Úložištích Databricks je obecná dostupnost

21. srpna 2023

Podpora souborů poznámkového bloku IPYNB v Databricks Repos je obecná dostupnost. Další informace o repos najdete v tématech:

Sada Databricks SDK for Go byla aktualizována na verzi 0.17.0 (beta verze)

18. srpna 2023

Sada Databricks SDK pro Go verze 0.17.0 přidává více než 30 rozhraní API a přejmenovává asi 10 rozhraní API. Podrobnosti najdete v protokolu změn verze 0.17.0.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.6.0 (beta verze)

18. srpna 2023

Sada Databricks SDK pro Python verze 0.6.0 přidává přibližně 20 datových tříd, přidává přibližně 10 rozhraní API a zahrnuje přibližně 20 přejmenování. Podrobnosti najdete v protokolu změn verze 0.6.0.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.1 (Public Preview)

16. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) bylo aktualizováno na verzi 0.203.1. Podrobnosti najdete v protokolu změn verze 0.203.1.

Prohlížeč sjednoceného schématu je teď obecně dostupný.

16. srpna 2023

Jednotný způsob navigace v datech je teď dostupný pro poznámkové bloky, editor SQL a Průzkumníka katalogu, včetně následujících nových funkcí:

  • Zhuštěná verze stromu.
  • Zobrazení počtu objektů katalogu Unity na úrovni schématu při filtrování
  • Kliknutím pravým tlačítkem myši zobrazíte akce.

Změny bezserverové podsítě vás můžou ovlivnit, pokud kódujete ID ve skriptu nebo šabloně.

15. srpna 2023

Pokud používáte bránu firewall služby Azure Storage, do konce srpna se některá ID podsítě mění. To nemá vliv na většinu zákazníků, protože Azure automaticky migruje ID podsítí v existujících pravidlech brány firewall úložiště. Tato migrace nemá vliv na stávající úlohy.

Pokud kódujete seznam bezserverových podsítí v šabloně nebo skriptu, který aktualizuje pravidla brány firewall služby Azure Storage, musíte před pokusem o aktualizaci pravidel získat nejnovější seznam ID podsítí. Nejnovější ID pro každou oblast najdete v oblastech Azure Databricks.

Sada Databricks SDK for Go byla aktualizována na verzi 0.16.0 (beta verze)

14. srpna 2023

Sada Databricks SDK pro Go verze 0.16.0 přidá asi deset polí, odebere asi půl tuctu polí a změní podpisy přibližně půl tuctu rozhraní API. Podrobnosti najdete v protokolu změn verze 0.16.0.

Partner Připojení podporuje sčítání lidu

14. srpna 2023

K připojení pracovního prostoru Azure Databricks ke službě Census teď můžete použít Partner Připojení. Další informace najdete v tématu Připojení sčítání lidu.

Spravované klíče HSM služby Azure Key Vault se teď podporují pro klíče spravované zákazníkem.

14. srpna 2023

Některé služby a data Azure Databricks podporují přidání klíče spravovaného zákazníkem, který pomáhá chránit a řídit přístup k šifrovaným datům. Azure Databricks má tři klíčové funkce spravované zákazníkem, které zahrnují různé typy dat a umístění. Všechny tři z těchto funkcí teď podporují klíče spravované zákazníkem ze spravovaného HSM služby Azure Key Vault (moduly hardwarového zabezpečení) společně s trezory služby Azure Key Vault. Informace o šifrování najdete v tématu Klíče spravované zákazníkem.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.5.0 (beta verze)

11. srpna 2023

Sada Databricks SDK pro Python verze 0.5.0 změní podpisy půl tuctu rozhraní API, přidá tucet polí, odebere půlcet polí a přidá několik tříd dat. Podrobnosti najdete v protokolu změn verze 0.5.0.

Programová podpora zápisu pro soubory pracovního prostoru

11. srpna 2023

Clustery využívající Databricks Runtime 11.2 a vyšší podporují zápis do souborů pracovního prostoru. Soubory a adresáře můžete v pracovním prostoru vytvářet, aktualizovat a odstraňovat prostřednictvím kódu programu.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.0 (Public Preview)

10. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) verze 0.203.0 vylepšuje auth login příkaz a další. Podrobnosti najdete v protokolu změn verze 0.203.0.

Poskytovatel Terraformu databricks aktualizoval na verzi 1.23.0

9. srpna 2023

Poskytovatel Databricks Terraform verze 1.23.0 se rozšiřuje RunJobTask o další podporovaná pole , databricks_jobpřidává podporu vývozce pro databricks_model_servinga další. Podrobnosti najdete v protokolu změn verze 1.23.0.

Skupiny se teď dají přejmenovat.

8. srpna 2023

Teď můžete přejmenovat existující skupiny účtů a místní skupiny pracovního prostoru. Viz Změna názvu skupiny.

Sada Databricks SDK for Go byla aktualizována na verzi 0.15.0 (beta verze)

7. srpna 2023

Sada Databricks SDK pro Go verze 0.15.0 refaktoruje rozhraní API související s oprávněními, aby byla srozumitelnější a snadněji použitelná. Podrobnosti najdete v protokolu změn verze 0.15.0.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.4.0 (beta verze)

7. srpna 2023

Sada Databricks SDK pro Python verze 0.4.0 refaktoruje rozhraní API související s oprávněními, aby byla srozumitelnější a snadněji použitelná. Podrobnosti najdete v protokolu změn verze 0.4.0.

Odebralo se nastavení konfigurace prevence iFramingu třetích stran.

7. srpna 2023

Azure Databricks snižuje riziko domén třetích stran z iFraming Azure Databricks přidáním odpovídajících hlaviček HTTP. Prevence iFramingu třetích stran je ve výchozím nastavení stále povolená, ale Azure Databricks odebral nastavení správce pracovního prostoru, aby ho zakázal. Pokud jste pro pracovní prostor dříve zakázali iFraming třetích stran, bude tato funkce pro tento pracovní prostor nadále zakázaná. Pokud chcete znovu povolit iFraming třetích stran, obraťte se na svůj tým účtů Azure Databricks.

Rozšíření Databricks pro Visual Studio Code se aktualizovalo na verzi 1.1.1

4. srpna 2023

Rozšíření Databricks pro Visual Studio Code verze 1.1.1 poskytuje několik dílčích oprav, například správné zpracování proměnné prostředí ve HOME Windows a další. Podrobnosti najdete v protokolu změn verze 1.1.1.

LangChain je k dispozici ve verzi 13.1 a vyšší

4. srpna 2023

LangChain je k dispozici jako experimentální varianta MLflow, která zákazníkům LangChain umožňuje využívat robustní nástroje a možnosti sledování experimentů MLflow přímo z prostředí Azure Databricks.

LangChain je softwarová architektura navržená tak, aby pomáhala vytvářet aplikace, které využívají velké jazykové modely (LLM) a kombinují je s externími daty, aby přinesly více trénovacího kontextu pro LLMs.

Databricks Runtime pro machine Učení zahrnuje langchain databricks Runtime 13.1 ML a novější.

Příprava funkcí v katalogu Unity je veřejná verze Preview

3. srpna 2023

Díky vytváření funkcí v katalogu Unity se katalog Unity stane vaším úložištěm funkcí. Pro trénování nebo odvozování modelu můžete použít libovolnou tabulku Delta s primárním klíčem jako tabulku funkcí. Katalog Unity poskytuje zjišťování funkcí a zásady správného řízení.

Vylepšené zpracování chyb při opakovaných selháních průběžné úlohy

3. srpna 2023

Průběžné úlohy překračující prahovou hodnotu pro po sobě jdoucí selhání teď používají exponenciální schéma zpětného odsunutí k efektivnímu opakování spuštění úloh a umožnění zotavení úloh z přechodných problémů. Dříve se průběžné úlohy překračující prahovou hodnotu selhání pozastavily a neproběhly znovu.

Bezserverové sklady SQL jsou teď dostupné v dalších oblastech.

3. srpna 2023

Bezserverové sklady SQL dostupné v dalších oblastech: Austrálie – východ, Kanada – střed, USA – západ 2, USA – středojiž a Jihovýchodní Asie. Viz oblasti Azure Databricks.

Pokud plánujete používat bránu firewall služby Azure Storage, nakonfigurujte bránu firewall tak, aby umožňovala přístup z bezserverových podsítí SQL Warehouse. Viz oblasti Azure Databricks.

Sdílení schémat pomocí rozdílového sdílení (Public Preview)

2. srpna 2023

Pomocí funkce Rozdílové sdílení teď můžete sdílet celé schéma a poskytnout příjemci přístup ke všem tabulkám a zobrazením ve schématu v okamžiku, kdy ho sdílíte, spolu s tabulkami a zobrazeními, které jsou přidány do schématu v budoucnu. Přidání schémat do sdílené složky pomocí příkazů SQL vyžaduje SQL Warehouse nebo cluster se spuštěným Modulem Databricks Runtime 13.2 nebo novějším. Stejný postup při použití Průzkumníka katalogu nemá žádné požadavky na výpočetní prostředky. Viz Přidání schémat do sdílené složky.

Podmíněné spouštění úloh v úlohách Azure Databricks

2. srpna 2023

Pomocí nové Run if podmínky můžete spustit úlohu úlohy na základě stavu závislostí úkolu a zajistit větší flexibilitu při implementaci pracovního postupu s úlohou Azure Databricks. Podmínku Run if můžete například použít ke spuštění úlohy, když některé nebo všechny závislosti úlohy selhaly. Viz Podmíněné spouštění úkolů v úloze Azure Databricks.

Zprostředkovatel Terraformu Databricks se aktualizoval na verzi 1.22.0

1. srpna 2023

Zprostředkovatel Databricks Terraform verze 1.22.0 přidává databricks_access_control_rule_set prostředek, přidává a přidává databricks_metastore zdroje databricks_metastore dat a další. Podrobnosti najdete v protokolu změn verze 1.22.0.

Vylepšené funkce zabezpečení a dodržování předpisů

1. srpna 2023

V pracovních prostorech můžete povolit profil zabezpečení dodržování předpisů, který poskytuje další monitorování, posílenou výpočetní image a další funkce. Profil zabezpečení dodržování předpisů se vyžaduje k zpracování dat, která jsou regulovaná pcI-DSS, pomocí Azure Databricks, ale pokud tyto údaje nezpracujete, můžete ho povolit. Zodpovídáte výhradně za zajištění vlastního dodržování všech platných zákonů a předpisů.

Alternativně můžete samostatně povolit rozšířené monitorování zabezpečení, které poskytuje další monitorování a posílenou výpočetní image.

Obě funkce jsou k dispozici jako součást nového doplňku Rozšířené zabezpečení a dodržování předpisů. Pokud povolíte některou z těchto funkcí v pracovním prostoru, bude se vám účtovat nový doplněk, jak je popsáno na stránce s cenami. Obě funkce vyžadují cenovou úroveň Premium.

Monitorování Lakehouse je ve verzi Public Preview

1. srpna 2023

Databricks Lakehouse Monitoring integruje monitorování kvality dat a modelů do platformy Databricks. Poskytuje předem dostupné metriky kvality, jako jsou souhrnné statistiky, změny distribuce v průběhu času a výkon modelu, včetně nestrannosti a předsudků. Monitorování Lakehouse automaticky vygeneruje souhrnný řídicí panel, který vám pomůže vizualizovat kvalitu dat v průběhu času. Můžete také nastavit upozornění na základě dat.

Databricks Runtime 13.3 LTS (beta verze)

1. srpna 2023

Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS pro machine Učení.

Nové operace Gitu jsou obecně dostupné: Sloučení větví, opětovného vytvoření základu a přijetí změn s řešením konfliktů

1. srpna 2023

V úložištích Databricks jsou teď obecně dostupné následující operace Gitu:

  • Sloučení a změna základu: Teď můžete git sloučit nebo znovu nabít dvě větve přímo v Azure Databricks. To zjednodušuje proces kombinování větví a poskytuje možnost vyřešit konflikty, které vznikají během operace.
  • Přijetí změn s řešením konfliktů: Úložiště Databricks teď můžete použít ke správě a řešení konfliktů, ke kterým dochází při načítání ze vzdáleného úložiště Git pomocí Azure Databricks.

Díky těmto výkonným novým nástrojům pro řešení konfliktů se spolupráce na kódu pomocí úložišť Databricks stává ještě efektivnější a efektivnější.