August 2023

  • Artikel

Diese Features und Azure Databricks-Plattformverbesserungen wurden im August 2023 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Arbeitsbereich wird möglicherweise erst eine Woche oder länger nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.

31. August 2023

Tabellen, die in Unity Catalog registriert sind, werden jetzt in der Navigationssuche in der oberen Leiste angezeigt. Weitere Informationen finden Sie unter Suchen nach Arbeitsbereichsobjekten.

Databricks CLI auf Version 0.203.3 (Public Preview) aktualisiert

30. August 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.203.3 aktualisiert. Details dazu finden Sie im Änderungsprotokoll für die Version 0.203.3.

Databricks-JDBC-Treiber 2.6.34

30. August 2023

Wir haben Version 2.6.34 des Databricks JDBC-Treibers veröffentlicht (Download). Dieses Release behebt durch das Aktualisieren von Drittanbieterbibliotheken eine Reihe von Sicherheitsrisiken. Darüber hinaus behebt dieses Release die folgenden Probleme:

  • Threadlecks, wenn eine Abfrage keine Verbindung mit dem Server herstellen kann.
  • Fehlende Kommentare in der Spalte REMARKS der Tabellenmetadaten.
  • Wenn ein Resultset-Abschlussvorgang einen Fehler zurückgibt, bereinigt der Connector nicht die Vorgangshandleeinträge aus dem Heartbeatthread.

Die Version verbessert auch die Behandlung von Fehlermeldungen, indem sie SQLState und Fehlercodes vom Server berücksichtigt und die Protokollversion des Servers ordnungsgemäß überprüft.

Databricks SDK für Go auf Version 0.18.0 (Beta) aktualisiert

29. August 2023

Databricks SDK für Go Version 0.18.0 führt 17 bahnbrechende API-Änderungen ein und fügt 30 APIs und etwa ein Dutzend Felder hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.18.0.

Databricks SDK für Python auf Version 0.7.0 (Beta) aktualisiert

29. August 2023

Mit Databricks SDK für Python Version 0.7.0 wird ein Breaking Change für die Dateien-API sowie 17 zusätzliche Breaking Changes eingeführt. In diesem Release werden auch 14 Felder und 27 Datenklassen hinzugefügt. Details finden Sie im Änderungsprotokoll für die Version 0.7.0.

Databricks Terraform-Anbieter auf Version 1.24.1 aktualisiert

29. August 2023

Databricks Terraform-Anbieterversion 1.24.1 enthält einen Fix zur Überprüfung der Erreichbarkeit des Arbeitsbereichs. Details finden Sie im Änderungsprotokoll für die Version 1.24.1.

Lebensdauer für Initialisierungsskripts auf DBFS bis zum 1. Dezember 2023 verlängert

29. August 2023

Databricks hat bereits angekündigt, dass Initialisierungsskripts für DBFS am 1. September 2023 das Ende der Lebensdauer erreichen würden. Das Ende der Lebensdauer wurde bis zum 1. Dezember 2023 verlängert.

Databricks Runtime 14.0 (Beta)

29. August 2023

Databricks Runtime 14.0 und Databricks Runtime 14.0 ML sind jetzt als Betaversionen verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 14.0 bzw. unter Databricks Runtime 14.0 für Machine Learning.

Einheitliche Navigationsoberfläche ist allgemein verfügbar

28. August 2023

Die einheitliche Azure Databricks-Navigationsoberfläche ist jetzt allgemein verfügbar. Benutzer können nicht mehr auf die klassische Navigationsoberfläche zurückgreifen. Weitere Informationen finden Sie unter Navigieren im Arbeitsbereich.

Databricks Terraform-Anbieter auf Version 1.24.0 aktualisiert

25. August 2023

Databricks Terraform-Anbieter Version 1.24.0 fügt API-Unterstützung auf Kontoebene für Unity Catalog-Objekte hinzu, fügt acl_principal_id mehreren Datenquellen hinzu und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.24.0.

Einstellung „Databricks Runtime für Genomics“ von der Seite „Administratoreinstellungen“ des Arbeitsbereichs entfernt

25. August 2023

Arbeitsbereichsadministratoren können Databricks Runtime für Genomics nicht mehr über die Seite mit den Einstellungen für den Arbeitsbereichsadministrator oder die Arbeitsbereichskonfigurations-API aktivieren oder deaktivieren. Die Databricks Genomics-Runtime ist veraltet, und die Unterstützung für Databricks Runtime für Genomics wurde am 24. September 2022 beendet.

Die Databricks Genomics Runtime wurde eingestellt. Informationen zu Open Source-Äquivalenten finden Sie in den Repositorys für genomics-pipelinesund Glow. Bioinformatikbibliotheken, die Teil der Runtime waren, wurden als Docker-Container veröffentlicht, den Sie von der Seite ProjectGlow Dockerhub pullen können.

Weitere Informationen zur Richtlinie und zum Zeitplan für die Einstellung der Databricks Runtime-Unterstützung finden Sie unter Unterstützte Databricks Runtime LTS-Releases.

Containerdienste-Einstellung von der Seite mit den Einstellungen für den Arbeitsbereichsadministrator entfernt

25. August 2023

Arbeitsbereichsadministratoren können Containerdienste nicht mehr auf der Seite mit den Einstellungen für den Arbeitsbereichsadministrator aktivieren oder deaktivieren. Mit Containerdiensten können Sie Kundencontainer in Ihren Clustern verwenden. Dies ist standardmäßig für alle neuen Arbeitsbereiche aktiviert. Containerdienste können weiterhin mithilfe der Arbeitsbereichskonfigurations-API aktiviert oder deaktiviert werden. Weitere Informationen finden Sie unter Aktivieren von Containerdiensten.

Databricks CLI auf Version 0.203.2 (Public Preview) aktualisiert

24. August 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.203.2 aktualisiert. Details dazu finden Sie im Änderungsprotokoll für die Version 0.203.2.

Wechseln zur Definition für Funktionen und Variablen in Python-Notebooks

24. August 2023

In Databricks Runtime 12.2 LTS und höher können Sie automatisch zur Definition einer Variablen oder Funktion navigieren, die in diesem Notebook definiert ist, wenn ein Python-Notebook an einen Cluster angefügt ist. Weitere Details finden Sie unter Zur Definition wechseln.

Einheitlicher Schemabrowser ist allgemein verfügbar

24. August 2023

Der einheitliche Schemabrowser ist jetzt allgemein für Katalog-Explorer, den SQL-Editor und Notebooks verfügbar. Siehe Was ist der Katalog-Explorer?.

Databricks Runtime 13.3 LTS ist allgemein verfügbar

22. August 2023

Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS ML sind jetzt allgemein verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS für Machine Learning.

Einführung von Tags mit Unity Catalog

22. August 2023

Sie können jetzt Tags auf Ihre sicherungsfähigen Objekte in Unity Catalog anwenden. Tags helfen Ihnen dabei, sicherungsfähige Objekte zu organisieren und die Suche und Ermittlung Ihrer Datenressourcen zu vereinfachen. Weitere Informationen finden Sie unter Anwenden von Tags.

Die Zulassungsliste für Initialisierungsskripts, JARs und Maven-Koordinaten in freigegebenen Unity Catalog-Clustern befindet sich in Public Preview

23. August 2023

Sie können jetzt den Unity-Katalog allowlist verwenden, um die Installation von Initialisierungsskripts, JARs und Maven-Koordinaten auf Compute mit freigegebenem Zugriffsmodus unter Ausführung von Databricks Runtime 13.3 und höher zu steuern. Weitere Informationen finden Sie unter Positivliste von Bibliotheken und Initialisierungsskripts auf freigegebenem Compute.

Volumes unterstützen Initialisierungsskripts und JARs in Public Preview

23. August 2023

Sie können jetzt Unity Catalog-Volumes verwenden, um Initialisierungsskripts und JARs auf Compute mit zugewiesenen oder freigegebenen Zugriffsmodi unter Ausführung von Databricks Runtime 13.3 und höher zu speichern. Siehe Bibliotheken im Clusterumfang und Installieren von Bibliotheken aus einem Datenträger.

Einfachere Ausgabecommits der IPYNB-Datei für Databricks Repos

21. August 2023

Databricks Repos hat Features hinzugefügt, die die Steuerung und Anzeige von Ausgabecommits der IPYNB-Datei vereinfachen:

  • Repos kann eine commit_output-Konfigurationsdatei für Sie erstellen.
  • Benachrichtigungen auf der Benutzeroberfläche informieren Sie über den Status von Ausgabecommits.
  • Im Menü „Datei“ können Sie steuern, ob Notebook-Ausgaben committet werden.

Weitere Informationen finden Sie unter Steuern von IPYNB-Notebookausgabecommits.

IPYNB-Notebookunterstützung in Databricks Repos ist allgemein verfügbar

21. August 2023

IPYNB-Unterstützung für Notebookdateien in Databricks Repos ist allgemein verfügbar. Weitere Informationen zu Repos finden Sie unter:

Databricks SDK für Go auf Version 0.17.0 (Beta) aktualisiert

18. August 2023

Databricks SDK für Go Version 0.17.0 fügt mehr als 30 APIs hinzu und benennt ca. 10 APIs um. Details finden Sie im Änderungsprotokoll für die Version 0.17.0.

Databricks SDK für Python auf Version 0.6.0 (Beta) aktualisiert

18. August 2023

Mit Databricks SDK für Python Version 0.6.0 werden 20 Datenklassen und 10 APIs hinzugefügt. Außerdem umfasst sie 20 Umbenennungen. Details finden Sie im Änderungsprotokoll für die Version 0.6.0.

Databricks CLI auf Version 0.203.1 (Public Preview) aktualisiert

16. August 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.203.1 aktualisiert. Details finden Sie im Änderungsprotokoll für die Version 0.203.1.

Einheitlicher Schemabrowser ist allgemein verfügbar

16. August 2023

Eine einheitliche Möglichkeit zum Navigieren in Ihren Daten ist jetzt für Notebooks, den SQL-Editor und den Katalog-Explorer verfügbar, einschließlich der folgenden neuen Funktionen:

  • Komprimierte Version der Struktur.
  • Anzeige der Unity Catalog-Objektanzahl auf Schemaebene beim Filtern.
  • Klicken Sie mit der rechten Maustaste auf das Menü, um Aktionen anzuzeigen.

Änderungen am serverlosen Subnetz können sich auf Sie auswirken, wenn Sie IDs in einem Skript oder einer Vorlage codieren

15. August 2023

Wenn Sie eine Azure Storage-Firewall verwenden, ändern sich bis Ende August einige Subnetz-IDs. Dies wirkt sich nicht auf die meisten Kunden aus, da Azure Subnetz-IDs in vorhandenen Storage-Firewallregeln automatisch migriert. Diese Migration wirkt sich nicht auf vorhandene Workloads aus.

Wenn Sie die Liste der serverlosen Subnetze in einer Vorlage oder einem Skript codieren, das Ihre Azure Storage-Firewallregeln aktualisiert, müssen Sie die neueste Liste der Subnetz-IDs abrufen, bevor Sie versuchen, die Regeln zu aktualisieren. Die neuesten IDs für jede Region finden Sie unter Serverless SQL-Warehousenetzwerksicherheit.

Databricks SDK für Go auf Version 0.16.0 (Beta) aktualisiert

14. August 2023

Databricks SDK für Go Version 0.16.0 fügt etwa ein Dutzend Felder hinzu, entfernt etwa ein halbes Dutzend Felder und ändert die Signaturen von etwa einem halben Dutzend APIs. Details finden Sie im Änderungsprotokoll für die Version 0.16.0.

Partner Connect unterstützt Census

14. August 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks-Arbeitsbereich mit Census zu verbinden. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Census.

Azure Key Vault Managed HSM-Schlüssel werden jetzt für kundenseitig verwaltete Schlüssel unterstützt

14. August 2023

Einige Azure Databricks-Dienste und -Daten unterstützen das Hinzufügen eines vom Kunden verwalteten Schlüssels, um den Zugriff auf verschlüsselte Daten zu schützen und zu steuern. Azure Databricks verfügt über drei vom Kunden verwaltete wichtige Features, die unterschiedliche Datentypen und Speicherorte umfassen. Alle drei Features unterstützen jetzt neben Tresoren von Azure Key Vault kundenseitig verwaltete Schlüssel aus Azure Key Vault Managed HSM (Hardware Security Modules). Weitere Informationen finden Sie unter Kundenseitig verwaltete Schlüssel für die Verschlüsselung.

Databricks SDK für Python auf Version 0.5.0 (Beta) aktualisiert

11. August 2023

Mit Databricks SDK für Python Version 0.5.0 werden die Signaturen von 6 APIs geändert, 12 Felder hinzugefügt, 6 Felder entfernt und einige Datenklassen hinzugefügt. Details finden Sie im Änderungsprotokoll für die Version 0.5.0.

Programmgesteuerte Schreibunterstützung für Arbeitsbereichsdateien

11. August 2023

Cluster, die Databricks Runtime 11.2 und höher verwenden, unterstützen das Schreiben in Arbeitsbereichsdateien. Sie können Dateien und Verzeichnisse in Ihrem Arbeitsbereich programmgesteuert erstellen, aktualisieren und löschen.

Databricks CLI auf Version 0.203.0 (Public Preview) aktualisiert

10. August 2023

In Databricks-Befehlszeilenschnittstelle (Databricks CLI), Version 0.203.0, wurde der Befehl auth login und vieles mehr verbessert. Details finden Sie im Änderungsprotokoll für die Version 0.203.0.

Databricks Terraform-Anbieter auf Version 1.23.0 aktualisiert

9. August 2023

Die Databricks Terraform-Anbieterversion 1.23.0 erweitert RunJobTask um zusätzliche unterstützte Felder in databricks_job, fügt Exporterunterstützung für databricks_model_serving hinzu und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.23.0.

Gruppen können jetzt umbenannt werden

8. August 2023

Sie können jetzt vorhandene Kontogruppen und arbeitsbereichslokale Gruppen umbenennen. Weitere Informationen finden Sie unter Ändern des Namens einer Gruppe.

Databricks SDK für Go auf Version 0.15.0 (Betaversion) aktualisiert

7. August 2023

Databricks SDK für Go, Version 0.15.0, gestaltet berechtigungenbezogene APIs um, damit sie verständlicher und benutzerfreundlicher werden. Details finden Sie im Änderungsprotokoll für die Version 0.15.0.

Databricks SDK für Python auf Version 0.4.0 (Betaversion) aktualisiert

7. August 2023

Databricks SDK für Python, Version 0.4.0, gestaltet berechtigungenbezogene APIs um, damit sie verständlicher und benutzerfreundlicher werden. Details finden Sie im Änderungsprotokoll für die Version 0.4.0.

Die Konfigurationseinstellung für die Verhinderung des iFraming von Drittanbietern wurde entfernt

7. August 2023

Azure Databricks reduziert das Risiko von Drittanbieterdomänen aus iFraming Azure Databricks, indem geeignete HTTP-Header hinzugefügt werden. Die Verhinderung des iFraming-von Drittanbietern ist weiterhin standardmäßig aktiviert, aber Azure Databricks hat die Einstellung für Arbeitsbereichsadministratoren entfernt, um sie zu deaktivieren. Wenn Sie das iFraming von Drittanbietern für einen Arbeitsbereich zuvor deaktiviert haben, ist das Feature weiterhin für diesen Arbeitsbereich deaktiviert. Um iFraming von Drittanbietern wieder zu aktivieren, wenden Sie sich an Ihr Azure Databricks-Kontoteam.

Databricks-Erweiterung für Visual Studio Code aktualisiert auf Version 1.1.1

4. August 2023

Die Databricks-Erweiterung für Visual Studio Code-Version 1.1.1 bietet mehrere kleinere Korrekturen, z. B. die korrekte Handhabung der Umgebungsvariable HOME unter Windows, und mehr. Details finden Sie im Änderungsprotokoll für die Version 1.1.1.

LangChain verfügbar in Version 13.1 und höher

4. August 2023

LangChain ist als experimentelle MLflow-Variante verfügbar, mit der LangChain-Kunden die robusten Tools und Experimentverfolgungsfunktionen von MLflow direkt aus der Azure Databricks-Umgebung nutzen können.

LangChain ist ein Softwareframework, das entwickelt wurde, um Anwendungen zu erstellen, die große Sprachmodelle (LLMs) verwenden und diese mit externen Daten kombinieren, um mehr Trainingskontext für LLMs zu schaffen.

Databricks Runtime für Machine Learning ist langchainin Databricks Runtime 13.1 ML und höher enthalten.

Feature Engineering in Unity Catalog ist Public Preview

3. August 2023

Mit Feature Engineering in Unity Catalog wird Unity Catalog zu Ihrem Featurespeicher. Sie können jede Delta-Tabelle mit einem Primärschlüssel als Featuretabelle für Modelltraining oder Rückschlüsse verwenden. Unity Catalog bietet Featureermittlung und Governance.

Verbesserte Fehlerbehandlung bei wiederholten fortlaufenden Auftragsfehlern

3. August 2023

Fortlaufende Aufträge, die einen Schwellenwert für aufeinanderfolgende Fehler überschreiten, verwenden jetzt ein exponentielles Backoff-Schema, um Auftragsausführungen effizient zu wiederholen und Aufträge nach vorübergehenden Problemen wiederherzustellen. Bisher wurden fortlaufende Aufträge, die den Fehlerschwellenwert überschritten, angehalten und nicht erneut versucht.

Serverlose SQL-Warehouses sind jetzt in zusätzlichen Regionen verfügbar

3. August 2023

Serverlose SQL-Warehouses sind in weiteren Regionen verfügbar: Australien (Osten), Kanada (Mitte), USA (Westen 2), USA (Süden, Mitte) und Südostasien. Weitere Informationen finden Sie unter Azure Databricks-Regionen.

Wenn Sie eine Azure Storage-Firewall verwenden möchten, konfigurieren Sie die Firewall so, dass der Zugriff von serverlosen SQL-Warehouse-Subnetzen zulässig ist. Weitere Informationen finden Sie unter Serverless SQL-Warehousenetzwerksicherheit.

Freigeben von Schemas mithilfe von Delta Sharing (Public Preview)

2. August 2023

Sie können das Delta Sharing jetzt verwenden, um ein gesamtes Schema freizugeben, wodurch der Empfänger zum Zeitpunkt der Freigabe Zugriff auf alle Tabellen und Ansichten im Schema erhält, zusammen mit allen Tabellen und Ansichten, die dem Schema in Zukunft hinzugefügt werden. Das Hinzufügen von Schemas zu einer Freigabe mithilfe von SQL-Befehlen erfordert ein SQL-Warehouse auf SQL Compute Version 2023.35 oder höher oder einen Cluster, in dem Databricks Runtime 13.2 oder höher ausgeführt wird. Die gleiche Vorgehensweise mit dem Katalog-Explorer hat keine Computeanforderungen. Weitere Informationen finden Sie unter Hinzufügen von Schemas zu einer Freigabe.

Ausführen von Aufgaben in Ihren Azure Databricks-Aufträgen unter bestimmten Bedingungen

2. August 2023

Sie können die neue Run if-Bedingung verwenden, um eine Auftragsaufgabe basierend auf dem Status der Abhängigkeiten der Aufgabe auszuführen, was mehr Flexibilität beim Implementieren eines Workflows mit einem Azure Databricks-Auftrag bietet. Beispielsweise können Sie die Run if-Bedingung verwenden, um eine Aufgabe auszuführen, wenn einige oder alle Abhängigkeiten der Aufgabe fehlgeschlagen sind. Weitere Informationen finden Sie unter Ausführen von Aufgaben in Ihren Azure Databricks-Aufträgen unter bestimmten Bedingungen.

Databricks Terraform-Anbieter auf Version 1.22.0 aktualisiert

1. August 2023

Databricks Terraform Provider, Version 1.22.0, führt eine databricks_access_control_rule_set-Ressource, die Datenquellen databricks_metastore und databricks_metastore und vieles mehr ein. Details finden Sie im Änderungsprotokoll für die Version 1.22.0.

Erweiterte Sicherheits- und Compliancefeatures

1. August 2023

Sie können das Compliancesicherheitsprofil aktivieren, das zusätzliche Überwachung, ein gehärtetes Computeimage und andere Features für Ihre Arbeitsbereiche bietet. Das Compliancesicherheitsprofil ist erforderlich, um Azure Databricks zum Verarbeiten von Daten zu verwenden, die durch PCI-DSS reguliert werden. Sie können das Profil jedoch aktivieren, wenn Sie solche Daten nicht verarbeiten. Sie sind allein dafür verantwortlich, dass Sie alle geltenden Gesetze und Vorschriften einhalten.

Alternativ können Sie die erweiterte Sicherheitsüberwachung separat aktivieren, die zusätzliche Überwachung und ein gehärtetes Computeimage bietet.

Beide Features sind im Rahmen des neuen Add-Ons Erweiterte Sicherheit und Compliance verfügbar. Wenn Sie eine dieser Features in einem Arbeitsbereich aktivieren, wird Ihnen das neue Add-On in Rechnung gestellt, wie auf der Preisseite beschrieben. Beide Features erfordern den Premium-Tarif.

Lakehouse-Überwachung ist Public Preview

1. August 2023

Databricks Lakehouse Monitoring integriert Daten- und Modellqualitätsüberwachung in die Databricks-Plattform. Es bietet sofort einsatzbereite Qualitätsmetriken wie zusammenfassende Statistiken, Änderungen in der Verteilung im Zeitverlauf und Modellleistung einschließlich Fairness und Trends. Lakehouse Monitoring generiert automatisch ein Zusammenfassungs-Dashboard, um die Datenqualität im Zeitverlauf zu visualisieren. Sie können auch Warnungen basierend auf den Daten einrichten.

Databricks Runtime 13.3 LTS (Beta)

1. August 2023

Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS ML sind jetzt als Betaversionen verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS für Machine Learning.

Neue Git-Vorgänge sind allgemein verfügbar: Merge Branches, Rebase und Pull mit Konfliktlösung

1. August 2023

Die folgenden Git-Vorgänge sind jetzt allgemein in Databricks-Repositorys verfügbar:

  • Zusammenführen und Rebase: Sie können jetzt zwei Branches direkt in Azure Databricks per Git Merge oder Rebase zusammenführen bzw. ein Rebase für beide ausführen. Dies vereinfacht das Kombinieren von Branches und bietet die Möglichkeit, Konflikte zu lösen, die während des Vorgangs auftreten.
  • Pull mit Konfliktlösung: Sie können jetzt Databricks-Repositorys verwenden, um Konflikte zu verwalten und zu beheben, die beim Pullen von einem Git-Remoterepository mit Azure Databricks auftreten.

Mit diesen leistungsstarken neuen Konfliktlösungstools wird die Zusammenarbeit am Code mithilfe von Databricks-Repositorys noch optimierter und effizienter.