Mai 2018

  • Artikel

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst eine Woche nach dem Datum der ersten Veröffentlichung aktualisiert.

Datenschutz-Grundverordnung (DSGVO)

24. Mai 2018: Version 2.72

Um die Anforderungen der Allgemeinen Datenschutzverordnung der Europäischen Union (GDPR) zu erfüllen, die am 25. Mai 2018 in Kraft getreten ist, haben wir eine Reihe von Änderungen an der Azure Databricks-Plattform vorgenommen, um Ihnen mehr Kontrolle über die Datenaufbewahrung sowohl auf Konto- als auch auf Benutzerebene zu geben. Updates umfassen:

  • Clusterlöschung: Löschen Sie eine Clusterkonfiguration dauerhaft über die Benutzeroberfläche oder die Cluster-API. Siehe "Berechnen löschen".
  • Endgültiges Löschen des Arbeitsbereichs (in Version 2.71 veröffentlicht): Löschen Sie Arbeitsbereichsobjekte endgültig, z. B. ganze Notebooks, einzelne Notebookzellen, einzelne Notebookkommentare und den Revisionsverlauf von Notebooks. Siehe Löschen des Arbeitsbereichsspeichers.
  • Endgültiges Löschen des Revisionsverlaufs eines Notebooks:
    • Löschen Sie den Revisionsverlauf aller Notebooks in einem Arbeitsbereich für einen definierten Zeitraum dauerhaft. Siehe Löschen des Arbeitsbereichsspeichers.
    • Löschen Sie eine einzelne Notebookrevision oder den gesamten Revisionsverlauf eines Notebooks endgültig. Weitere Informationen finden Sie im Versionsverlauf.

Informationen zum Löschen Ihres Azure Databricks-Diensts oder zum Kündigen Ihres Azure-Kontos finden Sie unter Verwalten Ihres Abonnements.

Azure Databricks-Benutzer müssen dem Microsoft Entra ID-Mandanten angehören.

24. Mai 2018: Version 2.72

Benutzer können sich jetzt nur dann bei Azure Databricks anmelden, wenn sie dem Microsoft Entra ID (früher Azure Active Directory)-Mandanten des Azure Databricks-Arbeitsbereichs angehören. Wenn Sie über Benutzer verfügen, die nicht zum Microsoft Entra ID-Mandanten gehören, können Sie diese als Standard- oder Gastbenutzer hinzufügen.

HorovodEstimator

29. Mai 2018: Version 2.72

Eine Dokumentation und ein Notebook für HorovodEstimator wurden hinzugefügt, eine MLlib-ähnliche Schätzer-API, die das Horovod-Framework von Uber nutzt. HorovodEstimator erleichtert das verteilte Multi-GPU-Training von Deep Neural Networks für Spark DataFrames und vereinfacht die Integration von ETL in Spark mit dem Modelltraining in TensorFlow.

MLeap: ML-Modellexport

24. Mai 2018: Version 2.72

Dokumentation und Notebooks zur Verwendung von MLeap in Azure Databricks wurden hinzugefügt. MLeap ermöglicht Ihnen die Bereitstellung von Machine Learning-Pipelines aus Apache Spark und scikit-learn in einem portablen Format und mit einer Ausführungs-Engine. Weitere Informationen finden Sie unter MLeap: ML-Modellexport.

Weitere GPU-Clustertypen

24. Mai 2018: Version 2.72

Zusätzlich zu den Azure NC-Instanztypen (NC12 und NC24), die wir in Release 2.71 hinzugefügt haben, unterstützen wir jetzt auch die NCv3-Instanztypenreihe (NC6s_v3, NC12s_v3 und NC24s_v3) auf Azure Databricks-Clustern. NC- und NCv3-Instanzen stellen GPUs zur Unterstützung von Bildverarbeitung, Textanalyse und anderen Machine Learning- und Deep Learning-Aufgaben bereit, die rechnerisch anspruchsvoll sind und eine herausragende Leistung erfordern.

Siehe GPU-fähige Berechnung.

Notebook-Zellen: ein- und ausblenden

24. Mai 2018: Version 2.72

Neue Indikatoren und Benachrichtigungen (Messaging) erleichtern das Anzeigen von Notebookzelleninhalten, nachdem sie ausgeblendet wurden. Weitere Informationen finden Sie unter Ein- und Ausblenden von Zelleninhalt.

22. Mai 2018

Wir haben unsere Suche in der Dokumentationswebsite durch ein besseres Suchtool ersetzt. In den nächsten Wochen werden Sie noch weitere Verbesserungen bei der Suche sehen.

Hinweis

Die Suche kann fehlerhaft aussehen, wenn Sie sie kurz nach der Bereitstellung der neuen Suche ausprobieren. Löschen Sie einfach Ihren Browsercache, um das neue Sucherlebnis zu erhalten.

Databricks Runtime 4.1 ML für Machine Learning (Beta)

17. Mai 2018

Databricks Runtime ML (Beta) bietet eine einsatzbereite Umgebung für Machine Learning und Data Science. Es umfasst mehrere gängige Bibliotheken, darunter TensorFlow, Keras und XGBoost.

Mit Databricks Runtime ML können Sie einen Databricks-Cluster mit allen Bibliotheken starten, die für das verteilte TensorFlow-Training erforderlich sind. Es stellt die Kompatibilität der im Cluster enthaltenen Bibliotheken sicher (z. B. zwischen TensorFlow und CUDA/cuDNN) und verkürzt die Startzeit des Clusters im Vergleich zur Verwendung von Initialisierungsskripts erheblich.

Hinweis

Databricks Runtime 4.1-ML ist nur mit der Premium-SKU verfügbar.

Die vollständigen Versionshinweise finden Sie unter Databricks Runtime 4.1 ML (nicht unterstützt).

Databricks Delta

17. Mai 2018

Databricks Delta ist jetzt in der privaten Vorschauversion für Azure Databricks-Benutzer verfügbar. Wenden Sie sich an Ihren Konto-Manager, oder registrieren Sie sich unter https://databricks.com/product/databricks-delta. Bei diesem Release handelt es sich um einen Releasekandidaten in Erwartung der kommenden GA-Version.

Weitere Informationen finden Sie unter Databricks Runtime 4.1 (nicht unterstützt) und Was ist Delta Lake?.

Display()-Unterstützung für Bilddatentypen

17. Mai 2018

In Databricks Runtime 4.1 rendert display() jetzt Spalten, die Bilddatentypen enthalten, als Rich HTML.

Siehe Visualisierungen in Databricks-Notebooks.

GPU-Clustertypen

15. Mai 2018: Version 2.71

Wir freuen uns, die Unterstützung für Azure NC-Instanztypen (NC12 und NC24) auf Azure Databricks-Clustern ankündigen zu können. NC-Instanzen stellen GPUs zur Unterstützung von Bildverarbeitung, Textanalyse und anderen Machine Learning- und Deep Learning-Aufgaben bereit, die rechnerisch anspruchsvoll sind und eine herausragende Leistung erfordern.

Azure Databricks bietet auch vorinstallierte NVIDIA-Treiber und Bibliotheken, die für GPUs konfiguriert sind, sowie Material für den Einstieg in verschiedene beliebte Deep Learning-Bibliotheken.

Weitere Informationen:

Verwaltung von Geheimnissen allgemein verfügbar

15. Mai 2018: Version 2.71

Die Verwaltung von Geheimnissen, die sich in der privaten Vorschauversion befunden hat, ist jetzt allgemein verfügbar. Sie bietet leistungsstarke Tools zur Verwaltung der Anmeldeinformationen, die Sie für die Authentifizierung bei externen Datenquellen benötigen. Anstatt Ihre Anmeldeinformationen direkt in ein Notebook einzugeben, verwenden Sie die Databricks-Geheimnisverwaltung, um Ihre Anmeldeinformationen in Notebooks und Aufträgen zu speichern und darauf zu verweisen. Um Geheimnisse zu verwalten, können Sie die Geheimnis-CLI (Legacy) verwenden, um auf die Geheimnis-API zugreifen.

Hinweis

Für die Geheimnisverwaltung ist Databricks Runtime 4.0 oder höher und Databricks CLI 0.7.1 oder höher erforderlich.

Siehe Verwaltung von Geheimnissen.

Änderungen beim Geheimnis-API-Endpunkt und CLI-Befehl

15. Mai 2018: Version 2.71

Die folgenden Änderungen wurden an den Endpunkten der Geheimnis-API vorgenommen:

  • Für alle Endpunkte wurde der Stammpfad von /secret in /secrets geändert.
  • Für den Geheimnisendpunkt wurde /secret/secrets auf /secrets/ reduziert.
  • Die write-Methode wurde in put geändert.

Databricks CLI 0.7.1 enthält Aktualisierungen der Befehle für Geheimnisse, um sie an diese aktualisierten API-Endpunkte anzupassen.

Weitere Informationen finden Sie unter Geheimnis-API und Geheimnisverwaltung.

Clusterverknüpfung

15. Mai 2018: Version 2.71

Sie können jetzt einen Cluster an die Clusterliste anheften. Damit können Sie die Konfiguration von Clustern, die vor mehr als 30 Tagen beendet wurden, beibehalten.

Cluster anheften

Außerdem werden auf der Seite „Cluster“ jetzt alle Cluster angezeigt, die innerhalb von 30 Tagen beendet wurden (zuvor waren es sieben Tage).

Siehe "Berechnen einer Berechnung anheften".

Automatischer Clusterstart

15. Mai 2018: Version 2.71

Vor dieser Version traten bei Aufträgen, die auf Terminated-Clustern ausgeführt werden sollten, Fehler auf. Bei Clustern, die in Azure Databricks Version 2.71 und höher erstellt wurden, starten Befehle von einer JDBC/ODBC-Schnittstelle oder einer Auftragsausführung, die einem bestehenden, beendeten Cluster zugewiesen ist, diesen Cluster automatisch neu. Weitere Informationen finden Sie unter JDBC Connect und Erstellen eines Auftrags.

Mit Autostart können Sie Cluster so konfigurieren, dass sie automatisch beendet werden, ohne dass ein manueller Eingriff zum Neustart der Cluster für geplante Aufträge erforderlich ist. Außerdem können Sie die Initialisierung von Clustern planen, indem Sie einen Auftrag planen, der beendete Cluster zu einem bestimmten Zeitpunkt neu startet.

Die Zugriffssteuerung des Clusters wird erzwungen und die Berechtigungen des Auftragsbesitzers werden wie üblich überprüft.

Bereinigen von Arbeitsbereichen

15. Mai 2018: Version 2.71

Im Rahmen unserer laufenden Bemühungen, die EU-Datenschutzgrundverordnung (GDPR) einzuhalten, haben wir die Möglichkeit hinzugefügt, Objekte im Arbeitsbereich zu löschen, z. B. ganze Notebooks, einzelne Notebookzellen, einzelne Notebookkommentare und den Revisionsverlauf von Notebooks. Wir werden in den kommenden Wochen weitere Funktionen und Dokumentationen zur Unterstützung der Einhaltung der Datenschutzgrundverordnung veröffentlichen.

Siehe Löschen des Arbeitsbereichsspeichers.

Databricks CLI 0.7.1

10. Mai 2018

Databricks CLI 0.7.1 enthält Aktualisierungen der Befehle für Geheimnisse, um sie an aktualisierte API-Endpunkte anzupassen.

Weitere Informationen finden Sie unter Databricks-CLI (Legacy) und Geheimnisverwaltung.