Oktober 2019October 2019

Diese Features und Azure Databricks Plattform-Verbesserungen wurden im Oktober 2019 veröffentlicht.These features and Azure Databricks platform improvements were released in October 2019.

Hinweis

Releases werden bereitgestellt.Releases are staged. Ihr Azure Databricks Konto wird möglicherweise erst bis zu einer Woche nach dem ersten Veröffentlichungsdatum aktualisiert.Your Azure Databricks account may not be updated until up to a week after the initial release date.

Metrik zur Unterstützbarkeit in Azure Event Hubs verschobenSupportability metrics moved to Azure Event Hubs

Oktober 22-29, 2019October 22-29, 2019

Die Unterstützungs Metriken, mit denen Azure Databricks die Cluster Integrität überwachen kann, wurden von Azure BLOB Storage zu Event Hub-Endpunkten migriert.The supportability metrics that enable Azure Databricks to monitor cluster health have been migrated from Azure Blob storage to Event Hub endpoints. Dadurch können Azure Databricks geringere Latenzzeiten zur Behebung von Kunden Vorfällen bereitstellen.This enables Azure Databricks to provide lower latency responses to resolve customer incidents. Für vnet Injection -Arbeitsbereiche haben wir der Netzwerk Sicherheitsgruppe für den Dienst Endpunkt eine zusätzliche Regel hinzugefügt EventHub .For VNet injection workspaces, we have added an additional rule to the network security group for the EventHub service endpoint. Details finden Sie in der Tabelle mit den Netzwerk Sicherheitsgruppen-Regeln .Details are available in the Network security group rules table. Für die kontinuierliche Verfügbarkeit von Diensten ist keine Aktion erforderlich.There is no action required for continued availability of services.

Eine Liste der Azure Databricks unter Stütz barkeit von Metriken Event Hubs Endpunkten nach Region finden Sie unter metastore, artefaktblobspeicher, Protokoll-BLOB-Speicher und Event Hub-Endpunkt-IP-Adressen.For a list of the Azure Databricks supportability metrics Event Hubs endpoints by region, see Metastore, artifact Blob storage, log Blob storage, and Event Hub endpoint IP addresses.

Der Passthrough für Azure Data Lake Storage-Anmeldeinformationen auf Standardclustern und in Scala ist jetzt allgemein verfügbar.Azure Data Lake Storage credential passthrough on standard clusters and Scala is GA

Oktober 22-29, 2019: Version 3,5October 22 - 29, 2019: Version 3.5

Die Pass-Through -Anmelde Informationen für python, SQL und Scala auf Standard Clustern, auf denen Databricks Runtime 5,5 und höher ausgeführt wird, sowie sparkr auf Databricks Runtime 6,0 und höher sind allgemein verfügbar.Credential passthrough for Python, SQL, and Scala on standard clusters running Databricks Runtime 5.5 and above, as well as SparkR on Databricks Runtime 6.0 and above is generally available. Weitere Informationen finden Sie unter Aktivieren der Passthrough-Azure Data Lake Storage Anmelde Informationen für einen Standard Cluster.See Enable Azure Data Lake Storage credential passthrough for a standard cluster.

Allgemeine Verfügbarkeit von Databricks Runtime 6.1 für GenomicsDatabricks Runtime 6.1 for Genomics GA

22. Oktober 2019October 22, 2019

Databricks Runtime 6,1 für Genomics ist allgemein verfügbar.Databricks Runtime 6.1 for Genomics is generally available. Weitere Informationen finden Sie unter Databricks Runtime für Genomics.See Databricks Runtime for Genomics.

Allgemeine Verfügbarkeit von Databricks Runtime 6.1 für Machine LearningDatabricks Runtime 6.1 for Machine Learning GA

22. Oktober 2019October 22, 2019

Databricks Runtime 6,1 ml ist allgemein verfügbar.Databricks Runtime 6.1 ML is generally available. Es bietet Unterstützung für GPU-Cluster und Upgrades der folgenden Machine Learning-Bibliotheken:It includes support for GPU clusters and upgrades to the following machine learning libraries:

  • Tensorflow zu 1.14.0TensorFlow to 1.14.0
  • Pytorch zu 1.2.0PyTorch to 1.2.0
  • 0.4.0Torchvision to 0.4.0
  • Mlflow zu 1.3.0MLflow to 1.3.0

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 6,1 ml (nicht unterstützt) .For more information, see the complete Databricks Runtime 6.1 ML (Unsupported) release notes.

Für MLflow-API-Aufrufe gelten jetzt Ratenbeschränkungen.MLflow API calls are now rate limited

Oktober 22-29, 2019: Version 3,5October 22 - 29, 2019: Version 3.5

Zur Gewährleistung einer hohen Dienst Qualität mit starker Auslastung erzwingt Azure Databricks jetzt API-Raten Limits für alle mlflow-API-Aufrufe.To ensure high quality of service under heavy load, Azure Databricks now enforces API rate limits for all MLflow API calls. Die Limits werden pro Konto festgelegt, um eine faire Nutzung und hohe Verfügbarkeit für alle Organisationen sicherzustellen, die einen Arbeitsbereich freigeben.The limits are set per account to ensure fair usage and high availability for all organizations sharing a workspace.

Die mlflow-Clients mit automatischen Wiederholungen sind in mlflow 1.3.0 verfügbar und befinden sich in Databricks Runtime 6,1 ml (nicht unterstützt).The MLflow clients with automatic retries are available in MLflow 1.3.0 and are in Databricks Runtime 6.1 ML (Unsupported). Wir empfehlen allen Kunden, zur neuesten Version des mlflow-Clients zu wechseln.We advise all customers to switch to the latest MLflow client version.

Weitere Informationen finden Sie unter mlflow-API.For details, see MLflow API.

Instanzpools für schnelle Clusterstarts allgemein verfügbarPools of instances for quick cluster launch generally available

Oktober 22-29, 2019: Version 3,5October 22 - 29, 2019: Version 3.5

Die Azure Databricks Funktion, die das Anfügen eines Clusters an einen vordefinierten Pool von Instanzen im Leerlauf unterstützt, ist nun allgemein verfügbar.The Azure Databricks feature that supports attaching a cluster to a predefined pool of idle instances is now generally available.

Solange sich Instanzen im Pool im Leerlauf befinden, werden in Azure Databricks keine DBU-Stunden berechnet.Azure Databricks does not charge DBUs while instances are idle in the pool. Instanzenanbieter werden weiterhin abgerechnet. Siehe Preise.Instance provider billing does apply; see pricing.

Weitere Informationen finden Sie unter Pools.For details, see Pools.

Databricks Runtime 6.1 GADatabricks Runtime 6.1 GA

16. Oktober 2019October 16, 2019

Databricks Runtime 6,1 bietet verschiedene Verbesserungen an Delta Lake:Databricks Runtime 6.1 brings several enhancements to Delta Lake:

  • Einfaches Konvertieren von Tabellen in das Delta-Lake-FormatEasily convert tables to Delta Lake format
  • Python-APIs für Delta Tabellen (Public Preview)Python APIs for Delta tables (Public Preview)
  • Standardmäßiges Aktivieren von DFP (Dynamic File Pruning)Dynamic File Pruning (DFP) enabled by default

Databricks Runtime 6,1 entfernt auch mehrere Einschränkungen bei der Passthrough-Anmelde Informationen.Databricks Runtime 6.1 also removes several limitations in credential passthrough.

Hinweis

Ab Version 6,1 unterstützt Databricks Runtime nur CPU-Cluster.Starting with the 6.1 release, Databricks Runtime supports only CPU clusters. Wenn Sie GPU-Cluster verwenden möchten, müssen Sie Databricks Runtime ml verwenden.If you want to use GPU clusters, you must use Databricks Runtime ML.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 6,1 (nicht unterstützt) .For more information, see the complete Databricks Runtime 6.1 (Unsupported) release notes.

Allgemeine Verfügbarkeit von Databricks Runtime 6.0 für GenomicsDatabricks Runtime 6.0 for Genomics GA

16. Oktober 2019October 16, 2019

Databricks Runtime für Genomics (Databricks Runtime Genomics) ist eine Variante von Databricks Runtime, die für die Arbeit mit genomischen und biomedizinischen Daten optimiert ist.Databricks Runtime for Genomics (Databricks Runtime Genomics) is a variant of Databricks Runtime optimized for working with genomic and biomedical data. Ab Version 6,0 ist Databricks Runtime für Genomics allgemein verfügbar.Beginning with release 6.0, Databricks Runtime for Genomics is generally available.

Die Fähigkeit, einen Azure Databricks-Arbeitsbereich im eigenen virtuellen Netzwerk bereitzustellen (auch bekannt als VNet-Einschleusung), ist allgemein verfügbar.Ability to deploy a Azure Databricks workspace to your own virtual network, also known as VNet injection, is GA

9. Oktober 2019October 9, 2019

Wir freuen uns, Ihnen mitteilen zu können, dass Sie einen Azure Databricks Arbeitsbereich in Ihrem eigenen virtuellen Netzwerk bereitstellen können, das auch als vnet Injection bezeichnet wird.We are very pleased to announce the GA of the ability to deploy an Azure Databricks workspace to your own virtual network, also known as VNet injection. Diese Option ist für diejenigen von Ihnen gedacht, die eine Netzwerk Anpassung benötigen, und daher nicht das Standard-vnet verwenden möchten, das erstellt wird, wenn Sie einen Azure Databricks Arbeitsbereich auf die Standard Weise bereitstellen.This option is intended for those of you who require network customization and therefore don’t want to use the default VNet that is created when you deploy an Azure Databricks workspace in the standard manner. Mit vnet Injection können Sie folgende Aktionen ausführen:With VNet injection, you can:

  • Verbinden Sie Azure Databricks mit anderen Azure-Diensten (z. b. Azure Storage) auf sicherere Weise mithilfe von Dienst Endpunkten.Connect Azure Databricks to other Azure services (such as Azure Storage) in a more secure manner using service endpoints.
  • Stellen Sie eine Verbindung mit lokalen Datenquellen für die Verwendung mit Azure Databricks her, und nutzen Sie benutzerdefinierte Routen.Connect to on-premises data sources for use with Azure Databricks, taking advantage of user-defined routes.
  • Verbinden Sie Azure Databricks mit einem virtuellen Netzwerkgerät , um den gesamten ausgehenden Datenverkehr zu überprüfen und Aktionen entsprechend den Zulassungs-und Ablehnungs Regeln auszuführen.Connect Azure Databricks to a network virtual appliance to inspect all outbound traffic and take actions according to allow and deny rules.
  • Konfigurieren von Azure Databricks zur Verwendung eines benutzerdefinierten DNS.Configure Azure Databricks to use custom DNS.
  • Konfigurieren Sie Regeln für Netzwerk Sicherheitsgruppen (NSG) , um ausgehende Datenverkehrs Einschränkungen anzugeben.Configure network security group (NSG) rules to specify egress traffic restrictions.
  • Bereitstellen von Azure Databricks-Clustern in Ihrem vorhandenen virtuellen Netzwerk.Deploy Azure Databricks clusters in your existing virtual network.

Wenn Sie Azure Databricks in Ihrem eigenen virtuellen Netzwerk bereitstellen, können Sie auch flexible CIDR-Bereiche (zwischen/16-/24 für das virtuelle Netzwerk und maximal/26 für die Subnetze) nutzen.Deploying Azure Databricks to your own virtual network also lets you take advantage of flexible CIDR ranges (anywhere between /16-/24 for the virtual network and up to /26 for the subnets).

Die Konfiguration mithilfe der Azure-Portal-Benutzeroberfläche ist schnell und einfach: Wenn Sie einen Arbeitsbereich erstellen, wählen Sie einfach Azure Databricks Arbeitsbereich in Ihrem Virtual Networkbereitstellen aus, wählen Sie das virtuelle Netzwerk aus, und geben Sie CIDR-Bereiche für zwei Subnetze anConfiguration using the Azure portal UI is quick and easy: when you create a workspace, just select Deploy Azure Databricks workspace in your Virtual Network, select your virtual network, and provide CIDR ranges for two subnets. Azure Databricks aktualisiert das virtuelle Netzwerk mit den beiden neuen Subnetzen und Netzwerk Sicherheitsgruppen, wobei ein eingehender und ausgehender subnetzdatenverkehr in der Whitelist und der Arbeitsbereich im aktualisierten virtuellen Netzwerk bereitgestellt wird.Azure Databricks updates the virtual network with the two new subnets and network security groups, whitelists inbound and outbound subnet traffic, and deploys the workspace to the updated virtual network.

Vnet Injection bei der Arbeitsbereichs BereitstellungVNet injection at workspace deployment

Wenn Sie das virtuelle Netzwerk für vnet Injection selbst konfigurieren möchten – beispielsweise, wenn Sie vorhandene Subnetze verwenden, vorhandene Netzwerk Sicherheitsgruppen verwenden oder eigene Sicherheitsregeln erstellen möchten – können Sie anstelle der Portalbenutzer Oberfläche von Azure-databricks bereitgestellte Arm-Vorlagen verwenden.If you prefer to configure the virtual network for VNet injection yourself—for example, you want to use existing subnets, use existing network security groups, or create your own security rules—you can use Azure-Databricks-supplied ARM templates instead of the portal UI.

Hinweis

Wenn Sie an der vnet Injection-Vorschau teilgenommen haben, müssen Sie den Vorschau Arbeitsbereich vor dem 31. Januar 2020 auf die GA-Version aktualisieren, um weiterhin Support zu erhalten.If you participated in the VNet injection preview, you must upgrade your preview workspace to the GA version before January 31, 2020 to continue to receive support. Weitere Informationen finden Sie unter Upgraden des vnet Injection Preview-Arbeitsbereichs aufSee Upgrade your VNet Injection preview workspace to GA.

Weitere Informationen finden Sie unter Bereitstellen von Azure Databricks in Ihrem virtuellen Azure-Netzwerk (vnet Injection) und Verbinden Ihres Azure Databricks Arbeitsbereichs mit Ihrem lokalen Netzwerk.For details, see Deploy Azure Databricks in your Azure virtual network (VNet injection) and Connect your Azure Databricks Workspace to your on-premises network.

Azure Databricks-Benutzer, die keine Administratoren sind, können Benutzer- und Gruppennamen sowie IDs mithilfe der SCIM-API lesen.Non-admin Azure Databricks users can read user and group names and IDs using SCIM API

Oktober 8-15, 2019: Version 3,4October 8 - 15, 2019: Version 3.4

Benutzer, die nicht Administratoren sind, können jetzt die scim-API Get users und Get Groups-Endpunkte aufrufen, um nur Benutzer-und Gruppen anzeigen Amen und IDs zu lesen.Non-admin users can now invoke the SCIM API Get Users and Get Groups endpoints to read user and group display names and IDs only. Alle anderen scim-API-Vorgänge erfordern weiterhin Administrator Zugriff.All other SCIM API operations continue to require administrator access.

Arbeitsbereichs-API gibt Notebook- und Ordnerobjekt-IDs zurückWorkspace API returns notebook and folder object IDs

Oktober 8-15, 2019: Version 3,4October 8 - 15, 2019: Version 3.4

Die get-status -und- list Endpunkte der Arbeitsbereichs- API geben nun Notebook-und Ordner Objekt-IDs zurück, sodass Sie auf diese Objekte in anderen API-aufrufen verweisen können.The get-status and list endpoints of the Workspace API now return notebook and folder object IDs, giving you the ability to reference those objects in other API calls.

Databricks Runtime 6.0 ML GADatabricks Runtime 6.0 ML GA

4. Oktober 2019October 4, 2019

Databricks Runtime 6,0 ml umfasst die folgenden Updates:Databricks Runtime 6.0 ML includes the following updates:

  • MLflowMLflow
    • Eine neue Spark-Datenquelle für mlflow-Experimente bietet jetzt eine Standard-API zum Laden von Daten aus dem mlflow-Experiment.A new Spark data source for MLflow experiments now provides a standard API to load MLflow experiment run data.
    • Mlflow-Java-Client hinzugefügtAdded MLflow Java Client
    • Mlflow wird jetzt als eine Bibliothek der obersten Ebene herauf gestuft.MLflow is now promoted as a top-tier library
  • Hyperopt GA: wichtige Verbesserungen seit der öffentlichen Vorschau beinhalten die Unterstützung der mlflow-Protokollierung für Spark-worker, die korrekte Behandlung von pyspark-Broadcast Variablen sowie eine neue Anleitung zur Modellauswahl mithilfe von hyperopt.Hyperopt GA - Notable improvements since public preview include support for MLflow logging on Spark workers, correct handling of PySpark broadcast variables, as well as a new guide on model selection using Hyperopt.
  • Aktualisierte Horovod-und mlflow-Bibliotheken und Anaconda-Verteilung.Upgraded Horovod and MLflow libraries and Anaconda distribution.

Hinweis

In dieser Version werden nur CPU-Cluster unterstützt.Only CPU clusters are supported in this release.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 6,0 ml (nicht unterstützt) .For more information, see the complete Databricks Runtime 6.0 ML (Unsupported) release notes.

Neue Regionen: „Brasilien, Süden“ und „Frankreich, Mitte“New regions: Brazil South and France Central

1. Oktober 2019October 1, 2019

Azure Databricks ist nun in Brasilien Süd (Sao Paolo Bundesstaat) und Frankreich, Mitte (Paris) verfügbar.Azure Databricks is now available in Brazil South (Sao Paolo State) and France Central (Paris).

Databricks Runtime 6.0 GADatabricks Runtime 6.0 GA

1. Oktober 2019October 1, 2019

Databricks Runtime 6,0 bietet viele Bibliotheks Upgrades und neue Features, einschließlich:Databricks Runtime 6.0 brings many library upgrades and new features, including:

  • Neue Scala-und Java-APIs für Delta-DML-Befehle sowie die Befehle "Vacuum" und "History Utility".New Scala and Java APIs for Delta Lake DML commands, as well as the vacuum and history utility commands.
  • Enhanced dBFS fuse Client für schnellere und zuverlässigere Lese-und Schreibvorgänge während des Modell Trainings.Enhanced DBFS FUSE client for faster and more reliable reads and writes during model training.
  • Unterstützung für mehrere matplotlib-Plots pro Notebook-Zelle.Support for multiple matplotlib plots per notebook cell.
  • Aktualisieren Sie auf Python 3,7 und aktualisierte numpy-, Pandas-, matplotlib-und andere Bibliotheken.Update to Python 3.7, as well as updated numpy, pandas, matplotlib, and other libraries.
  • Unterstützung von Python 2-Unterstützung.Sunset of Python 2 support.

Hinweis

In dieser Version werden nur CPU-Cluster unterstützt.Only CPU clusters are supported in this release.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 6,0 (nicht unterstützt) .For more information, see the complete Databricks Runtime 6.0 (Unsupported) release notes.