Mai 2020May 2020

Diese Features und Azure Databricks Plattform-Verbesserungen wurden im Mai 2020 veröffentlicht.These features and Azure Databricks platform improvements were released in May 2020.

Hinweis

Releases werden bereitgestellt.Releases are staged. Ihr Azure Databricks Konto wird möglicherweise erst bis zu einer Woche nach dem ersten Veröffentlichungsdatum aktualisiert.Your Azure Databricks account may not be updated until up to a week after the initial release date.

Virtuelle Computer der Easv4-Serie (Betaversion)Easv4-series VMs (Beta)

29. Mai 2020May 29, 2020

Azure Databricks bietet jetzt Beta Unterstützung für VMS der Easv4-Serie , die einen Premium-SSD verwenden und eine erhöhte maximale Frequenz von 3,35 GHz erreichen können.Azure Databricks now provides Beta support for Easv4-series VMs, which use a premium SSD and can achieve a boosted maximum frequency of 3.35GHz. Diese Instanztypen können die workloadleistung für Arbeitsspeicher intensive Unternehmensanwendungen optimieren.These instance types can optimize your workload performance for memory-intensive enterprise applications.

Allgemeine Verfügbarkeit von Databricks Runtime 6.6 für GenomicsDatabricks Runtime 6.6 for Genomics GA

26. Mai 2020May 26, 2020

Databricks Runtime 6,6 für Genomics basiert auf Databricks Runtime 6,6 und umfasst die folgenden neuen Features:Databricks Runtime 6.6 for Genomics is built on top of Databricks Runtime 6.6 and includes the following new features:

  • GFF3 ReaderGFF3 reader
  • Unterstützung für benutzerdefinierte ReferenzCustom reference genome support
  • Beispiele für Pipeline Timeouts pro StichprobePer-sample pipeline timeouts
  • BAM-ExportoptionBAM export option
  • ManifestressourcenManifest blobs

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 6,6 für Genomics .For more information, see the complete Databricks Runtime 6.6 for Genomics release notes.

Allgemeine Verfügbarkeit von Databricks Runtime 6.6 MLDatabricks Runtime 6.6 ML GA

26. Mai 2020May 26, 2020

Databricks Runtime 6,6 ml baut auf Databricks Runtime 6,6 auf und umfasst die folgenden neuen Features:Databricks Runtime 6.6 ML is built on top of Databricks Runtime 6.6 and includes the following new features:

  • Upgrade von mlflow: 1.7.0 auf 1.8.0Upgraded mlflow: 1.7.0 to 1.8.0

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version von Databricks Runtime 6,6 ml .For more information, see the complete Databricks Runtime 6.6 ML release notes.

Allgemeine Verfügbarkeit von Databricks Runtime 6.6Databricks Runtime 6.6 GA

26. Mai 2020May 26, 2020

Databricks Runtime 6,6 bietet viele Bibliotheks Upgrades und neue Features, einschließlich der folgenden Delta-Lake-Features:Databricks Runtime 6.6 brings many library upgrades and new features, including the following Delta Lake features:

  • Sie können das Schema der Tabelle nun automatisch mit dem-Vorgang weiterentwickeln merge .You can now evolve the schema of the table automatically with the merge operation. Dies ist in Szenarios nützlich, in denen Sie die Änderungs Daten in eine Tabelle einfügen möchten und das Schema der Daten sich im Laufe der Zeit ändert.This is useful in scenarios where you want to upsert change data into a table and the schema of the data changes over time. Anstatt Schema Änderungen vor dem upserting zu erkennen und anzuwenden, merge kann das Schema gleichzeitig weiterentwickeln und die Änderungen Upsert.Instead of detecting and applying schema changes before upserting, merge can simultaneously evolve the schema and upsert the changes. Siehe Automatische Schema Entwicklung.See Automatic schema evolution.
  • Die Leistung von Merge-Vorgängen, die nur übereinstimmende Klauseln aufweisen, d update . h. nur-und- delete Aktionen und keine insert Aktion, wurde verbessert.The performance of merge operations that have only matched clauses, that is, they have only update and delete actions and no insert action, has been improved.
  • Zwischenspeicher Tabellen, auf die in der Hive-metastore verwiesen wird, können jetzt über Ihre Tabellen Bezeichner mithilfe von in Delta Lake konvertiert werden CONVERT TO DELTA .Parquet tables that are referenced in the Hive metastore are now convertible to Delta Lake through their table identifiers using CONVERT TO DELTA.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version von Databricks Runtime 6,6 .For more information, see the complete Databricks Runtime 6.6 release notes.

DBFS-REST-API: Größenbeschränkung für das Löschen von EndpunktenDBFS REST API delete endpoint size limit

21-28, 2020. Mai: Version 3,20May 21-28, 2020: Version 3.20

Wenn Sie eine große Anzahl von Dateien rekursiv mithilfe der dBFS-APIlöschen, erfolgt der Löschvorgang in Schritten.When you delete a large number of files recursively using the DBFS API, the delete operation is done in increments. Der Aufruf gibt eine Antwort nach ungefähr 45 s zurück, in der Sie aufgefordert werden, den Löschvorgang erneut aufzurufen, bis die Verzeichnisstruktur vollständig gelöscht wurde.The call returns a response after approximately 45s with an error message asking you to re-invoke the delete operation until the directory structure is fully deleted. Beispiel:For example:

{
  "error_code":"PARTIAL_DELETE","message":"The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}

Einfaches Anzeigen zahlreicher registrierter MLflow-ModelleEasily view large numbers of MLflow registered models

21-28, 2020. Mai: Version 3,20May 21-28, 2020: Version 3.20

Die mlflow-Modell Registrierung unterstützt jetzt die serverseitige Suche und Paginierung für registrierte Modelle, sodass Organisationen mit einer großen Anzahl von Modellen eine einfache Auflistung und Suche durchführen können.The MLflow Model Registry now supports server-side search and pagination for registered models, which enables organizations with large numbers of models to efficiently perform listing and search. Wie zuvor können Sie Modelle nach Namen suchen und die Ergebnisse nach dem Namen oder dem Zeitpunkt der letzten Aktualisierung erhalten.As before, you can search models by name and get results ordered by name or the last updated time. Wenn Sie jedoch über eine große Anzahl von Modellen verfügen, werden die Seiten viel schneller geladen, und bei der Suche wird die aktuellste Ansicht von Modellen abgerufen.However, if you have a large number of models, the pages will load much faster, and search will fetch the most up-to-date view of models.

Bibliotheken, die für die Installation auf allen Clustern konfiguriert sind, werden nicht auf Clustern mit Databricks Runtime 7.0 und höher installiert.Libraries configured to be installed on all clusters are not installed on clusters running Databricks Runtime 7.0 and above

21-28, 2020. Mai: Version 3,20May 21-28, 2020: Version 3.20

In Databricks Runtime 7,0 und höher verwendet die zugrunde liegende Version von Apache Spark Scala 2,12.In Databricks Runtime 7.0 and above, the underlying version of Apache Spark uses Scala 2.12. Da Bibliotheken, die für Scala 2,11 kompiliert wurden, Databricks Runtime 7,0-Cluster auf unerwartete Weise deaktivieren können, werden bei Clustern mit Databricks Runtime 7,0 und höher keine Bibliotheken installiert, die für die Installation auf allen Clustern konfiguriertsind.Since libraries compiled against Scala 2.11 can disable Databricks Runtime 7.0 clusters in unexpected ways, clusters running Databricks Runtime 7.0 and above do not install libraries configured to be installed on all clusters. Auf der Registerkarte Cluster Bibliotheken werden die Status Skipped -und veralnungs Meldungen im Zusammenhang mit den Änderungen bei der Bibliotheks Verarbeitung angezeigt.The cluster Libraries tab shows a status Skipped and a deprecation message related to the changes in library handling.

Wenn Sie über einen Cluster verfügen, der mit einer früheren Version von erstellt wurde Databricks Runtime bevor 3,20 für Ihren Arbeitsbereich freigegeben wurde, und Sie diesen Cluster jetzt für die Verwendung von Databricks Runtime 7,0 bearbeiten, werden alle Bibliotheken, die für die Installation auf allen Clustern konfiguriert wurden, auf diesem Cluster installiert.If you have a cluster that was created on an earlier version of Databricks Runtime before 3.20 was released to your workspace, and you now edit that cluster to use Databricks Runtime 7.0, any libraries that were configured to be installed on all clusters will be installed on that cluster. In diesem Fall können alle nicht kompatiblen Jars in den installierten Bibliotheken bewirken, dass der Cluster deaktiviert wird.In this case, any incompatible JARs in the installed libraries can cause the cluster to be disabled. Die Problem Umgehung besteht darin, den Cluster zu klonen oder einen neuen Cluster zu erstellen.The workaround is either to clone the cluster or to create a new cluster.

Databricks Runtime 7.0 für Genomics (Betaversion)Databricks Runtime 7.0 for Genomics (Beta)

21. Mai 2020May 21, 2020

Databricks Runtime 7,0 für Genomics basiert auf Databricks Runtime 7,0 und umfasst die folgenden Bibliotheks Änderungen:Databricks Runtime 7.0 for Genomics is built on top of Databricks Runtime 7.0 and includes the following library changes:

  • Die Adam-Bibliothek wurde von Version 0.30.0 auf 0.32.0 aktualisiert.The ADAM library has been updated from version 0.30.0 to 0.32.0.
  • Die Bibliothek "Hail" ist nicht in Databricks Runtime 7,0 für Genomics enthalten, da auf Apache Spark 3,0 kein Release vorhanden ist.The Hail library is not included in Databricks Runtime 7.0 for Genomics as there is no release based on Apache Spark 3.0.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 7,0 für Genomics .For more information, see the complete Databricks Runtime 7.0 for Genomics release notes.

Databricks Runtime 7.0 ML (Beta)Databricks Runtime 7.0 ML (Beta)

21. Mai 2020May 21, 2020

Databricks Runtime 7,0 ml baut auf Databricks Runtime 7,0 auf und umfasst die folgenden neuen Features:Databricks Runtime 7.0 ML is built on top of Databricks Runtime 7.0 and includes the following new features:

  • Python-Bibliotheken mit Notebook-Bereich und benutzerdefinierte Umgebungen, die von den Befehlen von "-und PIP" verwaltet werdenNotebook-scoped Python libraries and custom environments managed by conda and pip commands.
  • Updates für wichtige Python-Pakete einschließlich tensorflow, tensorboard, pytorch, xgboost, sparkdl und hyperopt.Updates for major Python packages including tensorflow, tensorboard, pytorch, xgboost, sparkdl, and hyperopt.
  • Neu hinzugefügte Python-Pakete lightgbm, nltk, gtastorm und plotly.Newly added Python packages lightgbm, nltk, petastorm, and plotly.
  • Rstudio Server Open Source v 1.2.RStudio Server Open Source v1.2.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version von Databricks Runtime 7,0 ml .For more information, see the complete Databricks Runtime 7.0 ML release notes.

Databricks Runtime 6.6 für Genomics (Betaversion)Databricks Runtime 6.6 for Genomics (Beta)

7. Mai 2020May 7, 2020

Databricks Runtime 6,6 für Genomics basiert auf Databricks Runtime 6,6 und umfasst die folgenden neuen Features:Databricks Runtime 6.6 for Genomics is built on top of Databricks Runtime 6.6 and includes the following new features:

  • GFF3 ReaderGFF3 reader
  • Unterstützung für benutzerdefinierte ReferenzCustom reference genome support
  • Beispiele für Pipeline Timeouts pro StichprobePer-sample pipeline timeouts
  • BAM-ExportoptionBAM export option
  • ManifestressourcenManifest blobs

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version Databricks Runtime 6,6 für Genomics .For more information, see the complete Databricks Runtime 6.6 for Genomics release notes.

Databricks Runtime 6.6 ML (Betaversion)Databricks Runtime 6.6 ML (Beta)

7. Mai 2020May 7, 2020

Databricks Runtime 6,6 ml baut auf Databricks Runtime 6,6 auf und umfasst die folgenden neuen Features:Databricks Runtime 6.6 ML is built on top of Databricks Runtime 6.6 and includes the following new features:

  • Upgrade von mlflow: 1.7.0 auf 1.8.0Upgraded mlflow: 1.7.0 to 1.8.0

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version von Databricks Runtime 6,6 ml .For more information, see the complete Databricks Runtime 6.6 ML release notes.

Databricks Runtime 6.6 (Betaversion)Databricks Runtime 6.6 (Beta)

7. Mai 2020May 7, 2020

Databricks Runtime 6,6 (Beta) bietet viele Bibliotheks Upgrades und neue Features, einschließlich der folgenden Delta-Lake-Features:Databricks Runtime 6.6 (Beta) brings many library upgrades and new features, including the following Delta Lake features:

  • Sie können das Schema der Tabelle nun automatisch mit dem-Vorgang weiterentwickeln merge .You can now evolve the schema of the table automatically with the merge operation. Dies ist in Szenarios nützlich, in denen Sie die Änderungs Daten in eine Tabelle einfügen möchten und das Schema der Daten sich im Laufe der Zeit ändert.This is useful in scenarios where you want to upsert change data into a table and the schema of the data changes over time. Anstatt Schema Änderungen vor dem upserting zu erkennen und anzuwenden, merge kann das Schema gleichzeitig weiterentwickeln und die Änderungen Upsert.Instead of detecting and applying schema changes before upserting, merge can simultaneously evolve the schema and upsert the changes. Siehe Automatische Schema Entwicklung.See Automatic schema evolution.
  • Die Leistung von Merge-Vorgängen, die nur übereinstimmende Klauseln aufweisen, d update . h. nur-und- delete Aktionen und keine insert Aktion, wurde verbessert.The performance of merge operations that have only matched clauses, that is, they have only update and delete actions and no insert action, has been improved.
  • Zwischenspeicher Tabellen, auf die in der Hive-metastore verwiesen wird, können jetzt über Ihre Tabellen Bezeichner mithilfe von in Delta Lake konvertiert werden CONVERT TO DELTA .Parquet tables that are referenced in the Hive metastore are now convertible to Delta Lake through their table identifiers using CONVERT TO DELTA.

Weitere Informationen finden Sie in den Anmerkungen zu dieser Version von Databricks Runtime 6,6 .For more information, see the complete Databricks Runtime 6.6 release notes.

Auftrags Cluster werden nun mit dem Auftrags Namen und der ID gekennzeichnet.Job clusters now tagged with job name and ID

5-12, 2020. Mai: Version 3,19May 5-12, 2020: Version 3.19

Auftrags Cluster werden automatisch mit dem Auftrags Namen und der ID gekennzeichnet.Job clusters are automatically tagged with the job name and ID. Die Tags werden in den Berichten zu abrechnungsfähigen Verwendungs Berichten angezeigt, sodass Sie Ihre dBu-Verwendung einfach nach Auftrag zuordnen und Anomalien identifizieren können.The tags appear in the billable usage reports so that you can easily attribute your DBU usage by job and identify anomalies. Die Tags werden in clusterspezifikations Spezifikationen bereinigt, wie z. b. zulässige Zeichen, maximale Größe und maximale Anzahl von Tags.The tags are sanitized to cluster tag specifications, such as allowed characters, maximum size, and maximum number of tags. Der Auftrags Name ist im RunName -Tag enthalten, und die Auftrags-ID ist im- JobId Tag enthalten.The job name is contained in the RunName tag and the job ID is contained in the JobId tag.

Wiederherstellen gelöschter NotebookzellenRestore deleted notebook cells

5-12, 2020. Mai: Version 3,19May 5-12, 2020: Version 3.19

Sie können nun gelöschte Zellen wiederherstellen, indem Sie die Z Tastenkombination () verwenden oder indem Sie auf Bearbeiten klicken, um das Löschen von Zellen Rückgängig >You can now restore deleted cells either by using the (Z) keyboard shortcut or by selecting Edit > Undo Delete Cells.

Warteschlangengrenzwert für ausstehende AufträgeJobs pending queue limit

5-12, 2020. Mai: Version 3,19May 5-12, 2020: Version 3.19

Ein Arbeitsbereich ist jetzt auf 1000 aktive (ausgeführte und ausstehende) Auftrags Ausführungen beschränkt.A workspace is now limited to 1000 active (running and pending) job runs. Da ein Arbeitsbereich auf 150 gleichzeitige (ausgeführte) Aufträge beschränkt ist, kann ein Arbeitsbereich bis zu 850 Ausführungen in der ausstehenden Warteschlange aufweisen.Since a workspace is limited to 150 concurrent (running) job runs, a workspace can have up to 850 runs in the pending queue.