November 2018

  • Artikel

Dessa funktioner och förbättringar av Azure Databricks-plattformen släpptes i november 2018.

Kommentar

Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras förrän upp till en vecka efter det första lanseringsdatumet.

Biblioteksgränssnitt

Viktigt!

Den här uppdateringen återställdes den 7 december 2018.

27 november-4 december 2018: Version 2.85

I den här versionen har biblioteksgränssnittet förbättrats avsevärt.

Azure Databricks-användargränssnittet har nu stöd för arbetsytebibliotek och klusteranslutna bibliotek. Det finns ett arbetsytebibliotek på arbetsytan och kan kopplas till ett eller flera kluster. Ett klusteranslutet bibliotek är ett bibliotek som bara finns i kontexten för klustret som det är kopplat till. Dessutom:

  • Nu kan du skapa ett bibliotek från en fil som laddats upp till objektlagring.
  • Nu kan du koppla och koppla från bibliotek från sidan biblioteksinformation och fliken Bibliotek i klustret.
  • Bibliotek som installerats med hjälp av API:et visas nu på fliken Bibliotek i ett kluster.

Anpassade heapminnesinställningar för Spark har aktiverats

27 november-4 december 2018: Version 2.85

Följande Inställningar för Spark-minne träder nu i kraft:

  • spark.executor.memory
  • spark.driver.memory

Viktigt!

  • Azure Databricks har tjänster som körs på varje nod, så det maximala tillåtna minnet för Spark är mindre än minneskapaciteten för den virtuella datorn som rapporteras av molnleverantören. Om du vill ge Spark den maximala mängden heapminne för exekutorn eller drivrutinen ska du inte ange spark.executor.memory eller spark.driver.memory respektive.
  • Vissa klusterkonfigurationer som tidigare var ogiltiga men ignorerade kan leda till klusterfel.

Jobb och avlägsnande av inaktiv körningskontext

27 november-4 december 2018: Version 2.85

Jobb tar nu bort inaktiva körningskontexter automatiskt. Se Körningskontexter för Databricks-notebook-filer. För att minimera automatisk borttagning rekommenderar Azure Databricks att du använder olika kluster för jobb och interaktiva arbetsbelastningar.

Databricks Runtime 5.0 for Machine Learning (betaversion)

den 19 november 2018

Databricks Runtime 5.0 ML (Beta) tillhandahåller en färdig miljö för maskininlärning och datavetenskap. Den innehåller flera populära bibliotek, inklusive TensorFlow, Keras och XGBoost. Den stöder även distribuerad TensorFlow-träning med Horovod. Databricks Runtime 5.0 ML bygger på Databricks Runtime 5.0. Databricks Runtime 5.0 ML innehåller följande nya funktioner:

Se fullständiga viktig information för Databricks Runtime 5.0 ML (stöds inte).)

Databricks Runtime version 5.0

den 8 november 2018

Databricks Runtime 5.0 är nu tillgängligt. Databricks Runtime 5.0 innehåller Apache Spark 2.4.0, nya Delta Lake- och Structured Streaming-funktioner och uppgraderingar samt uppgraderade Python-, R- och Java- och Scala-bibliotek. Mer information finns i Databricks Runtime 5.0 (stöds inte).

På Databricks Runtime 5.0 tar Azure Databricks nu bort inaktiva körningskontexter när ett kluster har nått den maximala kontextgränsen (145). Se Körningskontexter för Databricks-notebook-filer.

displayHTML stöd för obegränsad inläsning av innehåll från tredje part

6-13 november 2018: Version 2.84

displayHTML Tidigare saknade sandbox-miljön i iframe attributet allow-same-origin. Detta innebar att iframe hade ett null-ursprung, vilket inte var användarvänligt för XHR-begäranden, cookies eller åtkomst till inbäddade iframes. Med den displayHTML här versionen hanteras iframe från en ny domän, databricksusercontent.com, och iframe-sandbox-miljön innehåller allow-same-origin nu attributet.

Du behöver inte ändra din användning av displayHTML om det redan fungerar för dig.

databricksusercontent.com måste vara tillgänglig från webbläsaren. Om det för närvarande blockeras av ditt företags nätverk, måste den vitlistas av IT.