Februari 2019

De här funktionerna och förbättringarna i Azure Databricks Platform släpptes i februari 2019.

Anteckning

Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras förrän efter det första lanserings datumet.

Databricks Light är allmänt tillgängligt

26 februari – 5 mars 2019: version 2,92

Databricks Light (även kallat data teknik ljus) är nu tillgängligt. Databricks Light är Databricks-packningen av öppen källkod Apache Spark Runtime. Det innehåller ett körnings alternativ för jobb som inte behöver de avancerade fördelarna med prestanda, tillförlitlighet eller automatisk skalning som tillhandahålls av Databricks Runtime. Du kan endast välja Databricks Light när du skapar ett kluster för att köra ett jobb för jar, python eller Spark-Submit . Du kan inte välja den här körningen för kluster där du kör arbets belastningar för interaktiva eller antecknings böcker. Se Databricks Light.

Allmänt tillgänglig förhandsversion av hanterad MLflow på Azure Databricks

26 februari – 5 mars 2019: version 2,92

MLflow är en plattform med öppen källkod för hantering av maskininlärningslivscykeln från början till slut. Den har tre huvudsakliga funktioner:

  • Spåra experiment för att registrera och jämföra parametrar och resultat.
  • Hantera och distribuera modeller från en mängd olika ML-bibliotek till en mängd olika modell servar och härlednings plattformar.
  • Packar ML-kod i en åter användnings bar, reproducerad form för att dela med andra data forskare eller överföra till produktion.

Azure Databricks har nu en fullständigt hanterad och värdbaserad version av MLflow som är integrerad med företags säkerhetsfunktioner, hög tillgänglighet och andra Azure Databricks-arbetsytans funktioner som experiment hantering, körnings hantering och inspelning av Notebook-versioner. MLflow i Azure Databricks ger en integrerad upplevelse för att spåra och skydda träningskörningar för maskininlärningsmodellen och körning av maskininlärningsprojekt. Genom att använda hanterade MLflow på Azure Databricks får du fördelarna med båda plattformarna, inklusive:

  • Arbets ytor: Samar beta spår och organisera experiment och resultat inom Azure Databricks arbets ytor med en värdbaserad spårnings Server för MLflow och integrerat experiment gränssnitt. När du använder MLflow i antecknings böcker skapar Azure Databricks automatiskt ändringar i antecknings boken så att du kan återskapa samma kod och köra senare.
  • Säkerhet: Dra nytta av en gemensam säkerhets modell för hela ML-livscykeln via ACL: er.
  • Jobb: Kör MLflow-projekt som Azure Databricks jobb på distans och direkt från Azure Databricks antecknings böcker.

Här är en demonstration av ett spårnings arbets flöde i en Azure Databricks arbets yta:

Spåra körningar och organisera experiment arbets flöde

Mer information finns i experiment och köra MLflow-projekt på Azure Databricks.

Anslutningsappen för Azure Data Lake Storage Gen2 är allmänt tillgänglig

15 februari 2019

Azure Data Lake Storage Gen2 (ADLS Gen2), är nästa generations data Lake-lösning för stor data analys nu ga, precis som är ADLS Gen2 connector för Azure Databricks. Vi är också glada över att kunna meddela att ADLS Gen2 stöder Databricks delta när du kör kluster på Databricks Runtime 5,2 och senare.

Python 3 är nu standard när du skapar kluster

Februari 12-19, 2019: version 2,91

Standard versionen av python för kluster som skapats med hjälp av användar gränssnittet har växlats från python 2 till python 3. Standardvärdet för kluster som skapats med REST API är fortfarande python 2.

Befintliga kluster kommer inte att ändra sina python-versioner. Men om du har arbetat med att ta python 2 som standard när du skapar nya kluster måste du börja betala med din python-version.

Standard version av python

Se python-version.

Delta Lake är allmänt tillgängligt

1 februari 2019

Nu kan alla få fördelarna med Databricks Deltas kraftfulla transaktions lagrings lager och snabba läsningar: från och med 1 februari delta Lake är GA och tillgängligt i alla versioner av Databricks Runtime som stöds. Mer information om delta finns i delta Lake-och delta motor guiden.