2019 april

  • Artikel

Dessa funktioner och förbättringar av Azure Databricks-plattformen släpptes i april 2019.

Kommentar

Versioner mellanlagras. Ditt Azure Databricks-konto kanske inte uppdateras förrän upp till en vecka efter det första lanseringsdatumet.

MLflow på Azure Databricks (GA)

den 25 april 2019

Hanterad MLflow på Azure Databricks är nu allmänt tillgänglig. MLflow på Azure Databricks erbjuder en värdbaserad version av MLflow som är helt integrerad med Databricks-säkerhetsmodellen och den interaktiva arbetsytan. Se ML-livscykelhantering med MLflow.

Delta Lake på Azure Databricks

den 24 april 2019

Databricks har öppen källkod Delta Lake-projektet. Delta Lake är ett lagringslager som ger tillförlitlighet till datasjöar som bygger på HDFS och molnlagring genom att tillhandahålla ACID-transaktioner genom optimistisk samtidighetskontroll mellan skrivningar och ögonblicksbildisolering för konsekvent läsning under skrivningar. Delta Lake tillhandahåller också inbyggd dataversionshantering för enkla återställningar och återskapande av rapporter.

Kommentar

Det som tidigare kallades Databricks Delta är nu Delta Lake öppen källkod-projektet plus optimeringar som är tillgängliga i Azure Databricks. Se Vad är Delta Lake?.

Sidofält för MLflow-körningar

9-16 april 2019: Version 2.95

Nu kan du visa MLflow-körningarna och notebook-revisionerna som producerade dessa körningar i ett sidofält bredvid notebook-filen. I anteckningsbokens högra sidofält klickar du på experimentikonen Experiment icon.

Se Skapa notebook-experiment.

Få åtkomst till Azure Data Lake Storage Gen1 och Gen2 automatiskt med dina Microsoft Entra ID-autentiseringsuppgifter (GA)

9-16 april 2019: Version 2.95

Vi är glada att kunna meddela den allmänna tillgängligheten för automatisk autentisering till Azure Data Lake Storage Gen1 och Gen2 från Azure Databricks-kluster med samma Microsoft Entra ID-identitet som du använder för att logga in på Azure Databricks.

Aktivera bara klustret för genomströmning av Microsoft Entra-ID-autentiseringsuppgifter, och kommandon som du kör i klustret kommer att kunna läsa och skriva dina data i Azure Data Lake Storage Gen1 och Gen2 utan att du behöver konfigurera autentiseringsuppgifter för tjänstens huvudnamn för åtkomst till lagring.

Mer information finns i Access Azure Data Lake Storage using Microsoft Entra ID (tidigare Azure Active Directory) genomströmning av autentiseringsuppgifter (äldre).

Databricks Runtime 5.3 (GA)

den 3 april 2019

Databricks Runtime 5.3 är nu allmänt tillgängligt. Databricks Runtime 5.3 innehåller nya Delta Lake-funktioner och uppgraderingar samt uppgraderade Python-, R-, Java- och Scala-bibliotek.

Några större uppgraderingar är:

  • Databricks Delta time travel GA
  • MySQL-tabellreplikering till Delta, offentlig förhandsversion
  • Optimerad DBFS FUSE-mapp för djupinlärningsarbetsbelastningar
  • Biblioteksförbättringar med notebook-omfattning
  • Nya Databricks Advisor-tips

Mer information finns i Databricks Runtime 5.3 (stöds inte).

Databricks Runtime 5.3 ML (GA)

den 3 april 2019

Med Databricks Runtime 5.3 för Machine Learning har vi uppnått vår första GA för Databricks Runtime ML! Databricks Runtime ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap. Den bygger på Databricks Runtime och lägger till många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch, Keras och XGBoost. Distribuerad träning med Horovod stöds.

Den här versionen bygger på Databricks Runtime 5.3, med ytterligare bibliotek, vissa olika biblioteksversioner och Conda-pakethantering för Python-bibliotek. Viktiga nya funktioner sedan Databricks Runtime 5.2 ML Beta är:

  • MLlib-integrering med MLflow (privat förhandsversion), som tillhandahåller automatisk loggning av MLflow-körningar för modeller som passar med PySpark-justeringsalgoritmerna CrossValidator och TrainValidationSplit.

    Om du vill delta i förhandsversionen kontaktar du ditt Databricks-kontoteam.

  • Uppgraderingar till biblioteken PyArrow, Horovod och TensorboardX.

    PyArrow-uppdateringen lägger till möjligheten att använda BinaryType när du utför pilbaserad konvertering och gör den tillgänglig i Pandas UDF.

Mer information finns i Databricks Runtime 5.3 ML (stöds inte). Anvisningar om hur du skapar ett Databricks Runtime ML-kluster finns i AI och Machine Learning på Databricks.