September 2020

Dessa funktioner och Azure Databricks plattformsförbättringar släpptes i september 2020.

Anteckning

Versioner mellanfasas. Ditt Azure Databricks kanske inte uppdateras förrän upp till en vecka efter det första lanseringsdatumet.

Databricks Runtime 7.3, 7.3 ML och 7.3 Genomics finns nu allmänt tillgängliga

Den 24 september 2020

Databricks Runtime 7.3, Databricks Runtime 7.3 för Machine Learning och Databricks Runtime 7.3 för Genomics är nu allmänt tillgängliga. De innehåller många funktioner och förbättringar, inklusive:

  • Delta Lake-prestandaoptimeringar minskar avsevärt omkostnaderna
  • Klona mått
  • Delta MERGE INTO Lake-förbättringar
  • Ange den inledande positionen för Delta Lake Structured Streaming
  • Förbättringar av Auto Loader
  • Adaptiv frågekörning
  • Azure Synapse Analytics för kolumnlängd för anslutningsappen
  • Förbättrat beteende för dbutils.credentials.showRoles
  • Förenklad konvertering från Pandas till Spark DataFrame
  • Nytt maxResultSize i toPandas() anrop
  • Debuggability of pandas and PySpark UDFs
  • (ML) Conda-aktivering på arbetare
  • (Endast Genomics) Stöd för läsning av BGEN-filer med okomprimerade eller zstd-komprimerade genotyper
  • Biblioteksuppgraderingar

Mer information finns i viktig information om Databricks Runtime 7.3 LTS,Databricks Runtime 7.3 LTSför Machine Learning och Databricks Runtime 7.3 LTS for Genomics.

Kluster med enskild nod (offentlig förhandsversion)

23–29 september 2020: Version 3.29

Ett kluster med en nod är ett kluster som består av en Spark-drivrutin och inga Spark-arbetare. Standardlägeskluster kräver däremot minst en Spark-arbetsroll för att köra Spark-jobb. Kluster i ennodsläge är användbara i följande situationer:

  • Köra maskininlärningsarbetsbelastningar med en nod som behöver Spark för att läsa in och spara data
  • Förenklad undersökande dataanalys (EDA)

Mer information finns i Kluster med en nod.

Begränsningar för DBFS REST API-frekvens

23–29 september 2020: Version 3.29

För att säkerställa hög tjänstkvalitet under hög belastning Azure Databricks nu API-hastighetsbegränsningar för DBFS API-anrop. Gränserna anges per arbetsyta för att säkerställa en rättvis användning och hög tillgänglighet. Automatiska återförsök är tillgängliga med Hjälp av Databricks CLI version 0.12.0 och senare. Vi rekommenderar att alla kunder byter till den senaste Databricks CLI-versionen.

Nya ikoner för sidofältet

23–29 september 2020

Vi har uppdaterat sidopanelen i Azure Databricks arbetsytans användargränssnitt. Inga stora problem, men vi tycker att de nya ikonerna ser ganska bra ut.

sidebar

Gränsökning för jobb som körs

23–29 september 2020: Version 3.29

Gränsen för samtidiga jobbkörningar har ökats från 150 till 1 000 per arbetsyta. Körningar över 150 körs inte längre i kö i väntande tillstånd. I stället för en kö för körningsbegäranden ovanför samtidiga körningar returneras ett svar 429 Too Many Requests när du begär en körning som inte kan startas omedelbart. Den här gränsökningen distribuerades gradvis och är nu tillgänglig på alla arbetsytor i alla regioner.

Åtkomstkontrollistor för artefakter (ACL) i MLflow

23–29 september 2020: Version 3.29

Behörigheter för MLflow-experiment tillämpas nu på artefakter i MLflow-spårning, så att du enkelt kan styra åtkomsten till dina modeller, datauppsättningar och andra filer. När du skapar ett nytt experiment lagras som standard dess körningsartefakter nu på en MLflow-hanterad plats. De fyra behörighetsnivåerna för MLflow-experiment(Ingabehörigheter,Kan läsa,Redigera och Hantera)tillämpas automatiskt för att köra artefakter som lagras på MLflow-hanterade platser på följande sätt:

  • Behörigheterna Kan redigera eller Hantera krävs för att logga körningsartefakter i ett experiment.
  • Behörigheten Kan läsa krävs för att visa och ladda ned körningsartefakter från ett experiment.

Mer information finns i MLflow Artifact permissions (MLflow-artefaktbehörigheter).

Förbättringar av MLflow-användbarhet

23–29 september 2020: Version 3.29

Den här versionen innehåller följande förbättringar av MLflow-användbarhet:

  • Sidorna MLflow-experimentoch registrerade modeller har nu tips som hjälper nya användare att komma igång.
  • Modellversionstabellen visar nu beskrivningstexten för en modellversion. En ny kolumn visar de första 32 tecknen eller den första raden (beroende på vilket som är kortare) i beskrivningen.

Ny Azure Databricks Power BI anslutningsapp (offentlig förhandsversion)

Den 22 september 2020

Power BI Desktop version 2.85.681.0 innehåller en ny Azure Databricks Power BI-anslutningsapp som gör integreringen mellan Azure Databricks och Power BI mycket mer sömlös och tillförlitlig. Den nya anslutningsappen levereras med följande förbättringar:

  • Enkel anslutningskonfiguration: den Power BI Azure Databricks anslutningsappen är integrerad i Power BI och du konfigurerar den med en enkel dialogruta med några klick.
  • Autentisering baserat på Azure Active Directory autentiseringsuppgifter – inga fler administratörer behöver konfigurera PAT-token.
  • Snabbare importer och optimerade metadata-anrop tack vare den Azure Databricks ODBC-drivrutinen, vilket ger betydande prestandaförbättringar.
  • Åtkomst till Azure Databricks data via Power BI tar hänsyn Azure Databricks åtkomstkontroll för tabeller och behörigheter för Azure Storage-konton som är associerade med din Azure AD-identitet.

Mer information finns i Power BI.

Använda kundhanterade nycklar för DBFS-rot (allmänt tillgänglig förhandsversion)

Den 15 september 2020

Du kan nu använda din egen krypteringsnyckel i Azure Key Vault för att kryptera DBFS-lagringskontot. Se Konfigurera kund hanterade nycklar för DBFS-roten.

Nya JDBC-och ODBC-drivrutiner ger snabbare svarstid i BI

Den 15 september 2020

Vi har släppt nya versioner av Databricks JDBC- och ODBC-drivrutinerna (ladda ned) med följande förbättringar:

  • Prestanda: Minskad anslutning och kort frågesvarstid, förbättrad resultatöverföringshastighet baserat på Apache Arrow-serialisering och förbättrad prestanda för hämtning av metadata.
  • Användarupplevelse: Autentisering med azure AD OAuth2-åtkomsttoken, förbättrade felmeddelanden och automatisk återförsök vid anslutning till ett avstängningskluster, mer robust hantering av återförsök vid tillfälliga nätverksfel.
  • Stöd för anslutningar med HTTP-proxy.

Mer information om hur du ansluter till BI-verktyg med JDBC och ODBC finns i Databricks ODBC- och JDBC-drivrutiner.

MLflow-modellbetjäning (offentlig förhandsversion)

9–15 september 2020: Version 3.28

MLflow Model Serving är nu tillgängligt i offentlig förhandsversion. Med MLflow Model Serving kan du distribuera en MLflow-modell som registrerats i Model Registry som en REST API-slutpunkt som hanteras av Azure Databricks. När du aktiverar modell som betjänar en registrerad modell Azure Databricks ett kluster och distribuerar alla icke-arkiverade versioner av modellen.

Du kan köra frågor mot alla modellversioner genom REST API begäranden med standardautentisering Azure Databricks autentisering. Åtkomstbehörigheter för modellen ärvs från Model Registry – alla med läsbehörighet för en registrerad modell kan fråga vilken som helst av de distribuerade modellversionerna. När den här tjänsten är i förhandsversion rekommenderar vi att den används för program med lågt dataflöde och icke-kritiska program.

Mer information finns i MLflow Model Serving on Azure Databricks.

Förbättringar av klustrens användargränssnitt

9–15 september 2020: Version 3.28

Sidan Kluster har nu separata flikar för kluster för alla syften ochjobbkluster. Listan på varje flik är nu sidnumrerad. Dessutom har vi åtgärdat fördröjningen som ibland uppstod mellan att skapa ett kluster och att kunna se det i användargränssnittet.

Synlighetskontroller för jobb, kluster, anteckningsböcker och andra objekt i arbetsytan

9–15 september 2020: Version 3.28

Som standard kan alla användare se alla jobb, kluster, anteckningsböcker och mappar i arbetsytan i användargränssnittet för Azure Databricks och kan visa dem med hjälp av Databricks-API:et, även när åtkomstkontroll har aktiverats för dessa objekt och en användare inte har behörighet för dessa objekt.

Nu kan alla Azure Databricks-administratörer aktivera synlighetskontroller för notebook-filer och mappar (arbetsyteobjekt), kluster och jobb för att säkerställa att användarna endast kan visa de objekt som de har fått åtkomst till via åtkomstkontroll för arbetsyta, kluster eller jobb.

Se:

Möjligheten att skapa token tillåts inte längre som standard

9–15 september 2020: Version 3.28

För arbetsytor som skapats efter lanseringen av Azure Databricks platform version 3.28 har användarna inte längre möjlighet att generera personliga åtkomsttoken som standard. Administratörer måste uttryckligen bevilja dessa behörigheter, oavsett om de gäller för hela gruppen eller för en användare per users användare eller grupp för grupp. Arbetsytor som skapades innan 3.28 släpptes behåller de behörigheter som redan fanns på plats.

Se Hantera personliga åtkomsttoken.

MLflow Model Registry stöder delning av modeller mellan arbetsytor

Den 9 september 2020

Azure Databricks har nu stöd för åtkomst till modellregistret från flera arbetsytor. Nu kan du registrera modeller, spåra modellkörningar och läsa in modeller mellan arbetsytor. Flera team kan nu dela åtkomst till modeller och organisationer kan använda flera arbetsytor för att hantera de olika utvecklingsfaserna. Mer information finns i Dela modeller mellan arbetsytor.

Den här funktionen kräver MLflow Python-klientversion 1.11.0 eller senare.

Databricks Runtime 7.3 (betaversion)

Den 3 september 2020

Databricks Runtime 7.3, Databricks Runtime 7.3 för Machine Learning och Databricks Runtime 7.3 for Genomics är nu tillgängliga som betaversion.

Mer information finns i viktig information Databricks Runtime 7.3 LTS,Databricks Runtime 7.3 LTSför Machine Learning och Databricks Runtime 7.3 LTS for Genomics.

Namnbyte för typ av arbetsbelastning i Azure Databricks

Den 1 september 2020

Namnen på de arbetsbelastningstyper som används av dina kluster har ändrats:

  • Datateknik – > Jobs Compute
  • Datateknikbelysning – > Jobs Light Compute
  • Dataanalys > – Beräkning för alla syften

Dessa nya namn visas på fakturor och i EA-portalen i kombination med din prisplan (till exempel "Premium - Jobs Compute - DBU"). Mer information finns i Azure Databricks Meter.

Användargränssnittet har också ändrats i plattformsversion 3.27 (avsedd för mellanfasad version mellan 25 augusti – 3 september):

sidan Kluster harlistrubrikerna ändrats:

  • Interaktiva kluster – > All-Purpose kluster
  • Automatiserade kluster – > jobbkluster

När du konfigurerar ett kluster för ettjobb har alternativen för klustertyp ändrats:

  • Nytt automatiserat kluster – > nytt jobbkluster
  • Befintligt interaktivt kluster > – befintligt All-Purpose kluster